Resumo Técnico: MasonNLP no MEDIQA-SYNUR 2026

Definição do Problema

O artigo aborda o desafio de converter transcrições conversacionais entre enfermeiros e pacientes em observações clínicas estruturadas e aderentes a um esquema. Embora a documentação clínica seja vital para a continuidade do cuidado, ela impõe um ônus significativo aos clínicos, que dedicam tempo substancial a tarefas de registros eletrônicos de saúde (RES) em vez de cuidados diretos ao paciente. A tarefa específica, MEDIQA-SYNUR, exige que os sistemas extraiam observações clinicamente salientes das transcrições e as normalizem em um esquema predefinido de 193 conceitos de observação. Este esquema inclui restrições estritas de tipo de valor (numérico, string, seleção única, seleção múltipla) e requisitos de validade enumerados para valores categóricos. A dificuldade reside no grande espaço de saída heterogêneo e na necessidade de o modelo evitar alucinar nomes de conceitos ou violar restrições de tipo, que são modos de falha comuns em modelos de linguagem grandes (LLMs) sob condições de esquema estritas.

Metodologia

Os autores propõem um pipeline modular de geração aumentada por recuperação (RAG) projetado para condicionar as saídas dos LLMs tanto em exemplos recuperados quanto em restrições de esquema. O sistema compreende os seguintes componentes:

1. Corpus de Recuperação e Base de Conhecimento:

   • O conjunto de treinamento serve como o único corpus de recuperação.
   • Cada instância de treinamento é representada por duas visões textuais: a transcrição original e um "resumo de nome de conceito" derivado pelo mapeamento dos IDs de conceitos de rótulo-ouro para seus nomes no esquema.
   • Os embeddings são gerados usando Sentence-Transformers all-MiniLM-L6-v2 para o backbone Llama-4 e OpenAI text-embedding-3-large para o backbone GPT-5.2.

2. Recuperação de Exemplos (RAG):

   • Um pool de candidatos é recuperado via similaridade de cosseno nos embeddings das transcrições.
   • O pool é reclassificado usando uma pontuação ponderada combinando similaridade da transcrição ($w_t=0,70$), similaridade do resumo de nome de conceito ($w_c=0,25$) e sobreposição lexical via similaridade de Jaccard ($w_l=0,05$).
   • Os $k$ melhores exemplos (variando $k \in \{3, 5, 10, 20, 30, 50\}$) são inseridos no prompt como demonstrações few-shot, pareando a transcrição do exemplo com sua saída JSON de rótulo-ouro.

3. Restrições de Esquema:
   O estudo compara duas estratégias de prompt para condicionar o LLM ao esquema $S$:

   • Prompting de Esquema Completo: O modelo recebe a lista completa de 193 conceitos, incluindo identificadores, nomes, tipos de valor e valores categóricos permitidos.
   • Prompting de Esquema de Candidatos Podados: Um conjunto de candidatos por instância $C(x)$ é construído pontuando conceitos com base em correspondências lexicais com a transcrição, similaridade semântica aos nomes dos conceitos e expansão por recuperação (adicionando conceitos encontrados nos exemplos recuperados). Isso limita o espaço de saída a um subconjunto compacto de conceitos relevantes.

4. Inferência e Pós-processamento:

   • O LLM é instruído a emitir apenas uma lista JSON de pares (id, v).
   • Expansão Determinística: Para prevenir alucinações de nomes ou tipos, o sistema pós-processa a saída consultando o name e o value_type canônicos para cada id previsto no esquema.
   • Validação de Esquema: As previsões são validadas contra o esquema; IDs desconhecidos são descartados e os valores são normalizados (por exemplo, convertendo strings numéricas em floats, impondo listas enumeradas para tipos categóricos).

5. Auditoria de Segunda Passada:
   Uma etapa de refinamento onde um LLM auditor revisa a transcrição original, o esquema e a previsão da primeira passada. Ele é instruído a remover itens não suportados, corrigir problemas de aderência ao esquema e adicionar apenas observações faltantes claramente suportadas.

O pipeline foi avaliado usando dois backbones de LLM: Llama-4-Scout-17B-16E-Instruct (pesos abertos) e GPT-5.2 (pesos fechados).

Principais Resultados

Os experimentos, resumidos na Tabela 2 do artigo, produzem as seguintes métricas de desempenho (pontuações F1):

• Melhor Configuração: O desempenho mais alto foi alcançado usando GPT-5.2 com prompting de Esquema Completo, RAG (com $k=30$ exemplos) e Auditoria de Segunda Passada, resultando em uma pontuação F1 de 80,36%.
• Impacto do RAG: A augmentação por recuperação melhorou consistentemente o desempenho em ambos os modelos e configurações de esquema, reduzindo falsos negativos e reforçando a estrutura JSON esperada e a normalização de valores.
• Interação com Esquema:
  • Llama-4 (Pesos Abertos): Desempenhou melhor com o Esquema de Candidatos Podados (F1 73,20% com RAG). A redução do espaço de saída ajudou o modelo menor a aderir às restrições e focar em conceitos relevantes.
  • GPT-5.2 (Pesos Fechados): Desempenhou melhor com o Esquema Completo (F1 80,27% com RAG). O modelo maior beneficiou-se do contexto completo para desambiguar conceitos relacionados, enquanto a poda levou a uma queda na precisão (um "viés tipo lista de verificação" incentivando a extração excessiva).
• Auditoria de Segunda Passada: Proporcionou ganhos adicionais modestos (por exemplo, +0,09 F1 para GPT-5.2), principalmente corrigindo erros residuais de aderência ao esquema e normalização, em vez de alterar significativamente a cobertura de extração.

Análise de Erros

A análise de erros (Tabelas 3 e 4) revela que a maioria dos erros não são discordâncias de valores quase acertos, mas sim:

• Falsos Positivos (608 instâncias): 81,9% foram previsões de conceitos espúrios (IDs não presentes no ground truth). Conceitos super-previstos comuns incluíram "Diagnóstico secundário" e "Identificação do paciente", que eram clinicamente plausíveis, mas raramente anotados no padrão-ouro.
• Falsos Negativos (485 instâncias): 78,8% foram conceitos totalmente perdidos.
• Problemas Sistemáticos: Uma parte significativa dos erros decorreu de incompatibilidades no nível de representação, como zeros à esquerda em IDs de conceitos (por exemplo, "03" vs "3") e diferenças de codificação em tokens categóricos (por exemplo, unidades de temperatura). Essas questões destacam a fragilidade da correspondência de strings estrita em esquemas heterogêneos.

Significância e Contribuições

O artigo reivindica três contribuições primárias para o campo da Extração de Informação Clínica (IE):

1. Restrição de Esquema Consciente do Modelo: O estudo demonstra que a estratégia ótima para restringir as saídas de LLMs não é universal, mas depende da escala e arquitetura do modelo. Esquemas de candidatos podados são benéficos para modelos menores de pesos abertos para reduzir o espaço de decisão, enquanto modelos maiores de pesos fechados beneficiam-se do contexto completo do esquema para alavancar suas capacidades de raciocínio.
2. Interação entre RAG e Esquema: O trabalho fornece evidências sistemáticas de que a Geração Aumentada por Recuperação melhora consistentemente a extração restrita a esquema, mas sua eficácia é modulada pela forma como o esquema é apresentado ao modelo.
3. Refinamento vs. Componente Central: Os autores mostram que a auditoria de segunda passada produz melhorias modestas ao corrigir erros residuais de normalização, mas não substitui os mecanismos centrais de RAG e restrições de esquema. É melhor utilizada como uma etapa final de refinamento.

No geral, as descobertas sugerem que a extração eficaz de observações restritas a esquema requer uma estratégia que selecione conjuntamente abordagens de recuperação e restrição de esquema adaptadas às capacidades específicas do LLM subjacente.