Resumo Técnico: Medidas de Consenso para Anotações de Texto Biomédico Não Estruturado

Declaração do Problema

A literatura biomédica está sendo cada vez mais reaproveitada para a extração de conhecimento além do escopo original dos estudos, como a identificação de alvos moleculares ou toxicidades de tratamentos. Nestes cenários exploratórios, os conceitos-alvo não são conhecidos a priori, levando os anotadores a preferirem rótulos de texto abertos e não estruturados em vez de categorias pré-definidas. Enquanto a Confiabilidade Inter-Anotador (IRR - Inter-Rater Reliability) é o padrão para avaliar a qualidade de anotações codificadas usando categorias discretas (ex: $\kappa$ de Cohen), as medidas convencionais falham em cenários abertos. A IRR tradicional baseia-se na identidade (correspondência exata de strings), o que é inapropriado quando especialistas humanos ou sistemas automatizados descrevem o mesmo conceito biomédico subjacente usando termos diferentes (ex: "Fadiga" vs. "Fraqueza" vs. "Astenia"). Isso cria uma lacuna metodológica: não há uma forma padronizada e sistemática de quantificar o acordo em anotações de texto não estruturadas onde a equivalência semântica, em vez da identidade lexical, define o consenso.

Metodologia

Os autores propõem e avaliam a "Soft IRR", um framework que substitui o acordo binário por uma medida contínua de equivalência semântica $\hat{P}(a \equiv b)$. O estudo investiga dois cenários:

1. IRR de Texto Único: Comparando duas anotações de texto individuais diretamente.
2. IRR de Correspondência de Conjuntos (Set-Matching): Comparando dois conjuntos de anotações (ex: múltiplos conceitos extraídos de um único documento), exigindo uma solução de problema de atribuição para combinar elementos entre conjuntos de forma ótima.

Estimadores de Equivalência

O artigo avalia uma ampla gama de medidas de equivalência semântica:

• Sobreposição de Conjuntos (Set-Overlap): Coeficiente de Jaccard e Medição de Acordo em Itens com Valores de Conjunto (MASI).
• Distância de Edição (Edit-Distance): Distâncias de Levenshtein, Indel e Maior Subsequência Comum (LCS).
• Similaridade Semântica: Similaridade de cosseno usando embeddings de sentenças (ex: PubMedBERT, Qwen3-0.6B).
• Inferência de Linguagem Natural (NLI): Modelos de entrave mútuo (ex: mDeBERTa-v3, PubMedBERT ajustado em MedNLI) que determinam se um texto implica outro.
• LLM-como-Juiz (LLM-as-a-Judge): Uso de Grandes Modelos de Linguagem (ex: MedGemma-4B, Qwen3.5-9B) para prever o entrave mútuo via log-probabilidades ou saídas JSON verbalizadas.

Desenho Experimental

A avaliação emprega uma abordagem de duas frentes:

1. Experimentos Sintéticos: Usando terminologias biomédicas controladas (ICD-11, MeSH, MedDRA), os autores geram níveis de acordo de verdade fundamental (ground-truth) amostrando sinônimos e introduzindo exemplos "negativos" controlados (irmãos, generalizações e sobreposições lexicais). Isso permite o cálculo preciso do Erro Médio Absoluto (MAE) entre a estimativa de soft IRR e a IRR de verdade fundamental.
2. Experimentos do Mundo Real: Avaliação em dois conjuntos de dados com anotações de texto livre e mapeamentos de verdade fundamental conhecidos para terminologias padronizadas:
   • Derm1M: Legendas de imagens dermatológicas mapeadas para conceitos de pele.
   • REFLACX: Relatórios de radiografia de tórax com anotações de radiologistas mapeadas para rótulos de anomalias.

Para cenários de correspondência de conjuntos, os autores comparam a correspondência gananciosa (greedy matching) contra o algoritmo de Hungaria para atribuição ótima.

Contribuições Principais

1. Comparação Sistemática: O artigo fornece a primeira comparação sistemática de diversas medidas de equivalência semântica (embeddings, NLI, LLMs, distância de edição) para soft IRR, analisando seu desempenho e modos específicos de falha contra a verdade fundamental.
2. Extensão para Correspondência de Conjuntos: Os autores estendem a soft IRR para anotações com valores de conjunto, propondo métodos para resolver o problema de atribuição entre dois conjuntos de texto não estruturado e avaliando o impacto da correspondência ótima (Hungaria) vs. gananciosa.
3. Proposta Baseada em NLI: O estudo introduz e valida o uso de modelos NLI para calcular a soft IRR, enquadrando-a como uma tarefa de detecção de paráfrase via entrave mútuo.
4. Análise de Modos de Falha: Através de amostragem negativa controlada, o artigo identifica que abordagens baseadas em embeddings têm dificuldade em distinguir entre conceitos semelhantes, mas não equivalentes (ex: generalizações), enquanto abordagens baseadas em NLI e LLM são mais robustas.

Resultados

• Desempenho: Medidas baseadas em aprendizado profundo (NLI, embeddings, LLMs) geralmente superam o correspondência exata, sobreposição de conjuntos e métodos de distância de edição em ambientes sintéticos, particularmente ao capturar nuances semânticas.
• Modos de Falha: Modelos baseados em embeddings mostram altas taxas de erro quando confrontados com "erros de generalização" (ex: um conceito específico vs. sua categoria pai) porque confundem similaridade com equivalência. Em contraste, medidas baseadas em NLI e LLM mantêm taxas de erro mais baixas através de diferentes tipos de discordâncias.
• Escalabilidade vs. Precisão: Embora os LLMs (especialmente as variantes verbalizadas) alcancem alta precisão, eles são computacionalmente caros, tornando a estimativa do acordo por acaso ($p_e$) via amostragem de Monte Carlo difícil para grandes conjuntos de dados. Modelos NLI oferecem um "meio-termo sensato", equilibrando escalabilidade com desempenho robusto.
• Validação no Mundo Real: Nos conjuntos de dados do mundo real (Derm1M, REFLACX), as melhores medidas soft alcançaram MAEs entre 0,005 e 0,065 contra a IRR de verdade fundamental, demonstrando viabilidade prática. Abordagens baseadas em NLI foram consideradas as mais robustas entre os diferentes conjuntos de dados.

Significância e Alegações

O artigo afirma ser o primeiro a quantificar a IRR para anotações de texto não estruturado desta maneira, indo além das limitações do acordo de categorias discretas. Os autores argumentam que a escolha da medida de equivalência impacta significamente a confiabilidade estimada das tarefas de anotação. Eles concluem que, embora os embeddings sejam escaláveis e os LLMs sejam precisos, as medidas baseadas em NLI representam o melhor compromisso para tarefas de anotação biomédica não estruturada devido à sua capacidade de lidar com vários tipos de discordâncias semânticas, permanecendo computacionalmente viáveis.

O estudo é modesto em seu escopo, reconhecendo limitações como a restrição a conjuntos de dados biomédicos (que podem não se generalizar para outros domínios), a natureza não exaustiva das medidas testadas e o potencial de experimentos sintéticos serem mais fáceis do que cenários do mundo real devido ao pré-treinamento em terminologias similares. O trabalho não propõe novas aplicações futuras, mas estabelece uma base metodológica para avaliar a confiabilidade da extração de dados biomédicos de código aberto.