Can Large Language Models Detect Contradicted Biomedical Evidence? A Dual-Annotator Benchmark Audit

Resumo Técnico: Podem os Grandes Modelos de Linguagem Detectar Evidências Biomédicas Contraditórias?

Declaração do Problema
Os sistemas de resposta a perguntas (QA) biomédicas dependem cada vez mais da Geração Aumentada de Recuperação (RAG) para fundamentar respostas na literatura recuperada. No entanto, existe um modo de falha crítico onde as respostas geradas não são sustentadas ou contradizem ativamente a evidência recuperada. Este estudo aborda duas lacunas específicas na avaliação atual: (1) se a integração de sinais de Grafos de Conhecimento (KG) na recuperação melhora a precisão da resposta e (2) se verificadores automatizados (LLMs e classificadores) podem detectar de forma confiável quando a evidência contradiz uma resposta gerada. Os autores observam que, embora a precisão ao nível da resposta seja uma métrica padrão, ela é insuficiente para avaliar a confiabilidade do sistema se a evidência subjacente não sustentar a conclusão.

Metodologia
O estudo empregou um design experimental de via dupla usando o conjunto de dados PubMedQA:

1. Auditoria de Recuperação Guiada por KG (KG-RRAG):

   • Configuração: Um módulo de reclassificação (KG-RRAG) foi comparado ao RAG padrão de similaridade vetorial em 300 perguntas estratificadas do PubMedQA.
   • Mecanismo: O KG-RRAG construiu grafos biomédicos específicos para a consulta (vinculando entidades a conceitos UMLS) e fundiu três sinais para a reclassificação: similaridade vetorial ($\alpha$), sobreposição de entidades ($\beta$) e centralidade de estrutura de grafo ($\gamma$).
   • Geração: Ambos os sistemas utilizaram glm-5.1 como o gerador. O estudo controlou as variáveis de geração, isolando o impacto do ranking da evidência.

2. Benchmark de Verificação de Evidência-Resposta:

   • Conjunto de Dados: Um conjunto retido (Conjunto B, $n=150$) foi construído com padrões de ouro rotulados por humanos: Suportado (81), Insuficiente (46) e Contradito (23).
   • Verificadores: O estudo avaliou um espectro de arquiteturas:
     • Baseados em LLM: GPT-5.5, DeepSeek-v4-pro e glm-5.1 usando duas estratégias de prompt: uma classificação direta simples (E1) e um prompt estruturado de "contradição primeiro" (V2.1).
     • Baseados em Classificador: DistilBERT-MNLI (domínio geral) e PubMedBERT-MedNLI (domínio biomédico).
     • Baselines: Heurísticas baseadas em regras (V1.6), fusão híbrida de regra/LLM (V3.1) e um proxy de classe majoritária.
   • Calibração Humana: Um segundo anotador humano (Human2) realizou dois protocolos: uma primeira passagem cega em uma amostra de 30 itens e uma revisão focada de todos os 23 casos conhecidos como contraditórios para avaliar a sensibilidade do protocolo.

Resultados Principais

• Resultado Nulo do KG-RRAG: A integração de sinais de KG não melhorou a precisão da resposta. O KG-RRAG alcançou 0,500 de precisão contra 0,510 para o RAG padrão ($\Delta = -0,010$, McNemar $p=0,766$). O intervalo de confiança de 95% para a diferença foi $[-0,053, +0,033]$, indicando que não houve benefício estatisticamente significativo.
• Subdetecção Sistêmica de Contradição: Todos os verificadores automatizados tiveram dificuldades significativas com a classe "Contradito".
  • Melhor Desempenho Automatizado: A configuração E1-glm-5.1 detectou apenas 5 de 23 contradições de ouro (Recall $\approx$ 21,7%).
  • Outros Modelos: GPT-5.5 detectou 4/23; variantes DeepSeek detectaram 1–3/23; classificadores NLI especializados (PubMedBERT-MedNLI) detectaram apenas 2/23.
  • Modo de Falha: O padrão de erro dominante foi absorver casos contraditórios na categoria "Insuficiente" em vez de identificar conflitos ativos.
• Sensibilidade de Protocolo da Anotação Humana:
  • Em uma primeira passagem cega, o Human2 detectou 0/7 casos contraditórios em uma amostra.
  • Em uma revisão focada onde o anotador sabia que os itens eram ouro-contraditórios, o Human2 detectou 13/23 (Recall $\approx$ 56,5%).
  • Isso indica que a detecção de contradição não é espontânea, mas requer protocolos explícitos e orientados por critérios.
• Efeitos de Modelo vs. Prompt: Os efeitos da engenharia de prompt foram dependentes do modelo. Um prompt que performou melhor no glm-5.1 performou pior no DeepSeek-v4-pro, sugerindo que a seleção do modelo é um fator mais significativo do que o design do prompt dentro do intervalo testado.

Principais Contribuições

1. Resultado Nulo Controlado para KG-RAG: O estudo fornece evidência empírica de que adicionar sinais derivados de KG (sobreposição de entidades e centralidade de grafo) à recuperação vetorial padrão não melhorou a precisão da resposta no cenário PubMedQA, desafiando a suposição de que o conhecimento estruturado sempre aumenta o desempenho do RAG.
2. Auditoria de Subdetecção de Contradição: Estabelece que os atuais modelos de linguagem de última geração (LLMs) e classificadores NLI falham em detectar de forma confiável contradições em pares de evidência-resposta biomédica, frequentemente classificando-os erroneamente como "insuficientes".
3. Evidência de Sensibilidade de Protocolo: O artigo demonstra que a detecção de contradição é altamente sensível aos protocolos de anotação. A discrepância entre a revisão humana cega e a focada sugere que estabelecer a "verdade fundamental" (ground truth) na detecção de contradição é difícil sem critérios explícitos e direcionados.

Significância e Alegações
Os autores alegam modestamente que seu trabalho serve como uma auditoria das capacidades atuais, em vez de uma demonstração de um problema resolvido.

• Prontidão Clínica: Os resultados indicam que a verificação atual baseada em LLM não está pronta para a triagem autônoma de contradições em contextos biomédicos de alto risco. A falha em detectar contradições ativas representa um risco de segurança.
• Mudança de Avaliação: O estudo argumenta que a precisão da resposta, por si só, é uma métrica incompleta para o RAG biomédico. Sistemas podem gerar respostas corretas a partir de evidências incorretas ou não sustentadas; portanto, a consistência evidência-resposta deve ser avaliada separadamente.
• Utilidade Prática: Embora não esteja pronta para implantação autônoma, a verificação baseada em LLM ainda pode servir como uma ferramenta para auditoria offline e comparação de sistemas, desde que a alta taxa de falsos negativos (contradições perdidas) seja reconhecida.

O artigo conclui que a dificuldade de detecção de contradição persiste através de escalas de modelos, arquiteturas e estratégias de prompt, provavelmente devido à ambiguidade inerente do texto biomédico, terminologia especializada e a distinção entre "ausência de evidência" e "evidência de ausência".