Resumo Técnico: Quando a Recuperação Ajuda e Distrai

Declaração do Problema

Os sistemas de verificação de fatos biomédicos enfrentam um desafio duplo: eles devem não apenas prever se uma afirmação é apoiada, contradita ou não abordada, mas também gerar evidências que sejam fiéis, completas e úteis para a revisão humana. As abordagens atuais de Geração Aumentada por Recuperação (RAG) frequentemente assumem que a recuperação de resumos biomédicos autoritativos (ex: PubMed) melhora automaticamente a verificação. No entanto, em benchmarks heterogêneos que combinam afirmações científicas com relatos de saúde pública e desinformação, os documentos recuperados podem ser topicamente relacionados, porém irrelevantes para a decisão de verificação específica. Isso pode levar a modelos "distraídos" que geram evidências fluentes, mas não fiéis, potencialmente convertendo associações em afirmações causais ou omitindo incertezas críticas.

O artigo investiga essas questões usando o CARE-XAI, um benchmark unificado abrangendo cinco fontes (PubMedQA, SciFact, HealthVer, PUBHEALTH e HealthFC) com 17.803 exemplos. O estudo visa determinar:

1. Como sistemas de apenas veredito diferem de sistemas de geração de evidência.
2. Quando a recuperação do PubMed auxilia ou prejudica a verificação.
3. Se a utilidade de decisão da evidência recuperada pode ser medida em relação à evidência de referência confiável.

Metodologia

Os autores conduziram uma avaliação sistemática sob um protocolo compartilhado comparando cinco famílias de sistemas:

• LLMs de Instrução Base: Prompting zero-shot e few-shot (incluindo Chain-of-Thought e frameworks PICO) em modelos como Gemma, Qwen e Gemini.
• LLMs RAG de PubMed: LLMs base aumentados com um pipeline de recuperação congelado usando Entrez para consultas ao PubMed e BGE-M3 para reranking.
• LLMs Ajustados (Fine-tuned): Modelos (Gemma e Qwen) adaptados via LoRA no split de treinamento do CARE-XAI para aprender a formatação específica de evidência e a semântica dos rótulos.
• LLMs de Apenas Rótulo e Codificadores Biomédicos: Sistemas otimizados exclusivamente para a predição de veredito (ex: BioBERT, BioLinkBERT) para servir como sondas diagnósticas.

Métricas de Avaliação:

• Qualidade do Veredito: Macro-F1 (primária), acurácia, acurácia balanceada e MCC.
• Qualidade da Evidência: Cobertura de evidência, sobreposição lexical (ROUGE/BERTScore como diagnósticos secundários) e consistência entre explicação e veredito.
• Diagnósticos de Recuperação: Sucesso da consulta, MRR, Recall@k e nDCG@10.
• Bio-GRACE: Uma métrica diagnóstica novel, normalizada pela referência de ouro (gold standard). Ela mede a "recuperação de utilidade" do contexto recuperado comparando o deslocamento de probabilidade que um verificador faz ao usar a evidência recuperada versus a evidência de referência (gold). Ela quantifica quanto do benefício de decisão proporcionado pela evidência confiável é recuperado pelo contexto recuperado.

Rigor Experimental:

• Um cache de recuperação congelado foi construído para o conjunto de teste para garantir que a qualidade da recuperação fosse desacoplada do desempenho de geração.
• Auditorias de vazamento (leakage) foram realizadas para filtrar linhas com sobreposição de evidência entre os splits de treino e teste.
• Verificação Humana: 100 saídas cegas foram avaliadas por dois anotadores de biotecnologia e dois juízes de LLM quanto à correção do veredito, suporte da evidência, utilidade e segurança.

Principais Contribuições

1. Benchmark Unificado (CARE-XAI): Um conjunto de dados consolidado integrando cinco fontes distintas de verificação de fatos biomédicos, destacando a heterogeneidade das necessidades de evidência (desde resumos científicos até notícias/políticas).
2. Métrica Bio-GRACE: Uma ferramenta diagnóstica que vai além do simples recall de recuperação para medir se o contexto recuperado realmente recupera o benefício da tomada de decisão da evidência de referência. Ela revela que a utilidade da recuperação é altamente dependente da fonte.
3. Comparação Sistemática: Uma avaliação abrangente separando a predição de veredito da geração de evidência, demonstrando que classificadores de alto desempenho não necessariamente geram evidências de alta qualidade.
4. Análise de Utilidade de Recuperação: Evidência de que o RAG "sempre ligado" é suboptimal para a verificação de fatos biomédicos heterogêneos, pois pode degradar o desempenho em afirmações de saúde pública enquanto ajuda em afirmações de resumos científicos.

Principais Resultados

• Veredito vs. Geração de Evidência: Classificadores de codificadores biomédicos permanecem os melhores desempenhos para predição de apenas veredito (Macro-F1 ~0.56), mas não conseguem gerar evidências. Entre os sistemas de geração de evidência, os LLMs ajustados (fine-tuned) superam os LLMs base e RAG (Melhor F1 Fine-tuned: 0.483 vs. Melhor F1 Base/RAG: ~0.45).
• O Impacto Misto da Recuperação:
  • Útil: A recuperação do PubMed melhora significamente o desempenho no PubMedQA e SciFact (fontes alinhadas com resumos científicos).
  • Distrativo: A recuperação frequentemente degrada o desempenho no PUBHEALTH e HealthFC (afirmações de saúde pública/desinformação). O Bio-GRACE mostra recuperação de utilidade negativa para essas fontes, indicando que os resumos recuperados frequentemente distraem o modelo da decisão correta.
• Superioridade do Fine-Tuning: O ajuste fino é uma estratégia de adaptação mais confiável para LLMs de geração de evidência do que o RAG. Ele melhora a consistência entre prompts e modelos sem a volatilidade introduzida pelo ruído de recuperação.
• Condicionamento de Evidência: Quando fornecida com a evidência de referência (gold), tanto classificadores quanto LLMs mostram melhorias substanciais na predição de veredito, confirmando que a tarefa é sensível à evidência. No entanto, a evidência do PubMed recuperada falha em fechar a lacuna em relação à evidência gold, identificando o emparelhamento recuperação/fonte como o principal gargalo.
• Avaliação Humana: A concordância humana sobre suporte de evidência e utilidade foi modesta (Cohen's κ ~0.39 e ~0.15, respectivamente), destacando a dificuldade da tarefa. Modelos ajustados mostraram a maior correção de veredito acordada, enquanto modelos RAG mostraram maior suporte de evidência acordado em subconjuntos específicos, embora o desempenho geral tenha permanecido baixo.

Significância e Alegações

O artigo alega que a verificação biomédica exige tratar a evidência como uma "saída de primeira classe, útil para decisão, auditável e crítica para a segurança". A principal significância reside em demonstrar que:

1. A recuperação não é uma panaceia: Simplesmente adicionar recuperação do PubMed aos LLMs não garante uma melhor verificação de fatos; em ambientes heterogêneos, pode introduzir ruído que distrai o modelo.
2. Utilidade Dependente da Fonte: A utilidade da recuperação está estritamente ligada à fonte da afirmação. Uma estratégia de recuperação "tamanho único" é insuficiente; a recuperação seletiva (filtragem da recuperação baseada no tipo de fonte ou incerteza do modelo) é motivada pelos dados.
3. Geração é Mais Difícil que Classificação: Gerar evidências fiéis impõe um fardo além da predição de rótulos. Sistemas que produzem vereditos corretos muitas vezes falham em fornecer o suporte de evidência necessário e, inversamente, evidências fluentes podem ser geradas para vereditos incorretos.
4. Padrões de Avaliação: O estudo defende a avaliação da recuperação como uma intervenção (via Bio-GRACE) em vez de apenas uma métrica de recuperação, e a manutenção da transparência sobre gerações falhas e saídas de baixa cobertura em vez de descartá-las silenciosamente.

Os autores concluem que, embora o ajuste fino ofereça atualmente o caminho mais confiável para sistemas de geração de evidência, o trabalho futuro deve abordar o problema do emparelhamento de fontes para tornar o RAG eficaz para afirmações de saúde pública mais amplas, possivelmente exigindo revisão humana quando a evidência adequada não estiver disponível.