Case-Grounded Evidence Verification: A Framework for Constructing Evidence-Sensitive Supervision

Resumo Técnico: Verificação de Evidências Fundamentada em Casos

1. O Problema

O raciocínio fundamentado em evidências (evidence-grounded reasoning) em modelos de linguagem (LLMs) frequentemente falha em garantir que a decisão do modelo dependa realmente das evidências fornecidas. Em vez disso, os modelos tendem a:

• Ignorar as evidências e confiar em atalhos (shortcuts) no contexto local.
• Explorar sobreposições superficiais entre o texto recuperado e a afirmação (claim) sem aprender a relação causal de suporte.
• Serem supervisionados por objetivos fracos (como relevância de recuperação ou similaridade temática) que não capturam a necessidade de a evidência suportar especificamente a afirmação para aquele caso.

Em cenários de alto risco, como a medicina, anexar um texto plausível a uma previsão não é suficiente se a decisão final não for causalmente dependente dessa evidência. A falta de supervisão que codifique explicitamente o papel causal da evidência é identificada como um gargalo principal, mais do que a capacidade do modelo em si.

2. Metodologia Proposta

Os autores introduzem um novo quadro de trabalho chamado Verificação de Evidências Fundamentada em Casos (Case-Grounded Evidence Verification). O objetivo é transformar o problema de fundamentação em um problema de verificação sobre uma tripla: (Caso, Evidência, Afirmação).

A. Definição do Problema
Dado um contexto de caso local ($c$), uma afirmação estruturada candidata ($y$) e uma unidade de evidência externa ($e$), o modelo deve decidir se a evidência suporta a afirmação para aquele caso específico. O rótulo de aprendizado é definido pela relação de suporte, não por uma pontuação de recuperação.

B. Construção de Supervisão (Contribuição Central)
O artigo propõe um procedimento automatizado para gerar dados de treinamento sem anotação manual de evidências. O processo envolve:

1. Fontes de Dados: Registros de casos locais (ex: relatórios de radiologia) e um corpus de evidências externas (ex: artigos de referência médica).
2. Estrutura de Afirmações: Para cada conceito em um caso, gera-se afirmações binárias (ex: "Pneumonia presente" vs. "Pneumonia ausente").
3. Pools de Evidência Semântica: As evidências são categorizadas em pools específicos para cada conceito:
   • $E^+$: Suporta o estado positivo.
   • $E^-$: Suporta o estado negativo.
   • $E^{0,h}$: Evidência "difícil" não-suporte (tematicamente relacionada, mas não suporta a afirmação).
   • $E^{0,e}$: Evidência "fácil" não-suporte.
4. Geração de Exemplos:
   • Positivos: Caso + Afirmação correta + Evidência de suporte correspondente.
   • Negativos Contrafactuais (Crucial): Caso + Afirmação correta + Evidência que suporta o estado oposto (ex: o caso tem pneumonia ausente, mas a evidência descreve pneumonia presente). Isso força o modelo a aprender a dependência do estado do caso, não apenas a relevância temática.
   • Negativos de Não-Suporte: Evidências tematicamente relacionadas que não suportam nenhuma das afirmações.

C. Avaliação por Intervenção
A metodologia de avaliação é baseada em intervenções na variável de evidência para testar a "fidelidade" (faithfulness):

• Remoção: A evidência é removida. O desempenho deve cair drasticamente.
• Troca (Swapping): A evidência é trocada por outra de um caso diferente. O desempenho deve colapsar.
• Evidência Não Visto (Held-out): Teste em artigos de evidência nunca vistos durante o treinamento.

3. Contribuições Principais

1. Formulação de Verificação: Recastear a fundamentação como um problema de decisão binária sobre a relação de suporte entre (Caso, Evidência, Afirmação).
2. Framework de Supervisão Automatizada: Um método para gerar exemplos de suporte explícito e negativos semânticos controlados (incluindo contratuais de estado errado) sem anotação humana manual.
3. Validação Empírica em Radiologia: Instanciação do framework usando o dataset MIMIC-CXR e o corpus Radiopaedia, demonstrando que a supervisão construída força o modelo a aprender dependência real de evidências.

4. Resultados Experimentais

O framework foi testado com um verificador baseado em ModernBERT-large e comparado com baselines:

• S1 (Apenas Caso): Desempenho fraco (AUROC ~59.9), indicando que o contexto local sozinho não resolve a tarefa (elimina atalhos simples).
• S2 (Apenas Evidência): Desempenho moderado (AUROC ~82.6), mostrando que a verificação genérica captura parte do problema, mas falha em discriminar casos específicos.
• S3 (Caso + Evidência + Afirmação - O Modelo Proposto): Desempenho superior (AUROC 97.43, AUPRC 87.78).

Análise de Intervenção:

• O modelo S3 mantém alto desempenho com evidência correta.
• Colapso sob Intervenção: Quando a evidência é removida ou trocada aleatoriamente, o desempenho cai para níveis próximos ao acaso (AUROC ~55), provando que o modelo não está apenas memorizando o texto, mas depende causalmente da evidência correta para o caso.
• Generalização: O comportamento se transfere para um dataset externo (CheXpert-Plus) e para artigos de evidência não vistos, embora haja uma degradação na qualidade da pontuação (Brier score) e no ranking sob mudança de fonte de evidência.
• Sensibilidade ao Backbone: A robustez varia significativamente dependendo da arquitetura do modelo (backbone), indicando que a escolha do modelo é crítica para lidar com variações na fonte de evidência.

5. Significado e Conclusão

O trabalho demonstra que o principal gargalo no raciocínio fundamentado em evidências não é apenas a capacidade do modelo, mas a falta de supervisão que codifica o papel causal da evidência.

• Mudança de Paradigma: Em vez de tratar evidências como contexto auxiliar, o framework as trata como o objeto supervisionado central.
• Aplicabilidade: Embora testado em radiologia, o framework é agnóstico ao domínio e pode ser aplicado em direito, ciência e sistemas corporativos onde a decisão deve depender de evidências externas específicas.
• Limitações: A robustez ainda é sensível à mudança na fonte de evidência (source shift) e à escolha do modelo base. O trabalho sugere que a supervisão estruturada é um pré-requisito necessário, mas não suficiente, para sistemas de fundamentação totalmente robustos.

Em suma, o artigo oferece uma metodologia rigorosa para construir sistemas que não apenas "olham" para evidências, mas que realmente "confiam" nelas de forma verificável e causal para tomar decisões.