💬 NLP

EvidenceRL: Reinforcing Evidence Consistency for Trustworthy Language Models

O artigo apresenta o EvidenceRL, um framework de aprendizado por reforço que melhora a consistência das evidências e a confiabilidade de Grandes Modelos de Linguagem em domínios de alto risco, como diagnóstico cardíaco e raciocínio jurídico, reduzindo significativamente alucinações sem comprometer a precisão das tarefas.

Autores originais: J. Ben Tamo, Yuxing Lu, Benoit L. Marteau, Micky C. Nnamdi, May D. Wang

Publicado 2026-03-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: J. Ben Tamo, Yuxing Lu, Benoit L. Marteau, Micky C. Nnamdi, May D. Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente de inteligência artificial muito inteligente e eloquente. Ele fala perfeitamente, usa palavras difíceis e parece saber tudo sobre medicina e leis. O problema? Às vezes, esse assistente é como um ator de teatro que decorou o roteiro, mas não sabe a história real. Ele inventa fatos que soam plausíveis, mas que não têm nenhuma base na realidade.

No mundo real, isso é perigoso. Se um médico ou um advogado confiar em uma "mentira convincente" de uma IA, as consequências podem ser graves.

Este artigo apresenta uma solução chamada EvidenceRL (Reforço de Evidência). Vamos explicar como funciona usando uma analogia simples: o Detetive vs. o Contador de Histórias.

O Problema: O Contador de Histórias

Antes do EvidenceRL, os modelos de IA funcionavam como o "Contador de Histórias".

Eles olhavam para a pergunta (ex: "O que o paciente tem?").
Usavam sua memória interna (o que aprenderam na internet) para criar uma resposta.
Se a resposta parecia boa, eles a entregavam.
O defeito: Eles podiam olhar para um documento de evidência (como um raio-X ou uma lei) e apenas "colar" o nome dele na resposta, sem realmente ler ou entender o que estava escrito. Era como um aluno que cola a resposta do colega no caderno, mas não sabe explicar por que aquela é a resposta certa.

A Solução: O Treinamento do Detetive (EvidenceRL)

Os autores criaram um novo método de treinamento chamado EvidenceRL. Em vez de apenas pedir para a IA dar a resposta certa, eles ensinaram a IA a agir como um Detetive Rigoroso.

Aqui está como o treinamento funciona, passo a passo:

1. A Regra de Ouro: "Prove que você leu"

Imagine que você está treinando um cão de guarda. Antes, você só dizia "Bom cão!" se ele pegasse a bola. Agora, você diz: "Bom cão! Mas só se você pegar a bola usando as regras que eu te ensinei".

O EvidenceRL faz isso com a IA. Ele dá três tipos de "pontuação" (recompensas) para cada resposta:

Pontuação de Formato: A resposta está organizada? (Ex: em uma lista JSON, como um formulário preenchido corretamente).
Pontuação de Corretude: A resposta está certa? (Ex: o diagnóstico médico é o correto?).
Pontuação de Evidência (A mais importante): A resposta foi realmente baseada no documento que foi fornecido?

2. O Mecanismo "Foco e Verificação" (Focus-Then-Verify)

Aqui está a parte genial. Como verificar se a IA leu um documento gigante?

O problema: Se você der um livro inteiro para a IA e perguntar "o que você leu?", ela pode alucinar e inventar coisas.
A solução do EvidenceRL: Eles quebram o livro em pedaços pequenos.
- Eles pegam uma frase da resposta da IA (a "hipótese").
- Eles pegam um pedaço específico do documento (a "premissa").
- Eles usam um "juiz" (um outro modelo de IA congelado) para perguntar: "Essa frase faz sentido com base apenas neste pedaço de texto?"
- Se a resposta da IA tentar usar uma informação que não está naquele pedaço, ela perde pontos. Se ela usar a informação corretamente, ganha pontos.

É como se o professor dissesse ao aluno: "Você disse que o réu é culpado. Mostre-me exatamente qual linha da lei diz isso. Se você não apontar a linha, sua resposta é inválida, mesmo que a conclusão esteja certa."

Os Resultados: O que aconteceu?

Os pesquisadores testaram isso em duas áreas de alta pressão: Medicina (diagnóstico cardíaco) e Direito (exames da OAB).

Antes: A IA acertava o diagnóstico, mas muitas vezes inventava a justificativa. Era como um médico que diz "O paciente tem pneumonia" (certo), mas diz que foi porque "o paciente tosse" (o que é verdade, mas não é a evidência do raio-X que eles tinham).
Depois (com EvidenceRL):
- A IA começou a parar de inventar. As "alucinações" (mentiras) caíram quase 5 vezes.
- A IA começou a usar as evidências. O número de diagnósticos baseados realmente nos documentos subiu de 31% para 61%.
- Curiosidade: Modelos menores (como o de 3 bilhões de parâmetros) treinados com esse método ficaram melhores do que modelos gigantes que não foram treinados assim. Ou seja, ensinar a IA a ser honesta e baseada em fatos é mais importante do que apenas torná-la maior.

A Analogia Final: O Chefe e o Estagiário

O Modelo Antigo: Um estagiário que sabe falar bonito. Ele chega com uma solução perfeita, mas quando você pergunta "de onde você tirou isso?", ele gagueja e inventa uma história.
O Modelo EvidenceRL: Um estagiário treinado para ser um auditor. Ele só entrega a solução se puder apontar com o dedo para o documento e dizer: "Aqui está a regra, aqui está o fato, e por isso a conclusão é esta".

Conclusão

O EvidenceRL não tenta apenas fazer a IA ficar mais inteligente; ele muda a personalidade da IA. Ele força o modelo a deixar de ser um "contador de histórias criativo" e se tornar um "analista baseado em fatos".

Isso é crucial para o futuro, porque em áreas como saúde e justiça, não queremos apenas respostas que pareçam certas. Queremos respostas que sejam verificáveis, honestas e baseadas na realidade. O artigo mostra que é possível treinar a IA para fazer isso, tornando-a uma ferramenta muito mais confiável para humanos.

1. O Problema: Alucinações e Falta de Fundamentação em Modelos de Linguagem

Os Grandes Modelos de Linguagem (LLMs) são fluentes, mas propensos a alucinações, gerando respostas que parecem plausíveis, mas não são suportadas por evidências disponíveis. Esse problema é crítico em domínios de alto risco, como saúde (diagnóstico cardíaco) e direito (raciocínio jurídico), onde decisões devem ser justificadas por informações verificáveis.

Falha do RAG (Geração Aumentada por Recuperação): Embora o RAG tente mitigar alucinações condicionando a geração a documentos recuperados, ele frequentemente falha em garantir que a saída seja derivada realmente dessas evidências. O modelo pode usar seu conhecimento paramétrico (memória interna) e apenas anexar citações superficiais posteriormente, um fenômeno chamado de "racionalização post-hoc".
Limitação das Abordagens Atuais: Métodos existentes focam em filtragem no tempo de inferência ou alinhamento via fine-tuning supervisionado (SFT) e RLHF. No entanto, esses métodos não otimizam explicitamente a fundamentação por evidências (evidence grounding) como um objetivo de treinamento diferenciável, permitindo que o modelo permaneça correto em termos de resposta, mas incorreto em termos de raciocínio baseado em evidências.

2. Metodologia: EvidenceRL

O artigo propõe o EvidenceRL, um framework de Aprendizado por Reforço (RL) que enforça a aderência às evidências durante o treinamento, em vez de apenas corrigi-lo após a geração.

Arquitetura e Recompensas

O framework utiliza o algoritmo GRPO (Group Relative Policy Optimization) para otimizar a política do modelo. A função de recompensa é decomposta em três componentes:

Recompensa de Formato ( $r_f$ ): Garante que a saída seja um JSON estruturado válido, facilitando a análise posterior.
Recompensa de Corretude ( $r_c$ ):
- Médico: Usa similaridade semântica (embeddings) entre o diagnóstico predito e o ground truth.
- Jurídico: Verificação exata da letra da resposta (A, B, C, D).
Recompensa de Fundamentação ( $r_g$ ) - Arquitetura "Focus-Then-Verify":
- Este é o componente inovador. Para evitar a diluição do sinal ao analisar documentos longos, o método constrói pares focados de Premissa (contexto de âncora + seção de evidência específica) e Hipótese (a sentença de raciocínio do modelo).
- Um modelo NLI (Inferência de Linguagem Natural) congelado (frozen) avalia se a hipótese é um entailment (implicação), contradição ou neutro em relação à premissa.
- A recompensa é calculada com base na força do suporte ou contradição encontrada, penalizando afirmações não suportadas.

Otimização

O modelo é treinado amostrando um grupo de $G$ completions para cada entrada. As recompensas são normalizadas dentro do grupo para calcular as vantagens (advantages), e a política é atualizada maximizando a probabilidade de respostas que são simultaneamente corretas e fundamentadas.

3. Contribuições Principais

Framework EvidenceRL: Um método de RL que trata a fundamentação por evidências como um objetivo de treinamento diferenciável, utilizando recompensas automatizadas (NLI e LLM-judge), eliminando a dependência de anotações humanas de preferência.
Arquitetura "Focus-Then-Verify": Uma nova abordagem de recompensa que realiza verificações de NLI em nível de sentença dentro de janelas de contexto focadas, resolvendo o problema de diluição de sinal comum em pontuações de nível de documento.
Validação Empírica Robusta: Demonstração de que o EvidenceRL melhora tanto a precisão da tarefa quanto a fundamentação em evidências em múltiplas famílias de modelos (Llama, Gemma, GPT-oss) e escalas (3B a 120B), reduzindo drasticamente alucinações.

4. Resultados Experimentais

Os experimentos foram conduzidos em dois domínios: MIMIC-IV-Ext (Diagnóstico Cardíaco) e BarExam MBE (Raciocínio Jurídico).

Desempenho em Diagnóstico Cardíaco (MIMIC-IV-Ext)

No modelo Llama-3.2-3B, o EvidenceRL aumentou o F1@3 de 37,0 para 54,5.
A fundamentação (Gmax@3) saltou de 47,6 para 78,2.
As alucinações caíram quase 5 vezes (de 11,6% para 2,4%).
Diagnósticos suportados por evidências aumentaram de 31,8% para 61,6%.
A "Fidelidade" (proporção de respostas corretas que são realmente fundamentadas) atingiu 87,5%.

Desempenho em Raciocínio Jurídico (BarExam MBE)

No modelo Llama-3.1-8B, a Fidelidade aumentou de 32,8% para 67,6%.
A taxa de respostas baseadas em evidências (EB) subiu de 18,8% para 41,0%.
O modelo conseguiu superar modelos maiores (como Llama-3.3-70B) em fundamentação, demonstrando que o treinamento focado em evidências pode compensar a falta de escala de parâmetros.

Comparação com Baselines

SFT (Fine-tuning Supervisionado): Melhorou a precisão, mas colapsou a fundamentação (o modelo aprendeu a formatar citações sem entender o vínculo semântico).
Self-RAG / Self-Consistency: Melhorias inconsistentes; muitas vezes redistribuem as saídas dentro da estrutura de preferência existente sem alterar o comportamento fundamental de geração.
fDPO (DPO com Fidelidade): Melhorou a fundamentação, mas às vezes às custas da precisão, pois treinava com pares de preferência entre modelos diferentes (distilação cruzada), enquanto o EvidenceRL otimiza a própria política do modelo.

5. Significado e Conclusão

O EvidenceRL representa um avanço significativo na confiabilidade de LLMs para aplicações críticas.

Mudança de Paradigma: O trabalho demonstra que controles no tempo de inferência (como recuperação ou verificação post-hoc) são insuficientes para mudar como os modelos raciocinam. A mudança deve ocorrer no objetivo de aprendizado.
Eficiência Computacional: O método permite que modelos menores (ex: 3B) superem modelos maiores (ex: 70B) em tarefas que exigem fundamentação rigorosa, oferecendo um caminho mais eficiente para a confiabilidade em cenários de alto risco.
Aplicabilidade: Ao forçar o modelo a alinhar suas previsões com as evidências fornecidas no contexto, o EvidenceRL reduz o risco de decisões médicas ou jurídicas baseadas em "achismos" ou memórias paramétricas incorretas, aumentando a confiança na adoção de IA nesses setores.

Em resumo, o EvidenceRL não apenas faz o modelo "acertar" a resposta, mas garante que ele chegue a essa resposta através de um raciocínio verificável e fundamentado nos dados fornecidos.