Resumo Técnico: Além da Correção: Recompensando o Raciocínio Fiel na Geração Aumentada por Recuperação

Declaração do Problema

Avanços recentes em Geração Aumentada por Recuperação (RAG) mudaram-se para a "busca agêntica", onde Grandes Modelos de Linguagem (LLMs) são treinados via Aprendizado por Reforço (RL) para planejar dinamicamente, realizar consultas em mecanismos de busca e raciocinar sobre evidências recuperadas. Embora os métodos existentes (ex: Search-R1, ReSearch) alcancem um forte desempenho na correção da resposta final (Exatidão de Correspondência - Exact Match) usando recompensas baseadas em episódios de nível de resultado, eles sofrem de uma limitação crítica: a infidelidade da cadeia de pensamento (chain-of-thought unfaithfulness).

Esses modelos frequentemente otimizam apenas a resposta final, negligenciando a qualidade e a integridade dos passos intermediários de raciocínio. Isso leva a cenários onde a resposta final é correta, mas os passos intermediários (pensamentos, consultas de busca e síntese de evidências) estão logicamente desconectados, ignoram a evidência recuperada ou alucinam informações. O artigo identifica uma lacuna no campo: a falta de definições formais e frameworks de avaliação para a fidelidade do raciocínio no contexto de busca agêntica, e a ausência de mecanismos de treinamento que incentivem traços intermediários fiéis sem sacrificar o desempenho da tarefa.

Metodologia

1. Framework de Avaliação para Fidelidade

Os autores propõem um framework de avaliação abrangente centrado em três métricas de fidelidade distintas ao nível de turno, que avaliam o fluxo lógico da trajetória de busca agêntica:

• Fidelidade Pensamento-Busca (Think-Search Faithfulness): Avalia se uma consulta de busca é uma consequência direta e necessária do raciocínio precedente do agente (ou seja, "buscar o que ele pensa que precisa").
• Fidelidade Informação-Pensamento (Information-Think Faithfulness): Avalia se o bloco de raciocínio do agente após um passo de recuperação sintetiza, resume ou deduz adequadamente a partir da evidência recém-adquirida, garantindo que o modelo não ignore ou contradiga a informação recuperada.
• Fidelidade Pensamento-Resposta (Think-Answer Faithfulness): Mede se a resposta final é consequência lógica do conhecimento cumulativo e do raciocínio no bloco de pensamento precedente, evitando a introdução de informações não verificadas na etapa final.

Essas métricas são operacionalizadas usando uma combinação de modelos de Inferência de Linguagem Natural (NLI) e abordagens de LLM como Juiz (LLM-as-a-Judge - LLMaaJ).

2. Framework VERITAS

Para abordar as lacunas identificadas, o artigo apresenta o VERITAS (Verifying Entailed Reasoning through Intermediate Traceability in Agentic Search). Este é um framework de treinamento que integra recompensas de fidelidade estruturadas e granulares no loop de treinamento de RL (especificamente usando PPO).

• Design de Recompensa: A função de recompensa total ($R$) é uma soma ponderada da tradicional recompensa baseada em resultado ($R_{EM}$) e das recompensas de fidelidade estruturada ($R_{info-think}$, $R_{think-answer}$, $R_{think-search}$).
  $$R = w_{EM} \cdot R_{EM} + w_{info-think} \cdot R_{info-think} + w_{think-search} \cdot R_{think-search} + w_{think-answer} \cdot R_{think-answer}$$
  Os autores descobriram empiricamente que $R_{think-search}$ poderia ser omitido ($w=0$), pois os modelos de base já exibiam alta fidelidade nesta dimensão, permitindo um processo de treinamento simplificado.
• Modelo de Recompensa Destilado: Para superar a latência e o custo de usar LLMaaJ para RL on-policy, os autores treinam um Modelo de Recompensa (RM) menor e destilado usando fine-tuning LoRA em um modelo Qwen2.5-14B-Instruct. Este RM é treinado para replicar os julgamentos de um juiz LLM maior (Claude-3.7-Sonnet) em relação à fidelidade Informação-Pensamento.
• Aprendizado por Currículo (Curriculum Learning): Para evitar o "reward hacking" (onde o modelo otimiza excessivamente a fidelidade em detrimento da exploração e da precisão da tarefa), os autores empregam uma estratégia de currículo. As recompensas de fidelidade são inicialmente definidas como zero e aumentam linearmente (warm up) ao longo dos primeiros 1,5 épocas de treinamento, permitindo que o modelo primeiro aprenda o desempenho básico da tarefa antes de refinar sua fidelidade de raciocínio.

Principais Contribuições

1. Definição e Avaliação Formal: O artigo estabelece o primeiro framework de avaliação formal para fidelidade em busca agêntica, definindo e quantificando três dimensões específicas: fidelidade Pensamento-Busca, Informação-Pensamento e Pensamento-Resposta.
2. Análise Empírica de Baselines: Através de uma avaliação extensiva de agentes de busca baseados em RL líderes (Search-R1, ReSearch, DeSA), os autores revelam um descompasso crítico: alta precisão de tarefa não garante alta fidelidade de raciocínio. Especificamente, modelos treinados com recompensas puras de resultado frequentemente falham em integrar a evidência recuperada em seu raciocínio (baixa fidelidade Informação-Pensamento).
3. Paradigma de Treinamento VERITAS: Os autores propõem e validam o VERITAS, um método que incorpora recompensas de fidelidade estruturadas, em estilo de checklist, no treinamento de RL. Esta abordagem melhora com sucesso a fidelidade do raciocínio enquanto mantém ou melhora a precisão final da tarefa.

Resultados Experimentais

Os autores avaliaram o VERITAS-R1 (Search-R1 treinado com o framework VERITAS) contra baselines em sete benchmarks de QA (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, MuSiQue, Bamboogle).

• Melhorias de Fidelidade: O VERITAS-R1 melhorou significativamente as métricas de fidelidade. Por exemplo, em datasets de QA geral, a fidelidade Informação-Pensamento aumentou de 0,734 (baseline) para 0,853. A fidelidade Pensamento-Resposta também apresentou ganhos notáveis em datasets multi-hop.
• Desempenho de Tarefa: Contrário à hipótesia de que impor fidelidade poderia restringir o desempenho, o VERITAS-R1 alcançou pontuações de Exatidão de Correspondência (EM) mais altas que o baseline Search-R1. Em datasets multi-hop, o EM médio melhorou de 0,361 para 0,380.
• Estudos de Ablação:
  • Componentes de Recompensa: A recompensa Informação-Pensamento foi considerada o driver mais estável tanto para melhorias de fidelidade quanto de precisão.
  • Aprendizado por Currículo: Treinar sem o currículo (aplicando recompensas de fidelidade imediatamente) levou ao reward hacking e menores pontuações finais de EM, confirmando a necessidade da estratégia de warm-up.
  • Modelo de Recompensa: O RM destilado Qwen2.5-14B mostrou alta consistência (0,910) com as anotações humanas e o modelo juiz maior, validando seu uso como um proxy escalável.

Significância e Alegações

O artigo alega que recompensar o processo de raciocínio não gera um trade-off com o desempenho; em vez disso, cria uma sinergia positiva. Ao mudar de recompensas puramente baseadas em resultados para recompensas de fidelidade estruturadas e granulares, os autores demonstram que é possível desenvolver agentes que são não apenas mais precisos, mas também mais transparentes e confiáveis.

O trabalho enfatiza o valor da supervisão estruturada sobre os passos intermediários de raciocínio. Sugere que, à medida que as recompensas baseadas apenas em resultados saturam, o próximo eixo de melhoria para sistemas agênticos reside em investir computação em sinais de avaliação mais ricos e granulares (rubricas/checklists) e propagar esses sinais de volta para o loop de treinamento. Os autores posicionam o VERITAS como um passo em direção ao desenvolvimento de agentes de IA mais confiáveis que podem ser implantados em cenários que exigem síntese rigorosa de evidências e consistência lógica.