FaithRL: Learning to Reason Faithfully through Step-Level Faithfulness Maximization

Título: FaithRL: Aprendendo a Raciocinar com Fidelidade Através da Maximização de Fidelidade em Nível de Passo

1. O Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tem melhorado significativamente a capacidade de raciocínio de Grandes Modelos de Linguagem (LLMs) em tarefas complexas como matemática e codificação. No entanto, os pipelines atuais de RLVR dependem predominantemente de recompensas baseadas em resultados esparsos (apenas o final da resposta é avaliado como certo ou errado).

Essa abordagem gera dois problemas críticos:

1. Superconfiança e Alucinações: Os modelos são incentivados a "adivinhar" respostas corretas mesmo sem evidências suficientes, pois um chute afortunado gera recompensa, enquanto a recusa honesta é penalizada.
2. Raciocínio Espúrio: O modelo pode gerar cadeias de raciocínio que contêm fatos corretos, mas são logicamente irrelevantes para a pergunta, ou passos não suportados por evidências que acidentalmente levam à resposta certa. Isso viola a "fidelidade" do raciocínio, onde cada passo deve ser estritamente apoiado pelas evidências fornecidas.

Métodos existentes que focam apenas em fatos (factuality-driven) ou em recusa (refusal-aware) muitas vezes falham em garantir a validade lógica do processo ou levam a um conservadorismo excessivo (o modelo recusa perguntas que poderia responder).

2. Metodologia: O Framework FaithRL

Os autores propõem o FaithRL, um framework de RL que otimiza diretamente a fidelidade do raciocínio (reasoning faithfulness), garantindo que cada passo do raciocínio seja suportado pelas evidências necessárias.

O método é composto por três pilares principais:

A. Objetivo de Otimização: Maximização da Fidelidade
Diferente dos objetivos tradicionais de maximizar apenas a precisão (correto) ou minimizar alucinações, o FaithRL define um conjunto de trajetórias "fiéis" ($S_f$), onde o conjunto de conhecimento utilizado pelo modelo ($\phi(\tau)$) corresponde estritamente ao conjunto de evidências necessárias ($E(q)$).

• Teorema de Estabilidade: O artigo prova teoricamente que otimizar para fidelidade evita comportamentos degenerados:
  • Maximizar apenas a correção leva à superconfiança ($P(Miss) \to 0$).
  • Minimizar apenas alucinações leva ao conservadorismo excessivo ($P(Miss) \to 1$).
  • Maximizar a fidelidade mantém a taxa de recusa em um equilíbrio estável determinado pela capacidade intrínseca do modelo.

B. Design de Recompensa Geométrica (Geometric Reward)
Para alinhar a otimização de resultados com a honestidade, os autores introduzem uma métrica chamada Truthful Helpfulness Score (THS).

• Eles representam o desempenho do modelo em um plano 2D (Eixo X: Taxa de Correção, Eixo Y: Taxa de Alucinação).
• A recompensa é derivada geometricamente com base na capacidade inicial do modelo ($x_0, y_0$):
  • Resposta Correta: $+y_0$
  • Recusa Incorreta (Miss): $0$
  • Alucinação: $-x_0$
• Teorema de Alinhamento: Maximizar essa recompensa geométrica é matematicamente equivalente a maximizar a melhoria na área do triângulo formado pela trajetória de desempenho em relação ao ideal, garantindo que o modelo melhore tanto a utilidade quanto a honestidade simultaneamente.

C. Modulação de Vantagem Consciente de Fidelidade (FAAM)
Para garantir que o processo (e não apenas o resultado) seja fiel, o FaithRL utiliza um verificador para avaliar cada passo do raciocínio individualmente.

• Mecanismo: Um verificador ($V$) determina se um passo de raciocínio $s_j$ é estritamente suportado pelas evidências $E(q)$.
• Modulação: A vantagem (advantage) calculada pela recompensa geométrica é modulada por um escalar $M_{i,t}$ para cada token:
  • Se a trajetória é positiva (correta) e o passo é fiel: Recompensa total.
  • Se a trajetória é positiva, mas o passo é não-fiél: Recompensa reduzida (penalização parcial).
  • Se a trajetória é negativa (errada), mas o passo é fiel: A penalidade é mitigada (para não punir raciocínio correto que falhou no final).
  • Se a trajetória é negativa e o passo é não-fiél: Penalidade total.
• Isso permite que o modelo aprenda a descartar passos irrelevantes e preserve passos válidos, mesmo que o resultado final esteja errado.

3. Contribuições Chave

1. Novo Objetivo Teórico: Formalização da maximização da fidelidade do raciocínio como um objetivo de otimização, com provas teóricas de que ele previne superconfiança e conservadorismo excessivo.
2. Framework Unificado (FaithRL): Primeira proposta de mitigar alucinações otimizando diretamente a fidelidade do raciocínio via verificação de evidências objetivas, integrando recompensa geométrica e modulação de vantagem em nível de passo.
3. Desempenho Superior: Demonstração empírica de que o FaithRL supera métodos de RLVR existentes (como GRPO e TruthRL) e métodos baseados em SFT, alcançando um equilíbrio Pareto entre correção e honestidade.

4. Resultados Experimentais

Os experimentos foram realizados em benchmarks de perguntas de múltiplas etapas (Multi-hop QA) e tarefas fora da distribuição (OOD).

• Benchmarks Principais (2WikiMultiHopQA, HotpotQA, MuSiQue):
  • O FaithRL reduziu a taxa de alucinação em 4.7 pontos em média em comparação com métodos RLVR.
  • Aumentou a taxa de correção em 1.6 pontos.
  • Obteve o melhor Truthful Helpfulness Score (THS) em todos os modelos testados (Llama-3.1-8B e Qwen2.5-7B), superando o baseline mais forte (TruthRL) por uma margem de 9.8 pontos no THS.
• Generalização (OOD - GSM8k e MATH500):
  • O modelo treinado com FaithRL generalizou robustamente para tarefas matemáticas não vistas durante o treinamento, melhorando a precisão em mais de 10.8 pontos e reduzindo alucinações em 8.4 pontos em comparação ao GRPO.
• Análise de Fidelidade:
  • Durante o treinamento, a proporção de passos fiéis aumentou de 51.4% para 82.5% no FaithRL, enquanto baselines tradicionais não mostraram melhoria significativa na fidelidade dos passos.
• Custo Computacional:
  • A adição da verificação em nível de passo aumentou o custo computacional (FLOPs e tempo de GPU) em apenas ~13-15% em relação ao GRPO padrão, graças ao reuso eficiente de cache KV e processamento concorrente.

5. Significado e Impacto

O FaithRL representa um avanço fundamental na confiabilidade de LLMs. Ao mudar o foco de "apenas acertar a resposta" para "raciocinar corretamente com base nas evidências", o método aborda a raiz das alucinações e da desconfiança em sistemas de IA.

• Aplicabilidade: O framework é crucial para domínios de alto risco (saúde, direito, educação), onde a precisão factual e a transparência do raciocínio são não negociáveis.
• Paradigma de Treinamento: Estabelece um novo padrão para RLVR, demonstrando que a supervisão de processo (step-level supervision) é essencial para evitar o "hacking de recompensa" e garantir que a melhoria de desempenho seja baseada em capacidades cognitivas reais e não em adivinhações estatísticas.
• Futuro: Abre caminho para pesquisas que integram verificação de evidências diretamente no ciclo de otimização de políticas, promovendo agentes de IA mais transparentes e confiáveis.

Em resumo, o FaithRL não apenas melhora a pontuação de acerto, mas internaliza um padrão de comportamento onde o modelo aprende a dizer "não sei" quando as evidências são insuficientes e a construir argumentos lógicos sólidos quando elas estão presentes.