Resumo Técnico: ProFact – Aprendizado por Reforço Agêntico para Verificação de Fatos em Múltiplas Etapas

1. Declaração do Problema

A verificação automatizada de fatos em ambientes de domínio aberto é inerentemente um processo de decisão de múltiplas etapas que envolve decomposição de alegações, coleta de evidências e previsão de veredito. Embora abordagens recentes combinem Grandes Modelos de Linguagem (LLMs) com raciocínio baseado em recuperação, os métodos existentes normalmente otimizam essas etapas isoladamente ou dependem de heurísticas fixas para coordenação. Essa separação leva a resultados subótimos, onde decisões intermediárias (por exemplo, gerar perguntas de verificação) não estão alinhadas com o objetivo final de previsão de veredito preciso. Além disso, otimizar toda a trajetória de verificação é desafiador devido à supervisão esparsa e atrasada: o rótulo de veracidade final fornece uma recompensa apenas ao final do processo, tornando difícil atribuir crédito a ações intermediárias específicas (como uma consulta de busca específica ou etapa de decomposição).

2. Metodologia: Estrutura ProFact

Os autores propõem o ProFact, uma estrutura de aprendizado por reforço (RL) agêntico projetada para a otimização de ponta a ponta de trajetórias de verificação de fatos em múltiplas etapas.

2.1 Formulação como um Processo de Decisão de Markov (MDP)

O ProFact modela a verificação de fatos como um MDP de horizonte finito ($M = (S, A, P, r, \rho_0, T)$):

• Estado ($S$): Inclui a alegação, perguntas geradas, evidências recuperadas, pares QA (pergunta-resposta) e o estágio atual de raciocínio.
• Ação ($A$): Ações unificadas geradas por uma única política $\pi_\theta$, incluindo geração de perguntas de verificação, chamada de ferramentas de busca, síntese de respostas fundamentadas em evidências e previsão do veredito final.
• Trajetória: Uma sequência de estados e ações $(s_0, a_0, r_0, \dots, s_T, a_T, r_T)$ representando o fluxo de trabalho completo de verificação.

2.2 Rollout de Verificação em Três Estágios

O agente executa um fluxo de trabalho de três estágios que espelha a checagem de fatos humana:

1. Estágio de Pergunta: O agente decompõe a alegação em um conjunto de perguntas de verificação ($Q$).
2. Estágio de Busca: Para cada pergunta, o agente realiza a recuperação iterativa de um repositório de evidências pré-construído (usando busca semântica via Qwen3-Embedding-0.6B e kNN) e gera respostas fundamentadas em evidências ($A$). O contexto é resetado entre as perguntas para evitar expansão desnecessária.
3. Estágio de Veredito: Com base nas evidências e respostas acumuladas, o agente prevê o rótulo de veracidade final (Suportado, Refutado, Evidência Insuficiente ou Evidência Conflitante).

2.3 Função de Recompensa Consciente do Processo

Para abordar a esparsidade do rótulo final, o ProFact introduz uma função de recompensa consciente do processo que fornece supervisão densa em nível de estágio:

• Recompensa do Estágio de Pergunta ($r_q$): Computada via correspondência baseada em METEOR entre as perguntas geradas e as perguntas padrão (gold-standard).
• Recompensa do Estágio de Busca ($r_s$): Computada via correspondência baseada em METEOR entre os pares pergunta-resposta gerados e as anotações de evidência padrão.
• Recompensa do Estágio de Veredito ($r_v$): Uma função indicadora ($1$ se o rótulo previsto coincidir com o rótulo padrão, $0$ caso contrário).
• Retorno Total: A soma das recompensas ao longo da trajetória, transformando um sinal de resultado esparso em sinais de aprendizado intermediários.

2.4 Otimização via GRPO

A estrutura emprega Otimização de Política Relativa de Grupo (GRPO) para o treinamento. Em vez de usar uma rede de crítico separada, o GRPO estima a função de vantagem comparando um grupo de $G$ trajetórias amostradas para a mesma alegação. A vantagem $\hat{A}_{i,g}$ é calculada normalizando o retorno total de uma trajetória em relação à média e ao desvio padrão do grupo. Isso permite a otimização estável e de ponta a ponta da política unificada sem exigir a aproximação da função de valor, o que é difícil dada a natureza heterogênea das recompensas de estágio e dependências de recuperação.

3. Principais Contribuições

1. Estrutura de Verificação Agêntica: O ProFact unifica a decomposição de alegações, a recuperação de evidências e a previsão de veredito em uma única política com ações de recuperação explícitas, formulando a verificação como um problema de tomada de decisão agêntica de longo horizonte.
2. Otimização de Trajetória Consciente do Processo: A introdução de uma função de recompensa consciente do processo fornece feedback intermediário denso, permitindo que o modelo aprenda quais comportamentos intermediários (decomposição, busca, raciocínio) contribuem para a precisão final.
3. Validação Empírica: Experimentos abrangentes demonstram que o ProFact melhora tanto o desempenho de verificação quanto a eficiência de inferência em comparação com bases fortes.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados AVeriTeC utilizando quatro modelos de base de código aberto (Qwen2.5-3B/7B, Qwen3-4B/8B).

• Desempenho: O ProFact superou consistentemente as bases (Consistency, InFact, HerO) em todas as métricas.
  • Pontuação AVeriTeC: O ProFact alcançou as pontuações mais altas (ex: 48.00 no Qwen2.5-7B vs. 42.80 para o HerO), indicando capacidade de verificação de ponta a ponta superior.
  • Precisão: O ProFact mostrou melhoria na precisão da previsão do rótulo final.
  • Qualidade Intermediária: O ProFact alcançou os melhores escores METEOR de apenas perguntas (Q-only), indicando uma decomposição de alegação mais forte, e escores METEOR de Q&A competitivos.
• Eficiência: O ProFact demonstrou ganhos significativos na eficiência de inferência. Comparado ao InFact, o ProFact reduziu o tempo por alegação em aproximadamente 50–70% e reduziu substancialmente o consumo de tokens (ex: 0.38M tokens de saída vs. 0.66M para o InFact no Qwen2.5-7B).
• Estudo de Ablação: A remoção das recompensas de processo (w/o PR) resultou em uma queda consistente de desempenho em todas as bases, confirmando que a supervisão apenas do rótulo final é insuficiente para aprender trajetórias de múltiplos estágios eficazes.
• Comparação de Algoritmos: O GRPO mostrou-se superior ao PPO, DAPO e GiGPO para esta tarefa, provavelmente devido à sua capacidade de fornecer sinais estáveis de nível de trajetória sem a complexidade de aprender uma função de valor para recompensas de estágio heterogêneas.

5. Significância e Alegações

O artigo afirma que a otimização de trajetória consciente do processo é um mecanismo crítico para a verificação de fatos em múltiplas etapas. Ao tratar a verificação como um processo de decisão unificado em vez de um pipeline de módulos isolados, o ProFact permite que decisões precoces (como a decomposição) se adaptem aos requisitos de estágios posteriores (como a previsão de veredito). Os resultados destacam que:

• A supervisão intermediária é essencial para uma atribuição de crédito eficaz em tarefas de longo horizonte.
• O RL agêntico com recompensas conscientes do processo pode simultaneamente melhorar a precisão e reduzir os custos de inferência ao aprender estratégias de verificação mais direcionadas e menos redundantes.
• Modelos maiores não necessariamente produzem uma verificação fundamentada em evidências melhor, pois podem depender de conhecimento paramétrico em vez de evidências recuperadas; no entanto, a estrutura ProFact permanece eficaz através de diferentes escalas de modelos.

Os autores concluem que seu trabalho demonstra a eficência do aprendizado por reforço de ponta a ponta para otimizar fluxos de trabalho de raciocínio complexos e de múltiplas etapas na verificação automatizada de fatos.