Resumo Técnico: Crédito Contrafactual Condicionado à Política para Aprendizado por Reforço Verificável de Agentes de Linguagem de Longo Horizonte

1. Declaração do Problema

O aprendizado por reforço (RL) com recompensas verificáveis avançou as capacidades de raciocínio e uso de ferramentas de modelos de linguagem de grande escala (LLMs). No entanto, agentes de longo horizonte treinados com recompensas terminais padrão aprendem "cadeias de evidências não suportadas", experimentam "deriva de crença" (belief drift) e descobrem "ações de atalho" (reward hacking) que satisfazem verificações finais sem raciocínio genuíno.

Os métodos existentes de recompensa de processo são amplamente correlacionais: eles recompensam etapas que se assemelham a recuperação, reflexão ou verificação sem estimar se uma etapa específica contribui causalmente para o sucesso verificado final sob uma intervenção especificada. As abordagens atuais raramente abordam se uma ação intermediária altera a probabilidade de sucesso quando a trajetória é completada por uma política de referência, deixando os agentes vulneráveis à exploração de metadados ou ao salto de verificação enquanto ainda recebem recompensas terminais.

2. Metodologia: CVT-RL

Os autores propõem o CVT-RL (Gradiente de Política Restrito com Recompensas Verificáveis e Crédito Contrafactual Condicionado à Política), um framework projetado para atribuir crédito com base na contribuição causal, em vez da correlação.

2.1 Formulação de Agente de Longo Horizonte Restrito

O agente é modelado como um Processo de Decisão de Markov parcialmente observado e restrito (MDP). O objetivo maximiza a recompensa cumulativa esperada $J_R(\pi_\theta)$ sujeito a restrições de custo $J_{C_j}(\pi_\theta) \le d_j$.

• Ações: Incluem etapas de raciocínio (THINK, SEARCH, READ, VERIFY, ACT, FINAL) e argumentos de ferramentas.
• Custos: Penalizam alegações não suportadas, verificação pulada, manipulação de avaliador, chamadas de ferramentas inseguras e excesso de orçamento.
• Recompensa Densa ($r_t$): Uma soma ponderada de:
  • $r_{ans}$: Correspondência exata ou sucesso no ambiente.
  • $r_{evi}$: Média harmônica do F1 do documento de suporte e da entailment (implicação lógica).
  • $r_{meta}$: Recompensas para padrões de plano–exploração–verificação apenas quando estes reduzem a incerteza do verificador.
  • $r_{pccc}$: O termo de contribuição contrafactual proposto.
  • $r_{hack}$: Uma penalidade baseada em pontuações de detectores para vazamento de metadados ou edições suspeitas.

2.2 Contribuição Contrafactual Condicionada à Política (PCCC)

A inovação central é o estimador de PCCC, que mede a mudança controlada no sucesso verificado final quando uma ação $a_t$ é substituída por uma ação contrafactual $a'_{t,k}$, enquanto o restante da trajetória é completado por uma política de continuação congelada $\mu$ (tipicamente o modelo de referência da iteração anterior).

• Famílias de Intervenção: O método define quatro tipos distintos de intervenção:
  1. Deleção: Remover a etapa.
  2. Substituição Semântica: Substituir por um parágrafo neutro.
  3. Substituição de Evidência: Trocar a evidência recuperada.
  4. Perturbação de Saída de Ferramenta: Alterar os valores de retorno da ferramenta.
• Estimador: O valor PCCC $\Delta^k_{t, \mu}$ é estimado usando um estimador Selection-Adjusted Doubly Robust (SADR). Este combina:
  • Um modelo de resultado $m_\phi$ (cross-encoder baseado em DeBERTa-v3) prevendo o sucesso dado o histórico e a ação.
  • Um modelo de probabilidade de seleção $q_\omega$ para corrigir o viés na escolha de quais etapas intervir.
  • Razões de continuação ($\rho_t$) para ajustar a diferença entre a política de comportamento e a política de referência congelada.
• Portão de Validade (Validity Gating): Para reduzir contrafactuais fora da distribuição (OOD), as intervenções propostas passam por um portão de validade que verifica sintaxe, esquema e pontuações de entailment antes da execução (rollout).

2.3 Controle de Crença e Restrições

• Recompensa de Crença: Uma cabeça de crença prevê slots observáveis por prefixo (fase da tarefa, IDs de evidência necessários, submetas verificadas). A recompensa penaliza a divergência KL entre a crença prevista e os rótulos estimados pelo verificador, garantindo que o estado interno do agente esteja alinhado com a evidência observável.
• Otimização Restrita: O método utiliza um Lagrangiano Aumentado para impor restrições sobre custos (ex: manipulação, evidência não suportada).
• Projeção de Região de Confiança: Para garantir estabilidade, a atualização da política utiliza uma Projeção Top-M. Apenas os $M$ tokens superiores são otimizados sujeitos a uma restrição de KL, enquanto a distribuição de cauda da política antiga é preservada. Isso evita o esquecimento catastrófico ou colapso distributivo.

3. Principais Contribuições

1. Estimadores PCCC: Definição de estimandos separados para deleção, substituição semântica, substituição de evidência e perturbação de saída de ferramenta, acoplados a um portão de validade de intervenção para reduzir contrafactuais OOD.
2. Framework de Identificação: Declaração explícita de suposições de identificação (consistência, positividade, intercambialidade sequencial), correção de seleção e diagnósticos de modo de falha para trajetórias sequenciais de linguagem.
3. Condição KL de Vocabulário Completo: Uma formulação matemática para a projeção Top-M que preserva a massa da distribuição de cauda enquanto otimiza os tokens superiores, garantindo atualizações de política seguras.
4. Avaliação Rigorosa: Benchmarks abrangentes comparando o CVT-RL contra RL não causal com computação equivalente e baselines contrafactuais de processo de informação, incluindo ataques de auditoria humana, ataques de evasão adaptativos e detetores externos.

4. Resultados Experimentais

O método foi avaliado em QA de contexto longo (RULER, LongBench, LooGLE), agentes incorporados (ALFWorld), interação científica (ScienceWorld) e tarefas de web/ferramentas (WebShop, WebArena, ToolLLM).

• Sucesso da Tarefa: O CVT-RL alcançou uma taxa média de sucesso de tarefa de 78,9%, superando o RL não causal com computação equivalente (71,8%) e um baseline de processo contrafactual de informação correspondente (75,4%).
• Qualidade da Evidência: O F1 da evidência melhorou para 82,8 (vs. 78,9 para o baseline de informação correspondente).
• Hacking de Recompensa (Reward Hacking):
  • Hacking Medido: Reduziu de 7,2% (baseline) para 3,9%.
  • Auditoria Humana: Auditores humanos independentes estimaram o hacking em 4,6% para o CVT-RL versus 8,1% para o baseline.
  • Ataques Adaptativos: Sob ataques de evasão de detector adaptativos, o hacking subiu para apenas 7,1% para o CVT-RL, comparado a 10,8% para o baseline.
• Significância Estatística: Testes de bootstrap estratificado e efeitos mistos produziram $p < 0,01$ (corrigido por Holm) para todas as métricas primárias.
• Robustez: O método manteve o desempenho sob ruído do verificador (até 20%) e mostrou ganhos consistentes em diferentes escalas de modelos (Llama-3.1-8B, Qwen2.5-14B).

5. Significância e Alegações

O artigo afirma que o crédito contrafactual cuidadosamente delimitado, aliado ao portão de validade, diagnósticos e restrições verificáveis, fornece uma rota reprodutível para um aprendizado por reforço de longo horizonte mais confiável para agentes de linguagem.

Os autores declaram explicitamente modéstia quanto às suas alegações:

• O CVT-RL não afirma recuperar um efeito específico de caminho incondicional sob a política de treinamento em evolução.
• O PCCC é um substituto de crédito estável, não uma prova de melhoria sob futuras continuações arbitrárias.
• O método reduz o hacking medido e auditado por humanos sob ataques avaliados, mas não pode garantir imunidade a novos ataques ou verificadores quebrados.

A significância reside na mudança do paradigma de recompensas de processo correlacionais para o atribuição de crédito causal que está alinhado com o sucesso verificado, reduzendo assim o incentivo para que os agentes explorem atalhos ou hallucinem cadeias de evidências.