Resumo Técnico: TRCA - Atribuição de Crédito por Rubrica Baseada em Transições para Agentes de LLM de Longo Horizonte

1. Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLM) de longo horizonte são tipicamente otimizados usando recompensas terminais esparsas (ex: sucesso/falha ao final de uma trajetória). Esta abordagem fornece apenas uma atribuição de crédito de granularidade grosseira, tornando difícil distinguir passos intermediários benéficos de passos prejudiciais ou redundantes.

As soluções existentes enfrentam limitações significativas:

• Modelos de Recompensa de Processo (PRMs): Embora eficazes, exigem extensa anotação humana ou custos de inferência substanciais de modelos julgadores de grande porte.
• Métodos Baseados em Âncoras: Estes derivam crédito ao nível do passo a partir de trajetórias bem-sucedidas. No entanto, no estágio inicial de aprendizado por reforço (RL), trajetórias bem-sucedidas são extremamente escassas (frequentemente <5% dos rollouts). Consequentemente, métodos que dependem de "âncoras de sucesso" falham em fornecer supervisão confiável durante a fase crítica de exploração.

Os autores identificam um problema de atribuição de crédito com escassez de sucesso: no início do treinamento, os rollouts falhos dominam, mas análises mostram que mais de 72% das ações nessas trajetórias falhas ainda contêm sinais de transição diagnosticamente úteis (ex: execução válida ou progresso parcial) que são atualmente descartados.

2. Metodologia: Atribuição de Crédito por Rubrica Baseada em Transições (TRCA)

O TRCA é um framework projetado para atribuir crédito de nível de passo diretamente de transições induzidas por ação, sem depender de âncoras de sucesso ou avaliadores de processo aprendidos. Ele opera avaliando transições de estado usando três rubricas específicas:

2.1 Definições de Rubrica

Para qualquer transição $\xi_t = (s_t, a_t, s_{t+1})$, o TRCA avalia:

1. Evidência (Evidence): Captura informações relevantes para a tarefa recém-reveladas (ex: observar uma entidade alvo, revelar um atributo). Isso fornece crédito positivo para aquisição de informação.
2. Execução (Execution): Reconhece operações requeridas pela tarefa concluídas ou condições intermediárias (ex: realizar uma operação de subobjetivo). Isso fornece crédito positivo para execução substantiva da tarefa.
3. Invalidade (Invalidity): Identifica ações malformadas, inadmissíveis ou não executáveis (ex: ações ilegais, erros de formato). Isso fornece crédito negativo.

Estas rubricas são instanciadas offline para cada tipo de tarefa usando um LLM, não exigindo modelos julgadores adicionais durante a otimização da política.

2.2 Construção da Recompensa

O TRCA agrega estes julgamentos em dois sinais de recompensa complementares:

• Recompensa de Rubrica Fundamental ($r^F$):
  Mapeia cada item de rubrica julgado para uma contribuição com sinal (positivo para Evidência/Execução, negativo para Invalidade). Estes são agregados por passo para fornecer supervisão ampla e com sinal definido. Isso recompensa a qualidade imediata de uma transição, independentemente de ser uma ocorrência de "primeira vez".
  $$r^F_{i,t} = \sum_{j \in \mathcal{R}(x)} q^i_{t,j}$$

• Recompensa de Rubrica de Avanço ($r^B$):
  Aborda a questão de recompensar repetidamente a mesma condição. Ele rastreia a cobertura cumulativa de condições positivas de Evidência e Execução. Atribui crédito apenas quando uma condição de rubrica é satisfeita pela primeira vez em uma trajetória (ou seja, um "avanço" ou breakthrough).
  $$r^B_{i,t} = \Phi_{i,t} - \Phi_{i,t-1}$$
  Onde $\Phi$ é o potencial cumulativo de rubricas positivas cobertas.

A recompensa final do TRCA é uma combinação ponderada:
$$r^{TRCA}_{i,t} = (1 - \lambda) \cdot r^F_{i,t} + \lambda \cdot r^B_{i,t}$$

2.3 Otimização da Política

O TRCA combina estas recompensas de nível de passo com a recompensa terminal esparsa do ambiente para calcular um "retorno consciente de conclusão". Ele então calcula:

1. Vantagem Relativa ao Episódio ($A_E$): Comparando o retorno total de uma trajetória contra outras no mesmo grupo.
2. Vantagem Relativa ao Passo ($A_S$): Normalizando o retorno consciente de conclusão dentro de grupos de contextos de decisão semanticamente similares.

O sinal de vantagem final $A^{TRCA} = A_E + A_S$ é usado para otimizar a política via um objetivo clipado do tipo PPO.

3. Principais Contribuições

1. Identificação do Problema: Os autores quantificam a severidade do regime de escassez de sucesso no treinamento de agentes de longo horizonte, demonstrando que rollouts falhos dominam o início do treinamento, mas retêm sinais de transição valiosos.
2. Framework TRCA: Um novo método de atribuição de crédito de nível de passo que deriva supervisão de transições ambientais usando rubricas de Evidência, Execução e Invalidade. Ele elimina a necessidade de âncoras de sucesso ou avaliadores de processo externos.
3. Mecanismo de Recompensa Dual: A introdução da Recompensa de Rubrica Fundamental (supervisão ampla) e da Recompensa de Rubrica de Avanço (destacando novo progresso) para equilibrar a qualidade imediata do passo com o progresso cumulativo da tarefa.
4. Validação Empírica: Experimentos extensos mostrando melhorias consistentes em diversos benchmarks e escalas de modelos.

4. Resultados Experimentais

Os autores avaliaram o TRCA no ALFWorld, WebShop e sete benchmarks de QA com aumento de busca usando modelos Qwen2.5 (1.5B, 3B e 7B).

• ALFWorld & WebShop:
  • Com o Qwen2.5-1.5B-Instruct, o TRCA alcançou uma taxa de sucesso de 92.0% no ALFWorld (melhoria de 5.3% sobre o melhor baseline, GiGPO) e uma pontuação de tarefa de 90.5% no WebShop (melhoria de 7.4%).
  • Com o Qwen2.5-7B-Instruct, o TRCA atingiu 94.5% no ALFWorld e 92.9% no WebShop, superando o GiGPO em 3.7% e 8.5%, respectivamente.
• QA com Aumento de Busca:
  • No Qwen2.5-3B-Instruct, o TRCA alcançou uma pontuação média de 45.4%, superando o IGPO (ganho de 8.2%) e o GiGPO (ganho de 3.3%). Alcançou os melhores resultados em todos os sete datasets individuais nesta configuração.
  • Melhorias semelhantes foram observadas com o modelo 7B, atingindo uma média de 48.4%.
• Dinâmica de Aprendizado:
  • O TRCA demonstrou convergência significativamente mais rápida e maior eficiência de amostragem comparado ao GRPO. Por exemplo, na sub-tarefa pick_two do ALFWorld, o TRCA atingiu uma taxa de sucesso de 69.2% com 3.84K trajetórias, enquanto o GRPO precisou de 6.40K trajetórias para atingir apenas 46.7%.
• Estudos de Ablação:
  • Remover qualquer componente de recompensa, seja o Fundamental ou o de Avanço, degradou consistentemente o desempenho, confirmando sua natureza complementar. O componente de Avanço foi considerado particularmente crítico para ações críticas da tarefa.

5. Significância e Alegações

O artigo afirma que o TRCA aborda um gargalo fundamental no treinamento de agentes de longo horizonte: a dependência de trajetórias bem-sucedidas raras para supervisão. Ao fundamentar a atribuição de crédito nas transições de estado observadas pelo ambiente em vez de resultados terminais, o TRCA converte a experiência de "falha" em supervisão detalhada e confiável.

Os autores asseguram que esta abordagem é particularmente valiosa durante o estágio inicial de exploração de RL, onde rollouts bem-sucedidos são escassos, mas transições informativas são abundantes. Os resultados sugerem que a evidência de transição ao nível do ambiente serve como uma base geral para aprender comportamentos de longo horizonte, permitindo que os agentes melhorem o desempenho, a velocidade de convergência e a eficiência de amostragem sem o overhead de avaliadores de processo aprendidos ou a dependência de âncoras de sucesso.