Resumo Técnico: TCPO (Otimização de Política de Crédito por Nível de Turno)

Definição do Problema

No aprendizado por reforço (RL) multi-turno guiado por verificador, os Grandes Modelos de Linguagem (LLMs) refinam iterativamente as saídas com base em pontuações de verificadores recebidas após cada turno. Embora este cenário forneça feedback denso em comparação com a supervisão baseada apenas no resultado final, existe um descompasso fundamental entre as pontuações do verificador e o crédito por nível de turno.

Uma pontuação de verificador mede a qualidade absoluta da saída atual, enquanto o crédito por nível de turno deve medir a contribuição marginal daquele turno específico para a trajetória de refinamento global. As abordagens existentes falham em abordar esse problema de "conversão de pontuação para crédito" de forma eficaz:

• Métodos de nível de trajetória propagam o sucesso final para todos os tokens, confundindo reparos úteis com tentativas falhas ou regressões pós-sucesso.
• Pontuações de turno brutas recompensam a qualidade do estado, não o progresso marginal.
• Diferenças de pontuação adjacentes capturam mudanças locais, mas não conseguem distinguir entre um turno que melhora o melhor estado alcançado até o momento e um turno que não melhora, mas que possibilita o sucesso futuro.

O desafio central não é obter sinais por turno, mas converter as pontuações existentes do verificador em crédito por nível de turno otimizável que reflita com precisão o progresso imediato, a preservação de estados resolvidos e as contribuições tardias.

Metodologia: TCPO

O TCPO (Turn-Level Credit Policy Optimization) é um método de atribuição de crédito projetado para RL multi-turno guiado por verificador. Ele opera sem rótulos humanos adicionais ou críticos aprendidos, deixando o rollout multi-turno base inalterado. Em vez disso, ele converte rastros de verificadores em vantagens por nível de turno através de três comparações baseadas em referências:

1. Crédito Retrospectivo

Este componente compara a pontuação do turno atual contra a melhor pontuação alcançada antes daquele turno ($m_{i,k} = \max_{t<k} r_{i,t}$). Ele decompõe o crédito em três sinais:

• Melhoria: Recompensa turnos que excedem o melhor histórico ($\Delta_{i,k} > 0$).
• Preservação: Recompensa turnos que mantêm um estado de sucesso sem novas melhorias (ativo quando a trajetória já é bem-sucedida e a pontuação permanece estável).
• Penalidade de Regressão: Penaliza turnos que reduzem a pontuação do verificador após um estado de sucesso ter sido alcançado.

2. Crédito Retardado de Hindsight (Olhar para Trás)

Isso aborda turnos de não-melhoria pré-sucesso (onde a pontuação atual não excede o melhor histórico). Esses turnos podem ser essenciais para permitir reparos futuros.

• O TCPO identifica turnos elegíveis de não-melhoria e compara sua melhor pontuação futura realizada ($u_{i,k} = \max_{t \ge k} r_{i,t}$) contra a média das melhores pontuações futuras de outras trajetórias elegíveis com o mesmo prompt e índice de turno.
• Isso fornece um sinal retardado indicando se um turno de não-melhoria levou a resultados futuros melhores ou piores em comparação com seus pares.

3. Estimativa Contrafactual de Histórico Fixo

Para resolver a ambiguidade em turnos de alta surpresa (incerteza), onde as estimativas de hindsight podem ser ruidosas, o TCPO emprega uma abordagem contrafactual orçada:

• Seleção: Turnos com alta surpresa (incerteza) são selecionados para refinamento.
• Estimativa: O histórico até o turno atual é fixado, e $M$ saídas alternativas são amostradas. Essas alternativas são pontuadas pelo verificador.
• Atribuição de Crédito: O crédito é a diferença entre a pontuação da saída original e a pontuação média das alternativas. Isso isola o efeito da escolha da saída atual sem misturar revisões posteriores.
• Integração: Este sinal contrafactual refina a estimativa de hindsight apenas quando as alternativas revelam variação de pontuação, atuando como um refinamento local em vez de um oráculo independente.

Otimização

O sinal bruto de turno resultante combina créditos retrospectivos e retardados. Ele é normalizado dentro de grupos de prompt-turno e ponderado por um prior de turno inicial ($\gamma^{k-1}$) para incentivar reparos úteis mais cedo na trajetória. Essas vantagens por nível de turno são propagadas para todos os tokens na resposta correspondente e otimizadas usando um objetivo clipado do tipo GRPO.

Principais Contribuições

1. Formulação do Problema: O artigo formula explicitamente a conversão de pontuação para crédito como o desafio central no RL multi-turno guiado por verificador, distinguindo entre qualidade de saída e contribuição marginal.
2. Algoritmo TCPO: A introdução de um método de atribuição de crédito que constrói vantagens por nível de turno usando:
   • Referências retrospectivas para progresso imediato e preservação de estado.
   • Referências de hindsight para contribuições tardias de turnos de não-melhoria.
   • Referências contrafactuais de histórico fixo para refinar turnos de alta surpresa.
3. Validação Empírica: Validação em tarefas de raciocínio matemático, geração de código e agentes interativos (AppWorld), demonstrando que o TCPO melhora ou iguala bases fortes com um custo de treinamento adicional modesto.

Resultados Experimentais

Os experimentos foram conduzidos no Qwen3-4B e DeepSeek-R1-Distill-Llama-8B em tarefas de matemática (MATH-500, AIME), código (LiveCodeBench, HumanEval) e agentes (AppWorld).

• Desempenho: O TCPO atinge o melhor ou empata no melhor best-turn Pass@8 em todos os benchmarks e escalas de modelo.
  • No Qwen3-4B, o TCPO melhora sobre o MT-GRPO em +4.4 (MATH-500), +2.2 (AIME), +1.6 (LiveCodeBench) e +0.6 (HumanEval) pontos.
  • No DeepSeek-R1-Distill-Llama-8B, os ganhos são ainda maiores, superando o MT-GRPO de +6.2 a +1.2 pontos entre as tarefas.
• Eficiência: O TCPO geralmente reduz o número médio de turnos para o sucesso, indicando trajetórias de refinamento mais eficientes.
• Tarefas de Agente: No AppWorld, o TCPO melhora a Conclusão de Objetivo ao Nível de Tarefa (TGC) e a Conclusão de Cenário (SGC), demonstrando transferibilidade para agentes estatais que utilizam ferramentas.
• Estudos de Ablação:
  • Remover qualquer um dos três componentes de crédito (Retrospectivo, Hindsight, Contrafactual) resulta em degradação do desempenho, confirmando que a combinação é necessária.
  • Orçamento Contrafactual: Selecionar turnos de alta surpresa para estimativa contrafactual (Top-L) gera ganhos significativos (ex: +1.8 no MATH-500) com apenas um aumento de 1.03x–1.05x no overhead de treinamento, enquanto a seleção aleatória fornece benefício negligenciável.

Significância e Alegações

O artigo afirma que a conversão de pontuação para crédito é um ingrediente central para a otimização de política multi-turno guiada por verificador. A significância do TCPO reside em sua capacidade de:

• Desacoplar a qualidade de uma saída de sua contribuição para o caminho da solução.
• Distinguir entre reparos úteis, preservação de estado e regressões prejudiciais sem exigir modelos de valor aprendidos ou anotações humanas adicionais.
• Fornecer um mecanismo computacionalmente eficiente (via contrafactuais seletivos) para resolver a ambiguidade de crédito em cadeias de raciocínio multi-turno complexas.

Os autores concluem que, embora pontuações de verificador mais densas estejam disponíveis, sua utilidade é desbloqueada apenas quando convertida em crédito apropriado por nível de turno através de referências retrospectivas, de hindsight e contrafactuais. O TCPO demonstra que essa conversão leva a melhorias robustas nas taxas de sucesso e eficiência em diversos domínios.