Resumo Técnico: TurnOPD

Declaração do Problema

A destilação on-policy (OPD) é um framework promissor para o treinamento de agentes de linguagem, onde um modelo estudante aprende com um professor mais forte ao igualar a distribuição do professor na própria trajetória gerada pelo estudante. No entanto, aplicar a OPD vanilla em tarefas de agente de longo horizonte (envolvendo interações de múltiplos turnos, uso de ferramentas e mudanças ambientais) revela duas ineficiências críticas que degradam o desempenho do treinamento e a utilização de recursos:

1. Desajuste Externo (Profundidade de Rollout): A OPD vanilla normalmente utiliza rollouts de horizonte total fixo. Os autores identificam que o sinal de supervisão reverse-KL é fortemente enviesado para os turnos iniciais. À medida que o treinamento progride e as trajetórias se estendem, os turnos do "final" (tail) frequentemente fornecem sinais KL fracos, ruidosos ou não informativos. Continuar a computar rollouts de comprimento total desperdiça recursos de tempo de execução (wall-clock) nesses passos de baixo rendimento.
2. Desajuste Interno (Alocação de Perda): Objetivos de KL de nível de trajetória padrão normalizam a perda com base na contagem de tokens. Como os turnos iniciais frequentemente contêm mais tokens e uma divergência KL inicial mais alta, eles dominam o orçamento de perda. Consequentemente, os turnos de decisão mais profundos — que são cruciais para o sucesso de longo horizonte, mas contêm menos tokens e menor KL bruto — recebem supervisão insuficiente. Os autores formalizam isso como um mecanismo de contaminação-compressão: à medida que o estudante gera mais contexto, a distribuição do próximo token torna-se cada vez mais "forçada" por formatação ou padrões repetitivos, comprimindo o KL observável mesmo que existam discordâncias reais de política. Isso leva a um cenário onde turnos profundos são subtreinados uma vez que os comportamentos iniciais se alinham.

Metodologia: TurnOPD

Para abordar esses desajustes, os autores propõem o TurnOPD, uma estratégia de orçamento por nível de turno que gerencia dinamicamente tanto o horizonte de rollout quanto a alocação de perda. O TurnOPD consiste em dois controladores adaptativos:

1. Orçamento Adaptativo de Profundidade de Rollout

Este controlador determina dinamicamente a profundidade de rollout ideal ($H_{ctrl}$) para evitar o desperdício de computação em turnos de cauda de baixo sinal. Ele sintetiza dois sinais:

• Proxy de Eficiência ($H_{eff}$): Calcula o centroide da distribuição reverse-KL ponderada pelo sobrevivente. Trata o sinal KL como uma distribuição de massa de destilação, deslocando a profundidade alvo com base em onde os sinais de correção significativos estão concentrados.
• Limite Inferior de Cobertura ($H_{cov}$): Garante que o rollout seja profundo o suficiente para cobrir um quantil específico (ex: 80%) de trajetórias bem-sucedidas. Isso evita que o controlador trunque os rollouts de forma muito agressiva, garantindo que o estudante ainda observe conclusões bem-sucedidas suficientes.
• Mecanismo: O controlador atualiza $H_{ctrl} = \max(H_{eff}, H_{cov})$ usando probes de rollout de comprimento total periódicos para estimar estatísticas, enquanto os passos de treinamento rotineiros usam o horizonte limitado.

2. Orçamento de Perda Progressivo Normalizado por Turno

Este controlador aborda o desajuste interno ao deslocar gradualmente a estratégia de agregação de perda do nível de token para a supervisão balanceada por turno.

• Mistura Linear (Linear Blending): Em vez de uma mudança abrupta, o método interpola linearmente entre o peso padrão de nível de trajetória (proporcional à contagem de tokens, $q_{traj}$) e um peso uniforme de nível de turno ($q_{turn}$).
• Progressão: O coeficiente de mistura $\alpha$ aumenta linearmente com o progresso do treinamento. Inicialmente ($\alpha \approx 0$), a perda segue a massa de tokens para garantir estabilidade. À medida que o treinamento avança, $\alpha$ aumenta, deslocando o peso para turnos mais profundos para garantir que recebam supervisão adequada para refinar a tomada de decisão complexa.

Principais Contribuições

1. Diagnóstico de Nível de Turno: O artigo fornece uma análise sistemática da OPD em configurações de longo horizonte, revelando que os sinais de supervisão e os orçamentos de otimização são distribuídos de forma não uniforme entre os turnos. Identifica o fenômeno de "contaminação-compressão" onde restrições induzidas pelo contexto suprimem artificialmente o KL observável em turnos profundos.
2. Formalização de Desajustes: Os autores formalizam o "desajuste externo" (profundidade fixa vs. utilidade de sinal variável) e o "desajuste interno" (perda ponderada por token vs. importância por turno) como as causas raízes da ineficiência da OPD vanilla.
3. Framework TurnOPD: A proposta de um sistema de duplo controlador que adapta a profundidade de rollout e a normalização de perda simultaneamente, adaptado especificamente para a natureza condicionada por turnos das interações de agentes.
4. Validação Empírica: Experimentos extensos demonstrando que o TurnOPD avança a fronteira de precisão-tempo, alcançando um desempenho superior com tempo de treinamento significativamente reduzido em comparação com a OPD vanilla e outros baselines.

Resultados Experimentais

Os autores avaliaram o TurnOPD em três benchmarks representativos: ALFWorld (planejamento incorporado), WebShop (navegação web) e Multi-Hop Search (recuperação de informação). Eles utilizaram vários pares estudante-professor (ex: estudantes Qwen3-1.7B/4B destilados de professores Qwen3-8B/9B).

• Fronteira Precisão-Tempo: O TurnOPD consistentemente alcançou a melhor "Least-Time" accuracy (maior precisão alcançada dentro do tempo de execução mínimo necessário para qualquer método completar 100 passos).
  • No ALFWorld-1.7B, o TurnOPD melhorou o Same-Step Avg@4 de 83.0 (Vanilla OPD) para 86.3, reduzindo o tempo de execução de 4.42 horas para 1.93 horas (um aceleração de 2.29×).
  • No WebShop, melhorou a precisão enquanto reduzia o tempo de 1.57h para 1.24h.
  • No Multi-Hop Search, alcançou a melhor Least-Time accuracy, superando a OPD vanilla sob orçamentos de tempo compartilhados.
• Estudos de Ablação:
  • Apenas Profundidade Adaptativa: Reduziu significativamente o tempo de execução (em ~55%), mas degradou ligeiramente a precisão, confirmando que encurtar os rollouts economiza computação, mas não resolve o problema de alocação de perda.
  • Apenas Mistura Linear de Normalização: Melhorou a precisão ao realocar a perda para turnos profundos, mas não reduziu o tempo de execução.
  • Combinado: A abordagem completa do TurnOPD alcançou o trade-off ideal, aproveitando tanto o controle de eficiência quanto o de otimização.
• Dinâmica do Controlador: A análise mostrou que o controlador adaptativo rastreou com sucesso os sinais diagnósticos, aumentando a profundidade de rollout conforme trajetórias bem-sucedidas emergiam, equilibrando eficiência com restrições de cobertura.

Significância e Alegações

O artigo afirma que o TurnOPD oferece um framework mais eficiente e eficaz para treinar agentes de linguagem de longo horizonte. Sua principal significância reside na mudança do paradigma de supervisão de uma posição de token plana para uma decisão condicionada ao turno dentro de um traço de interação em evolução.

Os autores afirmam que:

• A supervisão KL padrão e a normalização ao longo de trajetórias completas são insuficientes para agentes de longo horizonte devido aos desajustes estruturais específicos identificados.
• O TurnOPD avança a fronteira de precisão-tempo, permitindo que agentes alcancem níveis de desempenho mais altos com até 2.29× mais rapidez no treinamento.
• A abordagem é robusta em diferentes tamanhos de modelos e tipos de tarefas, sugerindo que o orçamento consciente de turnos é um princípio generalizável para o treinamento de agentes.

O artigo conclui que o TurnOPD abre um caminho para o treinamento consciente de turnos e adaptável ao orçamento, abordando os desafios específicos das tarefas de agente de longo horizonte que os objetivos de geração de sequência vanilla falham em resolver.