Resumo Técnico: O Que e Quando Destilar: Destilação Seletiva de Perspectiva Posterior para Agentes Multi-turno

1. Declaração do Problema

A Aprendizagem por Reforço (RL) é um paradigma primário para o treinamento de Agentes de Modelos de Linguagem de Grande Escala (LLM) em ambientes interativos de longo horizonte (por exemplo, navegação na web, tarefas corporificadas). No entanto, existe um gargalo crítico na atribuição de crédito: sinais de sucesso esparsos e em nível de trajetória (por exemplo, uma única recompensa de "tarefa concluída") devem ser distribuídos por dezenas de ações, muitas das quais são etapas rotineiras de navegação ou formatação sem impacto causal no resultado.

Os métodos existentes enfrentam duas limitações principais:

1. Atribuição de Crédito Grossa: Métodos relativos ao grupo, como o GRPO, transmitem uma vantagem em nível de trajetória para cada token, tratando decisões decisivas e tokens de interface inerciais de forma idêntica.
2. Vazamento de Informação Privilegiada na Destilação: Embora a auto-destilação on-policy (OPD) possa fornecer supervisão densa em nível de token usando um modelo "professor" que observa feedback do ambiente (perspectiva posterior), a imitação indiscriminada arrisca vazar informações indisponíveis para o aluno no momento da decisão (por exemplo, observações futuras, mensagens de erro). Isso pode amplificar preferências estilísticas não relacionadas ao sucesso da tarefa e desestabilizar o treinamento.

O desafio central é determinar quais fontes de feedback são úteis, onde (em que granularidade) elas devem ser aplicadas e como integrá-las sem comprometer o vínculo causal entre a decisão do agente e a recompensa final.

2. Metodologia: SERL

Os autores propõem o SERL (Aprendizado Seletivo Reponderado pelo Ambiente), um framework que desacopla a direção da atualização da magnitude e localização da atualização.

Princípio Central

• Recompensa da Tarefa: Determina a direção da atualização da política (se reforçar ou suprimir um comportamento).
• Feedback do Ambiente: Ajusta apenas a localização (quais tokens) e a magnitude (quão fortemente) dessa atualização.

Componentes Principais

A. Localização de Perspectiva Posterior (Fonte e Granularidade)

O SERL explora sistematicamente o espaço de design de fontes de feedback e pontos de inserção:

• Fontes de Feedback: Feedback imediato ($r_t$), próxima observação ($s_{t+1}$), trajetória futura ($\tau_{>t}$), trajetórias bem-sucedidas ($\tau_+$) e combinações.
• Granularidades:
  • Nível de Passo: Aplica feedback a cada transição.
  • Nível de Âncora: Agrupa estados semanticamente similares em "âncoras" e aplica feedback apenas em mudanças de estado significativas para reduzir redundância e ruído.

B. Mecanismo Assimétrico Professor-Aluno

O SERL emprega uma política de professor com gradiente interrompido ($\pi_T$) condicionada à perspectiva posterior colocada $\Phi(t)$, enquanto o aluno ($\pi_\theta$) vê apenas o contexto do momento da decisão.

1. Diferença de Log-Probabilidade: O sistema calcula a diferença entre as log-probabilidades do professor e do aluno para um token: $\Delta_{t,i} = \log \pi_T - \log \pi_\theta$.
2. Reponderação Sensível ao Sinal: Essa diferença é convertida em um peso limitado $w_{t,i}$ que modifica a vantagem do GRPO. Crucialmente, o sinal da vantagem original do GRPO ($A_t$) dita como a diferença é interpretada:
   • Se $A_t > 0$ (trajetória bem-sucedida), tokens favorecidos pelo professor recebem atualizações positivas maiores.
   • Se $A_t < 0$ (trajetória falhada), tokens desfavorecidos pelo professor são penalizados mais severamente.
3. Mascaramento de Tokens de Ação: A reponderação é restrita a tokens de ação executáveis. Tokens de raciocínio e formatação mantêm seus pesos originais do GRPO, impedindo que o professor influencie partes não decisórias da geração.
4. Cronograma de Decaimento: A força da reponderação da perspectiva posterior ($\alpha_k$) decai ao longo do treinamento. Estágios iniciais aproveitam a perspectiva posterior densa para atribuição de crédito durante a exploração; estágios posteriores retornam o controle ao objetivo orientado por recompensa para prevenir viés privilegiado persistente.

C. Função Objetivo

O objetivo final combina a perda de RL reponderada ($\mathcal{L}_{rw}$) com um termo de destilação leve, apenas de ação ($\mathcal{L}_{act}$):
$$\mathcal{L}_{SERL} = \mathcal{L}_{rw} + \lambda \mathcal{L}_{act}$$
Isso garante que a perspectiva posterior privilegiada nunca dite a direção da atualização da resposta completa, mas sirva como um ajuste de crédito limitado em nível de ação.

3. Contribuições Principais

1. Estudo Sistemático do Design de Feedback: A primeira análise abrangente de feedback do ambiente para RL de agentes LLM de longo horizonte, avaliando cinco fontes de feedback e duas granularidades de inserção em ALFWorld e WebShop.
2. Framework SERL: Um objetivo compatível com GRPO que converte perspectiva posterior privilegiada em uma reponderação limitada, em nível de ação, do gradiente da política, mantendo a direção de otimização ancorada na recompensa da tarefa.
3. Insights Empíricos: Demonstração de que o feedback eficaz não é simplesmente o contexto "mais rico". Sinais fundamentados e relevantes para a ação em pontos de inserção semanticamente significativos (Nível de Âncora) superam consistentemente o uso indiscriminado de contextos mais longos ou mais privilegiados.

4. Resultados Experimentais

Os experimentos foram conduzidos no ALFWorld (tomada de decisão corporificada) e no WebShop (navegação de compras online) usando o Qwen2.5-7B-Instruct como modelo base.

• Desempenho: O SERL alcançou 90,0% de sucesso médio no ALFWorld e 80,1% de sucesso no WebShop.
• Comparações:
  • Superou fortes baselines de RL (por exemplo, GRPO, HGPO) por margens significativas (por exemplo, +14,7 pontos no sucesso médio do ALFWorld sobre o GRPO).
  • Superou híbridos de RL-destilação (por exemplo, SDPO, RLSD), que frequentemente sofreram com ganhos inconsistentes ou instabilidade em tarefas de longo horizonte.
• Descobertas de Ablação:
  • Fonte: A combinação de trajetórias bem-sucedidas + feedback imediato produziu os melhores resultados, sugerindo que o comportamento de referência deve estar fundamentado na transição real do rollout atual.
  • Granularidade: A localização em Nível de Âncora geralmente superou a localização em nível de passo para feedback multi-fonte, pois suprimiu atualizações redundantes enquanto preservava sinais causais.
  • Decaimento: O decaimento do sinal do professor foi crítico; o uso uniforme da perspectiva posterior durante todo o treinamento levou a desempenho subótimo devido ao vazamento de informação privilegiada em estágios posteriores.

5. Significado e Alegações

O artigo alega que o principal gargalo no RL de agentes não é meramente a redução de variância na estimativa de gradiente, mas o desalinhamento da atribuição de crédito em trajetórias longas.

• Fundamentado vs. Rico: O estudo desafia a suposição de que mais contexto (por exemplo, trajetórias futuras completas) é sempre melhor. Em vez disso, argumenta que sinais fundamentados e relevantes para a ação em pontos semanticamente significativos são superiores porque mantêm o alinhamento causal com as decisões específicas do agente.
• Destilação Controlada: O SERL demonstra que a destilação pode ser integrada ao RL sem instabilidade se o sinal do professor for usado de forma assimétrica — como um coeficiente para ajuste de magnitude, em vez de um alvo direto para imitação.
• Princípios de Design: O trabalho estabelece que um RL de agente eficaz requer o alinhamento de três escolhas de design: a fonte do feedback, a localização (granularidade) desse feedback e a força de sua influência na atualização da política.

Ao abordar o "o que e quando" da destilação, o SERL fornece um caminho estável para o treinamento de agentes multi-turno que podem utilizar efetivamente feedback denso do ambiente sem sucumbir às armadilhas do vazamento de informação privilegiada.