Resumo Técnico: Aprendizado por Reforço Agente Auto-Distilado (SDAR)

Declaração do Problema

O Aprendizado por Reforço (RL) tornou-se um paradigma central para o pós-treinamento de Agentes de Modelos de Linguagem de Grande Escala (LLM), particularmente para interações de longo horizonte e múltiplas voltas. No entanto, o RL padrão depende de sinais de recompensa ao nível de trajetória, que fornecem apenas supervisão grosseira para tarefas complexas e multi-etapa. Para abordar isso, a Auto-Distilação em Política (OPSD) foi proposta para introduzir orientação densa ao nível de token a partir de um ramo "professor" aumentado com contexto privilegiado (por exemplo, habilidades recuperadas).

Apesar de seu apelo teórico, transferir OPSD para agentes de múltiplas voltas apresenta dois desafios críticos identificados neste trabalho:

1. Instabilidade de Múltiplas Voltas: À medida que o agente estudante se desvia da trajetória suportada pelo professor, a supervisão ao nível de token torna-se cada vez mais pouco confiável. Isso leva a erros cumulativos, divergência KL por volta em aumento e degradação catastrófica no desempenho da tarefa.
2. Confiança Assimétrica na Orientação Privilegiada: Na OPSD condicionada a habilidades, o professor é a mesma política aumentada com contexto privilegiado (como habilidades recuperadas), não um modelo inerentemente mais forte. Consequentemente, uma "lacuna negativa" (onde o professor atribui probabilidade mais baixa a um token do que o estudante) nem sempre implica que o token deve ser suprimido. Pode, em vez disso, resultar de recuperação imperfeita de habilidades, habilidades irrelevantes ou falha do professor em fundamentar habilidades em preferências confiáveis. Tratar todos os sinais do professor igualmente leva à instabilidade, especialmente quando tokens de lacuna negativa constituem uma parte significativa dos dados de treinamento (observado como >50% em estudos preliminares).

Abordagens híbridas existentes (por exemplo, simplesmente adicionar perda OPSD ao RL) ou métodos de currículo rígidos falham em resolver essas questões, frequentemente sofrendo de gradientes de distilação ilimitados que sobrecarregam o sinal de RL ou dependendo de cronogramas artesanais que não se adaptam às dinâmicas ao nível de token.

Metodologia: SDAR

Os autores propõem o Aprendizado por Reforço Agente Auto-Distilado (SDAR), um framework que trata a OPSD como um objetivo auxiliar cuidadosamente controlado, enquanto mantém o RL como a espinha dorsal primária de otimização. A inovação central é um mecanismo de controle adaptativo ao nível de token que modula o sinal de distilação com base na confiabilidade da orientação do professor.

1. Framework de Otimização

O objetivo de treinamento total combina a perda padrão de Otimização de Política Relativa em Grupo (GRPO) com uma perda de auto-distilação controlada por portão:
$$\mathcal{L}(\theta) = \mathcal{L}_{GRPO}(\theta) + \lambda_{SDAR} \cdot \mathcal{L}_{SDAR}(\theta)$$

• $\mathcal{L}_{GRPO}$: A perda primária de RL, impulsionada por recompensas do ambiente e feedback de verificadores, permanece intocada para preservar a otimização de política não enviesada.
• $\mathcal{L}_{SDAR}$: A perda de distilação auxiliar, que é aplicada seletivamente.

2. Mecanismo de Controle ao Nível de Token

Em vez de aplicar distilação uniformemente, o SDAR calcula um portão $g_t \in [0, 1]$ para cada token $t$ para controlar a intensidade da influência do professor.

• Lacuna Professor-Estudante ($\Delta_t$): Definida como a diferença de log-probabilidade entre o professor privilegiado e o estudante: $\Delta_t = \log \pi_T(y_t | s^+_t) - \log \pi_\theta(y_t | s_t)$.
• Controle Sigmoidal: A lacuna é passada por uma função sigmoide com um parâmetro de nitidez $\beta$:
  $$g_t = \sigma(\beta \cdot \Delta_t)$$
  Isso cria um peso suave e diferenciável que:
  • Amplifica a distilação para tokens de lacuna positiva (onde o professor endossa a escolha do estudante), tratando-os como orientação de alta confiança.
  • Atenua a distilação para tokens de lacuna negativa (onde o professor discorda), impedindo que o modelo siga cegamente rejeições potencialmente ruidosas ou irrelevantes baseadas em habilidades.
• Parada de Gradiente: O portão $g_t$ é desconectado do cálculo do gradiente. Isso garante que o portão atue puramente como um peso de confiança, impedindo loops de otimização autorreferenciais e garantindo atualizações estáveis de primeira ordem.

3. Recuperação de Habilidades e Contexto

O SDAR utiliza um ramo "Auto-Professor" que condiciona o contexto privilegiado $c^+$ (por exemplo, habilidades recuperadas de um SkillBank). O framework avalia a robustez em quatro estratégias de recuperação: UCB (Upper Confidence Bound), Correspondência de Palavras-Chave, Recuperação Completa e Recuperação Aleatória. O mecanismo de controle é projetado para filtrar ruído de habilidades recuperadas de baixa qualidade ou irrelevantes.

Contribuições Principais

1. Identificação de Confiança Assimétrica: O artigo estabelece que, no treinamento de agentes de múltiplas voltas, a orientação privilegiada é inerentemente assimétrica. Endossos positivos de um professor com contexto privilegiado são confiáveis, mas rejeições negativas podem decorrer de instabilidade de contexto e não da qualidade do token.
2. Controle Adaptativo ao Nível de Token: O SDAR introduz uma estratégia de controle inovadora que permite que cada token regule autonomamente sua intensidade de distilação. Isso substitui cronogramas rígidos e artesanais por um currículo dinâmico e auto-ritmado operando na mais fina granularidade.
3. Estabilidade e Robustez: Ao desacoplar o sinal de distilação do objetivo primário de RL e aplicar atenuação suave a sinais negativos, o SDAR evita a instabilidade catastrófica observada em combinações ingênuas de GRPO+OPSD.
4. Internalização do Conhecimento: Diferentemente de métodos que dependem de habilidades externas no tempo de inferência, o SDAR internaliza com sucesso o conhecimento privilegiado nos parâmetros da política, permitindo desempenho forte mesmo sem habilidades recuperadas durante os testes.

Resultados Experimentais

Os autores avaliaram o SDAR em três benchmarks diversos: ALFWorld (IA incorporada), Search-QA (raciocínio aumentado por busca) e WebShop (interação de comércio eletrônico). Os experimentos foram conduzidos nas famílias de modelos Qwen2.5 (3B, 7B) e Qwen3 (1.7B).

• Ganhos de Desempenho: O SDAR supera substancialmente a linha de base GRPO.
  • ALFWorld: +9,4% de melhoria no Qwen2.5-3B.
  • Search-QA: +7,0% de melhoria.
  • WebShop: +10,2% de melhoria em Precisão (Qwen2.5-7B).
• Comparação com Híbridos: O SDAR supera consistentemente as linhas de base híbridas como Skill-SD e RLSD em todas as escalas de modelo. Notavelmente, evita o colapso de desempenho observado no GRPO+OPSD ingênuo (que degrada significativamente em modelos menores como o Qwen3-1.7B).
• Robustez à Qualidade de Recuperação: Uma descoberta crítica é que o SDAR degrada-se graciosamente com a qualidade de recuperação. Mesmo com Recuperação Aleatória (consciência zero da tarefa), o SDAR supera a linha de base GRPO pura. Isso confirma que o mecanismo de controle filtra efetivamente o ruído de habilidades de baixa qualidade, extraindo apenas sinais benéficos.
• Independência de Inferência: O SDAR alcança resultados state-of-the-art sem exigir recuperação de habilidades no tempo de inferência, demonstrando verdadeira internalização de conhecimento. Por exemplo, no ALFWorld com Qwen2.5-3B, o SDAR (84,4%) supera o Skill-GRPO* (80,5%), que depende de habilidades no tempo de teste.

Significado e Alegações

O artigo alega que o SDAR oferece uma solução principiante para a instabilidade da aplicação de auto-distilação em RL agente de múltiplas voltas. Ao tratar a distilação como um objetivo auxiliar controlado por portão, em vez de um motor primário ou uma restrição rígida, o SDAR reconcilia a otimização grosseira, impulsionada pelo ambiente, do RL com a orientação densa, ao nível de token, do contexto privilegiado.

Os autores enfatizam que sua abordagem não requer um modelo professor separado e mais forte; em vez disso, aproveita a mesma política aumentada com contexto privilegiado, tornando-a escalável e prática. A capacidade do mecanismo de controle de lidar com orientação assimétrica — confiando em sinais positivos enquanto atenua conservadoramente os negativos — é apresentada como a chave para estabilizar o treinamento de múltiplas voltas e permitir generalização robusta entre diferentes tamanhos de modelo e domínios de tarefa. O trabalho sugere que, para agentes de múltiplas voltas, o RL deve permanecer como a espinha dorsal primária, com a distilação servindo como um regulador dinâmico ao nível de token, em vez de um supervisor estático.