Resumo Técnico: SAGE-OPD

Declaração do Problema

A destilação on-policy (OPD) emergiu como uma abordagem de ponta para o treinamento de modelos de raciocínio de pesos abertos, alinhando as políticas do estudante com as distribuições do professor em trajetórias induzidas pelo próprio comportamento do estudante, mitigando assim o viés de exposição inerente ao ajuste fino supervisionado (SFT) offline. No entanto, a pesquisa atual de OPD foca predominantemente em tarefas de geração de turno único. Quando aplicada a agentes de LLM de múltiplos turnos realistas, a OPD padrão encontra limitações significativas:

1. Erros Compostos: Em interações de múltiplos turnos, ações incorretas iniciais alteram o estado do ambiente, distorcendo observações subsequentes e tornando a recuperação cada vez mais difícil. Isso cria um deslocamento de distribuição onde os históricos induzidos pelo estudante tornam-se progressivamente fora da distribuição para o professor.
2. Fragilidade do Alinhamento ao Nível de Token: A OPD padrão aplica o alinhamento denso ao nível de token de forma uniforme. Isso pode penalizar excessivamente alternativas semanticamente válidas do estudante que diferem da redação específica ou da decomposição local do professor.
3. Reforço de Degenerações: Gradientes densos podem reforçar degenerações locais, como pensamentos ou ações repetitivas, se esses padrões acidentalmente receberem probabilidades favoráveis do professor.
4. Supervisão Não Confiável: À medida que os erros do estudante se compostem, a distribuição preditiva do professor sobre históricos corrompidos pode tornar-se incerta. A aplicação uniforme da OPD nesses cenários propaga uma supervisão não confiável.

A questão central abordada é se a OPD de múltiplos turnos pode preservar os benefícios da supervisão on-policy enquanto aplica a supervisão de forma seletiva apenas aos turnos onde a intervenção é necessária e confiável.

Metodologia: SAGE-OPD

Os autores propõem o SAGE-OPD (Intervenção Seletiva Guiada pelo Agente para Destilação On-Policy de Múltiplos Turnos), um framework livre de verificadores projetado para alocar a supervisão do professor de forma seletiva. O método opera em três componentes principais:

1. Intervenção ao Nível de Turno

Em vez de tratar a trajetória como uma sequência plana de tokens, o SAGE-OPD segmenta a trajetória em turnos com base no feedback do ambiente. Para cada turno $t$, uma variável de intervenção discreta $z_t \in \{\text{Pular, Fraca, Forte}\}$ é determinada para modular a força da supervisão:

• Pular (Skip): A resposta do estudante é aceitável ou semanticamente flexível; nenhuma supervisão do professor é aplicada ($w_t = 0$).
• Fraca (Weak): A resposta é potencialmente subótima mas incerta; uma supervisão parcial é aplicada ($w_t = \alpha$).
• Forte (Strong): A resposta contém erros claros (ex: chamadas de ferramenta malformadas, ações ausentes); a supervisão total é aplicada ($w_t = 1$).

A atribuição de $z_t$ segue um procedimento de dois estágios, livre de verificadores:

1. Verificação Determinística: Se o feedback do ambiente indicar uma falha clara de execução (ex: ação malformada), o turno é imediatamente atribuído como Forte.
2. Julgamento do Professor: Para turnos executáveis, mas ambíguos, o professor é consultado com um prompt proativo para classificar o turno em uma das três categorias com base no histórico e no feedback.

2. Ponderação de Confiança do Professor

Para lidar com a não confiabilidade da supervisão do professor em históricos fora da distribuição, o SAGE-OPD introduz um escore de confiança $c_t$. Este escore mede a certeza preditiva do professor para o turno atual, calculada como a probabilidade média do top-1 através dos tokens da resposta do estudante:
$$c_t = \frac{1}{|a_t|} \sum_{i=1}^{|a_t|} \max_{v} \pi_\phi(v | h_t, a_{t,<i})$$
O peso seletivo final $s_t$ para o turno $t$ é o produto do peso de intervenção $i_t$ e do escore de confiança $c_t$:
$$s_t = i_t \cdot c_t$$
Isso garante que a supervisão forte seja aplicada apenas quando a intervenção é considerada necessária e o sinal do professor é confiável.

3. Normalização de Perda

Multiplicar diretamente a perda de OPD pelo $s_t$ reduz a magnitude geral do gradiente, potencialmente alterando a escala de otimização. Para isolar o efeito da ponderação seletiva, o SAGE-OPD aplica um fator de normalização $Z$ para preservar a escala de perda total da OPD padrão enquanto mantém a ponderação relativa ao nível de turno:
$$L_{\text{SAGE-OPD}} = Z \sum_{t=0}^{T-1} s_t L_{\text{OPD}}(h_t, a_t)$$
onde $Z$ normaliza a soma das contagens de tokens ponderados para corresponder à escala da OPD padrão.

Principais Contribuições

1. Proposta de Framework: Introdução do SAGE-OPD, um framework de intervenção seletiva livre de verificadores que preserva os benefícios on-policy enquanto evita a destilação densa uniforme em todos os turnos gerados pelo estudante.
2. Mecanismo de Três Componentes: Identificação e integração de três componentes complementares:
   • Intervenção ao nível de turno: Decide se a supervisão é necessária.
   • Ponderação de confiança do professor: Decide quanto confiar no sinal ao nível de token.
   • Normalização de perda: Garante que a escala do sinal de treinamento permaneça comparável à OPD padrão.
3. Validação Empírica: Demonstração de eficácia através de interação incorporada (ALFWorld), resolução de tarefas científicas (ScienceWorld) e busca de respostas (SearchQA).

Resultados Experimentais

Os autores avaliaram o SAGE-OPD usando modelos Qwen3 (0.6B, 1.7B, 8B, 32B) através de múltiplos pares professor-estudante.

• ALFWorld: O SAGE-OPD alcançou até 13,3% de melhoria relativa na taxa de sucesso não vista em relação à OPD padrão. Por exemplo, com um estudante Qwen3-1.7B e um professor Qwen3-8B, a taxa de sucesso não vista melhorou de 61,94% (OPD Padrão) para 70,15%. Também reduziu consistentemente o número médio de turnos necessários para resolver as tarefas.
• ScienceWorld: O SAGE-OPD alcançou as melhores taxas de sucesso para o estudante Qwen3-1.7B com professores de 8B e 32B. Notavelmente, melhorou a pontuação média da tarefa do estudante Qwen3-0.6B de -12,88 (OPD) para +3,89, embora isso tenha ocorrido com um número médio de turnos ligeiramente maior, sugerindo uma exploração mais sustentada.
• SearchQA: O SAGE-OPD alcançou o melhor Exact Match (EM) médio para o estudante Qwen3-1.7B destilado do Qwen3-8B, melhorando de 30,09 para 30,77.
• Dinâmica de Treinamento: A análise mostrou que, enquanto a OPD padrão satura cedo (em torno de 60-63% de taxa de sucesso nos splits não vistos), o SAGE-OPD continua a melhorar nos estágios finais de treinamento, indicando melhor generalização em vez de apenas uma convergência inicial mais rápida.

Significância e Alegações

O artigo afirma que uma destilação on-policy de múltiplos turnos eficaz deve permanecer on-policy, mas não requer supervisão densa ao nível de token. A significância do SAGE-OPD reside em sua capacidade de:

• Mitigar Erros Compostos: Ao pular seletivamente turnos aceitáveis e intervir apenas quando necessário, ele evita a propagação de sinais de professor não confiáveis em históricos corrompidos.
• Evitar Correção Excessiva: Ao distinguir entre alternativas semanticamente válidas e erros reais, ele evita penalizar comportamentos flexíveis do estudante que diferem da redação específica do professor.
• Operar Sem Verificadores: Ao contrário do Aprendizado por Reforço com Recompensas Verificáveis (RLVR), o SAGE-OPD não requer um verificador externo ou um sinal de recompensa definido pelo ambiente, baseando-se em vez disso no feedback do ambiente e no julgamento do professor.

Os autores concluem que a supervisão do professor deve ser alocada seletivamente aos turnos onde a intervenção é necessária e confiável, em vez de ser aplicada uniformemente em toda a trajetória.