Resumo Técnico: Exploração Condicionada por Instrução com Aprendizado por Reforço Assimétrico e Autodestilação

1. Definição do Problema

O pós-treinamento via Aprendizado por Reforço (RL) tornou-se um método padrão para aprimorar Grandes Modelos de Linguagem (LLMs), particularmente para tarefas com resultados verificáveis. No entanto, os autores argumentam que os métodos clássicos de exploração de RL, que dependem da seleção de ações estocásticas (ex: $\epsilon$-greedy ou injeção de ruído), são inadequados para LLMs. Em LLMs, as "ações" são tokens extraídos de vocabulários vastos que devem formar sequências coerentes; a perturbação aleatória ao nível do token normalmente resulta em texto incoerente em vez de trajetórias novas e viáveis.

Além disso, estudos recentes indicam que o pós-treinamento de RL tende a "afiar" a distribuição de saída do modelo, aumentando a probabilidade de respostas corretas conhecidas enquanto reduz a cobertura de comportamentos diversos (encolhimento de suporte/support shrinkage). Isso limita a capacidade do modelo de descobrir novas estratégias de raciocínio. Os métodos de exploração existentes operam ou ao nível do token (falhando em abordar a diversidade semântica) ou dependem de mediação de contexto que carece de mecanismos explícitos para transferir comportamentos de tempo de treinamento para políticas de tempo de inferência. O desafio central é induzir uma exploração diversa durante o treinamento sem comprometer o desempenho da política não condicionada usada na inferência.

2. Metodologia

O artigo propõe um framework de duas partes: Exploração Condicionada por Instrução (ICE) para diversidade em tempo de treinamento e Asymmetric-RL/SD para transferência de comportamento.

2.1 Exploração Condicionada por Instrução (ICE)

O ICE é uma abordagem baseada em templates para "composição de suporte". Em vez de depender de perturbações aleatórias de tokens, o ICE suplementa o prompt da tarefa $x$ com uma instrução comportamental $I$ amostrada de um conjunto fixo $\mathcal{I} = \{I_1, \dots, I_N\}$.

• Política Professor (Teacher Policy): Durante o treinamento, o modelo (atuando como professor) gera rollouts condicionados a $x + I$. Essas instruções fornecem orientação de alto nível (ex: "Pergunte: qual simetria este problema possui?") para empurrar o modelo em direção a estratégias distintas de resolução de problemas.
• Política Composta (Composite Policy): A política de treinamento torna-se uma mistura: $\pi^{comp}_\theta(y|x) = \sum_{I \in \mathcal{I}} p(I)\pi_\theta(y|x, I)$. Isso amplia o suporte da distribuição de texto gerado em relação a um prompt de tarefa singular.
• Compromisso (Trade-off): Embora isso aumente a cobertura de estratégias, há o risco de introduzir instruções inúteis que reduzam a precisão.

2.2 Asymmetric-RL/SD

Para transferir os comportamentos aprendidos pela política condicionada por instrução do professor para a política não condicionada de tempo de teste, os autores introduzem o Asymmetric-RL/SD, um objetivo de autodestilação que combina Aprendizado por Reforço e Destilação de Conhecimento.

• Professor ($\pi^T_\theta$): A política condicionada por instrução.
• Aluno ($\pi^S_\theta$): A política não condicionada (usada no tempo de teste), compartilhando parâmetros $\theta$ com o professor.
• Função Objetivo: O objetivo de treinamento $J(\theta)$ combina:
  1. Termo de RL: Um termo de maximização de recompensa para a política do professor (usando a variante DAPO do GRPO).
  2. Termo de Destilação: Um termo de divergência forward-KL ($J^{KL}_S$) que puxa a política do aluno em direção aos seus rollouts corretos.
• Assimetria: Ao contrário da autodestilação padrão, que frequentemente equilibra recompensas para ambas as políticas, o Asymmetric-RL/SD define o peso da recompensa do aluno como $\alpha=1$ (maximização de recompensa apenas para o professor) e aplica o termo KL apenas ao aluno, filtrando os rollouts do professor para incluir apenas aqueles com respostas corretas ($R=1$). Isso garante que o aluno aprenda a replicar comportamentos úteis e verificados descobertos pelo professor, sem ser penalizado pela exploração de caminhos incorretos do professor.

3. Principais Contribuições

1. Exploração Condicionada por Instrução (ICE): Um método inovador para induzir rollouts diversos durante o pós-treinamento de RL, condicionando a geração a um conjunto de instruções comportamentais distintas, expandindo assim o suporte da política durante o treinamento.
2. Objetivo Asymmetric-RL/SD: Um novo objetivo de treinamento que combina RL em uma política professora com autodestilação forward-KL para um aluno não condicionado. Isso transfere explicitamente os benefícios da exploração condicionada por instrução para a política de tempo de teste.
3. Validação Empírica: Um estudo de múltiplas sementes em diferentes escalas de modelos (1.7B, 4B) e comprimentos de contexto (4K, 8K), demonstrando a eficácia da abordagem em tarefas de raciocínio matemático.

4. Resultados

Os experimentos foram conduzidos usando modelos Qwen3 em benchmarks de raciocínio matemático (AIME, HMMT, MATH-500).

• Configuração 1.7B / 4K:

  • O ICE com Asymmetric-RL/SD melhorou o pass@1 em 5.0% em relação à linha de base DAPO.
  • Esta configuração alcançou 5/5 vitórias nos benchmarks com um intervalo de confiança de bootstrap de 95% excluindo zero.
  • A melhoria sobre o uso de RL sozinho com instruções (sem o termo de destilação) foi menor e menos certa, sugerindo que o sinal de destilação explícito é crucial para a transferência.
  • A convergência do treinamento não foi retardada pela inclusão de instruções diversas.

• Configuração 1.7B / 8K:

  • Uma melhoria menor, mas persistente, de 3.5% (3/5 vitórias) foi observada, indicando que o método generaliza para contextos mais longos, embora o ganho seja menor.

• Configuração 4B / 4K:

  • O método não melhorou em relação ao DAPO (resultando em uma mudança de -3.3%). Os autores observam que o modelo base de 4B pode já possuir capacidade suficiente, deixando menos "espaço" para estratégias exploratórias fornecerem valor em comparação ao modelo de 1.7B.

• Cobertura vs. Precisão:

  • Enquanto o pós-treinamento de RL tipicamente aumenta o pass@1 mas diminui o pass@k (cobertura) em $k$ altos, o Asymmetric-RL/SD melhorou o pass@1 em relação ao DAPO enquanto mantinha uma cobertura comparável.
  • A amostragem com as instruções comportamentais na inferência (mesmo para o modelo base) recuperou alta cobertura, sugerindo que as instruções em si trazem à tona soluções corretas independentemente do processo de RL.

5. Significância e Alegações

O artigo afirma que a exploração condicionada por instrução, combinada com um mecanismo de transferência de autodestilação explícito, pode melhorar as capacidades de raciocínio de modelos de linguagem pequenos (especificamente na escala de 1.7B) além das linhas de base de RL padrão como o DAPO.

As principais implicações destacadas pelos autores incluem:

• Eficiência de Custo: O método não adiciona custo de inferência; a política de tempo de teste é não condicionada e padrão. Os ganhos são alcançados inteiramente através de um processo de treinamento modificado.
• Utilidade de Modelos Pequenos: Melhorar modelos pequenos é crítico para implantação em dispositivos de consumo (celulares, laptops) onde modelos maiores são inviáveis.
• Mecanismo de Ação: Os resultados sugerem que o compartilhamento de parâmetros sozinho é insuficiente para transferir comportamentos do professor; o sinal de destilação forward-KL explícito é necessário para incorporar as estratégias descobertas pelo professor na política do aluno.

Os autores mantêm a modéstia quanto ao escopo, observando que os ganhos não foram transferidos para o modelo de 4B sob as condições testadas e que o estudo é limitado ao raciocínio matemático com recompensas binárias. Eles posicionam o trabalho como um passo para caracterizar onde esses ganhos ocorrem através de diferentes escalas de modelos e contextos.