Resumo Técnico: RLCSD – Aprendizado por Reforço com Auto-Destilação Contrastiva On-Policy

1. Declaração do Problema: Desvio de Estilo Induzido pelo Privilégio

O artigo identifica uma patologia crítica na Auto-Destilação On-Policy (OPSD), um paradigma onde um único modelo atua tanto como professor quanto como aluno, sendo o professor dotado de acesso a um "contexto privilegiado" (ex: uma solução verificada) indisponível para o aluno.

Embora os métodos de OPSD existentes (ex: OPSD, SDPO, SRPO, RLSD) visem fornecer supervisão densa ao nível de token, minimizando a lacuna de distribuição entre o aluno e o professor privilegiado, os autores demonstram que este sinal de aprendizado é fundamentalmente falho. Eles denominam essa falha de desvio de estilo induzido pelo privilégio.

• O Mecanismo: Condicionar o professor a uma solução verificada (o contexto privilegiado) pode, de fato, aguçar sua confiança em tokens de suporte à tarefa (ex: operadores matemáticos). No entanto, isso simultaneamente induz um deslocamento sistemático, ortogonal à correção, no comportamento generativo. O professor privilegiado tende a produzir saídas mais curtas e assertivas, suprime hesitações exploratórias e realoca a massa de probabilidade para tokens de formatação e discurso (ex: "Espere", "Portanto", "\n\n").
• A Consequência: O sinal resultante ($e_{c,t}$) é dominado por esses tokens de estilo em vez dos tokens de suporte à tarefa que determinam a resposta.
• Patologias Observadas: Este desvio de sinal leva a dois modos de falha distintos no treinamento:
  1. Explosão de Entropia e Instabilidade: Métodos como OPSD e SDPO sofrem com crescimento ilimitado da entropia, levando a explosões no comprimento da resposta e colapso do treinamento.
  2. Encolhimento Prematuro de Comprimento: Métodos como RLSD exibem uma redução drástica no comprimento da resposta, limitando a capacidade do modelo de realizar raciocínio de longo horizonte.

2. Metodologia: RLCSD

Para abordar o desvio de estilo induzido pelo privilégio, os autores propõem o RLCSD (Reinforcement Learning with Contrastive On-Policy Self-Distillation). A ideia central é que os deslocamentos estilísticos induzidos pelo contexto privilegiado são compartilhados entre tanto dicas corretas quanto incorretas quando apresentados sob templates de prompt idênticos. Ao contrastar uma dica correta contra uma dica incorreta, o componente estilístico compartilhado pode ser cancelado, deixando um sinal concentrado na correção da tarefa.

O pipeline do RLCSD consiste em três estágios:

Estágio 1: Amostragem de Rollout e Particionamento

Para uma consulta $x$ dada, a política do aluno $\pi_S$ amostra um grupo de $G$ rollouts. Um verificador baseado em regras particiona estes em um subconjunto correto ($\mathcal{G}^+$) e um incorreto ($\mathcal{G}^-$). Grupos com resultados uniformes (todos corretos ou todos incorretos) são descartados, pois gerariam vantagem zero sob a normalização padrão do GRPO.

Estágio 2: Construção do Sinal Contrastivo ao Nível de Token

Em vez de usar um único hint (dica) privilegiado, o RLCSD constrói um sinal contrastivo $e_{ctr,t}$:

1. Hint Positivo ($y_c^*$): Amostrado de $\mathcal{G}^+$.
2. Hints Negativos ($y_{w,k}^*$): $K$ hints amostrados de $\mathcal{G}^-$.
3. Prompting Simétrico: Ambos os hints são envolvidos em um template de prompt idêntico (Problema + Solução de Referência + Resposta). Isso garante que o professor trate ambos como referências de verdade fundamental, fazendo com que os deslocamentos estilísticos induzidos sejam idênticos.
4. O Sinal: O sinal contrastivo é computado como a diferença entre a lacuna de log-probabilidade sob o hint correto e a média da lacuna de log-probabilidade sob os $K$ hints negativos:
   $$e_{ctr,t} = \log \pi_T(y_t | x, y_c^*, y_{<t}) - \log \left( \frac{1}{K} \sum_{k=1}^K \pi_T(y_t | x, y_{w,k}^*, y_{<t}) \right)$$
   Refinamentos: O método emprega K-marginalização sobre os hints negativos para estabilizar o sinal contra tipos de erro heterogêneos e exclui o rollout alvo do pool de hints para evitar que o professor se torne excessivamente confiante em sua própria geração.

Estágio 3: Modulação Ancorada pelo Verificador e Perda

O sinal contrastivo $e_{ctr,t}$ não é usado como um standalone reward (recompensa isolada), mas como uma modulação da vantagem ao nível de resultado ($A_{ORM}$) derivada do GRPO.

• Modulação: $e_{ctr,t}$ é suavizado (via $\tanh$) e reescalonado para produzir um termo de modulação de nível de token $r_t$.
• Clamp de Preservação de Sinal: A modulação é adicionada a $A_{ORM}$, mas o resultado é limitado (clamped) para garantir que a direção da atualização nunca contradiga o sinal de resultado do verificador.
• Perda de Dois Caminhos (Two-Path Loss): O objetivo final agrega uma perda clipada do tipo PPO de dois caminhos:
  1. Um caminho não modulado para tokens onde o sinal contrastivo é fraco (ruído).
  2. Um caminho modulado para tokens onde o sinal é forte.
     Crucialmente, esses caminhos são normalizados independentemente dentro de cada rollout para evitar que o sinal modulado seja diluído pela maioria dos tokens não modulados.

3. Principais Contribuições

1. Caracterização do Desvio de Estilo Induzido pelo Privilégio: O artigo identifica e quantifica um viés sistemático em OPSD onde o condicionamento privilegiado desloca o sinal de aprendizado para tokens estilísticos, causando instabilidade de treinamento ou encolhimento prematuro de comprimento.
2. Algoritmo RLCSD: Um novo método que mitiga esse desvio através do cancelamento contrastivo simétrico entre hints privilegiados corretos e incorretos. Ele integra este sinal limpo no Aprendizado por Reforço com Recompensas Verificáveis (RLVR) como uma modulação de nível de token ancorada pelo verificador.
3. Generalizabilidade do Princípio Contrastivo: Os autores demonstram que a construção contrastiva é um componente agnóstico ao método. Pode ser plugado em baselines de OPSD existentes (como OPSD e RLSD) para melhorar sua estabilidade e desempenho, sugerindo que o princípio se aplica amplamente à auto-destilação on-policy.
4. Extensão para Destilação Cross-Model: O artigo estende a percepção para a Destilação On-Policy Cross-Model (OPD), mostrando que uma decomposição semelhante de tokens de tarefa vs. tokens de estilo explica por que professores estilisticamente alinhados, porém mais fracos, podem às vezes superar professores mais fortes e estilisticamente distantes.

4. Resultados Experimentais

Os experimentos foram conduzidos no Qwen3 (1.7B, 4B, 8B) e Olmo-3-7B-Think através de raciocínio matemático (AMC23, AIME24, AIME25) e raciocínio lógico (Knights & Knaves).

• Desempenho: O RLCSD supera consistentemente o GRPO e os métodos anteriores de OPSD (OPSD, SDPO, SRPO, RLSD) em todos os benchmarks.
  • No Qwen3-8B, o RLCSD alcançou um mean@12 de 90.8 no AMC23 (vs. 90.1 para GRPO) e 77.5 no AIME24.
  • No Raciocínio Lógico (OOD), o RLCSD mostrou ganhos significativos, atingindo 81.8 pass@1 em Knights & Knaves (4-8 papéis) e 79.0 no split OOD de 9 papéis, superando o GRPO por uma margem ampla.
• Estabilidade de Treinamento: Diferente dos métodos concorrentes de OPSD que exibiram explosão de entropia ou encolhimento de comprimento de resposta, o RLCSD manteve entropia e comprimentos de resposta estáveis durante todo o treinamento, comparáveis ao GRPO.
• Estudos de Ablação:
  • Remover o mecanismo contrastivo (usando apenas hints de um lado) causou quedas de desempenho de 3.0–5.4 pontos, confirmando a necessidade do contraste.
  • Remover a K-marginalização ou permitir auto-rollouts no pool de hints degradou o desempenho, validando os refinamentos de design.
  • Remover a agregação de perda de dois caminhos (usando uma média global única) reduziu significativamente o desempenho, provando a necessidade de isolar os tokens modulados.

5. Significância e Alegações

O artigo afirma que o RLCSD oferece uma solução robusta para a instabilidade que assola a auto-destilação on-policy. Ao isolar o sinal de "suporte à tarefa" do ruído de "estilo" inerente ao condicionamento privilegiado, o RLCSD permite o treinamento estável e de alto desempenho de modelos de raciocínio sem o overhead de memória de manter um modelo professor separado.

Os autores alegam modestamente que o princípio contrastivo é um insight geral para a destilação on-policy. Ele não apenas melhora o algoritmo específico RLCSD, mas também serve como uma ferramenta de diagnóstico para selecionar professores em configurações de destilação cross-model, onde o alinhamento de estilos de raciocínio pode ser mais crítico do que a capacidade bruta. O trabalho sugere que futuros métodos de destilação devem considerar e mitigar os deslocamentos estilísticos parasitários induzidos pelo contexto privilegiado.