Resumo Técnico: OISD – Auto-Destilação Interna em Política de Modelos de Linguagem

1. Declaração do Problema

Abordagens recentes de pós-treinamento por Aprendizado por Reforço (RL) para Grandes Modelos de Linguagem (LLMs), particularmente aquelas que utilizam Otimização de Política Relativa em Grupo (GRPO) com recompensas verificáveis, avançaram significativamente o raciocínio matemático. No entanto, esses métodos são predominantemente centrados na saída final. Eles otimizam a política de atuação final usando recompensas esparsas em nível de resultado (por exemplo, correção da resposta final), enquanto ignoram em grande parte os sinais preditivos, os processos de raciocínio e as representações internas codificadas nas camadas intermediárias.

Embora a Destilação de Conhecimento (KD) ofereça um mecanismo para fornecer supervisão densa em nível de token, os paradigmas existentes sofrem de limitações específicas:

• Destilação Off-Policy: Cria uma incompatibilidade de distribuição porque o estudante é treinado em trajetórias geradas por um professor fixo, e não em suas próprias gerações.
• Destilação On-Policy: Reduz a incompatibilidade, mas geralmente depende de modelos professores externos.
• Auto-Destilação On-Policy: Métodos recentes removem professores externos, mas dependem de informações privilegiadas injetadas externamente (por exemplo, prompts privilegiados, soluções verdadeiras ou feedback auxiliar) para supervisionar o modelo.

Existe uma lacuna na utilização das próprias computações internas do modelo como fonte de supervisão, sem exigir dados privilegiados externos ou múltiplas políticas de atuação. Além disso, pesquisas anteriores indicam que as representações de raciocínio evoluem sistematicamente através das camadas (de previsões candidatas amplas nas camadas iniciais para decisões convergidas nas camadas profundas), sugerindo que as camadas intermediárias poderiam ser guiadas pelas camadas mais profundas para melhorar a coerência do raciocínio.

2. Metodologia: Framework OISD

Os autores propõem o OISD (Auto-Destilação Interna em Política), um framework que trata a camada final do modelo como um "professor interno desanexado" e uma camada intermediária selecionada como um "estudante interno auxiliar". Isso ocorre dentro de uma única passagem forward durante o processo de rollout e otimização GRPO.

Arquitetura Central

• Política de Atuação Única: A camada final ($L$) permanece como a única política para gerar rollouts e otimizar o objetivo GRPO.
• Professor-Aluno Interno: Durante a mesma passagem forward, o estado oculto de uma camada intermediária selecionada ($l < L$) é projetado no espaço de tokens usando a matriz de desincorporação (seguindo o framework logit lens). Isso cria uma distribuição provisória de "estudante" derivada do mesmo contexto que o "professor" (camada final).
• Sem Privilégio Externo: Os sinais de supervisão são derivados inteiramente dos próprios estados internos do modelo no mesmo rollout em política, não exigindo soluções verdadeiras externas ou prompts privilegiados.

Objetivos de Alinhamento

O OISD emprega dois mecanismos internos de alinhamento complementares para transferir sinais preditivos da camada final para a camada intermediária:

1. Alinhamento de Logits ("Como Pensar"):

   • Objetivo: Transferir comportamentos de raciocínio de alto nível e crenças preditivas.
   • Mecanismo: A divergência de Jensen–Shannon (JS) é computada entre as distribuições de tokens escalonadas por temperatura da camada intermediária ($p^l_t$) e da camada final ($q^L_t$).
   • Ponderação: A perda é ponderada pelo vantagem GRPO assinada ($A_t$). Tokens de alta vantagem puxam a camada intermediária em direção à distribuição da camada final, enquanto tokens de baixa vantagem a empurram para longe, evitando reforçar continuações pobres.
   • Fórmula: $\mathcal{L}^{(l)}_{\text{think}} = \mathbb{E}_t [ A_t \cdot \text{JS}(p^{l,\tau}_t, \text{sg}(q^{L,\tau}_t)) ]$

2. Alinhamento de Atenção ("Onde Olhar"):

   • Objetivo: Impor padrões de atenção consistentes e comportamento de roteamento de evidências.
   • Mecanismo: A divergência de JS é computada entre os pesos de atenção da camada intermediária e da camada final sobre um conjunto amostrado de chaves causais (combinando janelas locais e posições escalonadas globais para gerenciar memória).
   • Ponderação: Similar ao alinhamento de logits, a perda é ponderada pela vantagem assinada. Vantagens positivas incentivam a camada intermediária a atender às mesmas evidências que a camada final; vantagens negativas reduzem o acordo com padrões de baixa recompensa.
   • Fórmula: $\mathcal{L}^{(l)}_{\text{attn}} = \mathbb{E}_t [ A_t \cdot \frac{1}{H} \sum_{h=1}^H \text{JS}(\tilde{a}^l_{t,h}, \text{sg}(\tilde{a}^L_{t,h})) ]$

Objetivo de Treinamento

A perda total combina a perda GRPO padrão com as duas perdas de alinhamento interno:
$$\mathcal{L}_{\text{OISD}} = \mathcal{L}_{\text{GRPO}} + \lambda_{\text{think}} \mathcal{L}_{\text{think}} + \lambda_{\text{attn}} \mathcal{L}_{\text{attn}}$$
onde $\lambda_{\text{think}}$ e $\lambda_{\text{attn}}$ controlam a força da destilação.

3. Contribuições Principais

1. Novo Paradigma: Introdução da Auto-Destilação Interna em Política, um paradigma de RL de raciocínio que aproveita as próprias computações internas do modelo para supervisão, mantendo uma única política de atuação.
2. Framework OISD: Uma implementação específica usando a camada final como professor desanexado e uma camada intermediária como estudante, transferindo sinais preditivos em política sem informações privilegiadas externas.
3. Mecanismos de Alinhamento Duplo: Desenvolvimento de dois objetivos complementares:
   • Alinhamento de Logits: Supervisiona o processo de raciocínio ("como pensar").
   • Alinhamento de Atenção: Supervisiona o roteamento de evidências ("onde olhar").
4. Validação Empírica: Demonstração de melhorias substanciais e consistentes sobre fortes baselines de RL de raciocínio (incluindo GRPO e BuPO) em quatro benchmarks de raciocínio matemático.

4. Resultados Experimentais

Os autores avaliaram o OISD nos modelos Qwen3-4B, Qwen3-8B e OctoThinker em quatro benchmarks: AMC23, MATH500, AIME24 e AIME25.

• Ganhos de Desempenho:
  • No Qwen3-4B, o OISD alcançou uma pontuação média de 64,75, superando o GRPO (55,08) em 9,67 pontos e o BuPO (58,51) em 6,24 pontos.
  • As melhorias foram particularmente significativas nos benchmarks AIME (por exemplo, +14,31 pontos sobre o GRPO no AIME24).
  • No Qwen3-8B, o OISD alcançou a melhor média geral de 66,72, superando o GRPO (64,23) e o BuPO (66,36).
• Análise Pass@K: O OISD consistentemente alcançou taxas Pass@K mais altas para todos os valores de $K$ em comparação com o GRPO, indicando uma melhoria na qualidade geral do conjunto de soluções amostradas, não apenas na precisão média.
• Estudos de Ablação:
  • Tanto o alinhamento de Logits quanto o de Atenção contribuíram positivamente. O alinhamento de Logits mostrou o maior ganho no AIME24, enquanto o alinhamento de Atenção performou ligeiramente melhor em média.
  • A combinação de ambos produziu os melhores resultados, confirmando sua natureza complementar.
• Comparação com OPSD: O OISD (64,75) superou significativamente o OPSD (56,63), um método de auto-destilação em política de última geração que depende de soluções verdadeiras privilegiadas. Isso destaca a eficácia da supervisão puramente interna do OISD.
• Análise Qualitativa:
  • Dinâmica de Treinamento: O OISD mostrou melhoria estável na recompensa e um aumento inicial na entropia (sugerindo exploração mais ampla) antes de estabilizar.
  • Visualização de Atenção: As camadas intermediárias no OISD alinharam-se gradualmente com a atenção da camada final a tokens de evidência críticos (por exemplo, pontos finais, supremo) durante o treinamento.
  • Visualização Logit-Lens: O OISD exibiu um alinhamento mais precoce entre previsões intermediárias e finais em tokens críticos para o raciocínio em comparação com o GRPO, que frequentemente produzia previsões intermediárias fragmentadas.

5. Significado e Alegações

O artigo alega que o OISD inicia a investigação da auto-destilação interna em política. Seu significado principal reside em:

• Eliminação da Dependência Externa: Fornece supervisão interna densa sem exigir professores externos, prompts privilegiados ou soluções verdadeiras durante o treinamento.
• Consistência da Política: Preserva uma única política de atuação tanto para geração de rollout quanto para otimização, evitando problemas de incompatibilidade de distribuição de métodos off-policy.
• Raciocínio Aprimorado: Ao alinhar representações intermediárias com os padrões de raciocínio e atenção da camada final, o OISD incentiva o modelo a aprender representações intermediárias mais fortes e globalmente consistentes.

Os autores notam limitações, incluindo o foco no raciocínio matemático com respostas verificáveis e a falta de um estudo aprofundado sobre a seleção ótima de camadas. Eles sugerem que trabalhos futuros devem explorar a generalização para tarefas de raciocínio mais complexas e supervisão interna de múltiplas camadas.