Resumo Técnico: Sobre a Geometria da Destilação On-Policy

Declaração do Problema

Os Grandes Modelos de Raciocínio (LRMs) avançaram significativamente através de paradigmas de pós-treinamento, primariamente o Ajuste Fino Supervisionado (SFT) e o Aprendizado por Reforço com Recompensas Verificáveis (RLVR). Recentemente, a Destilação On-Policy (OPD) emergiu como uma abordagem complementar, treinando um modelo estudante em suas próprias trajetórias amostradas usando orientação densa ao nível de token de um professor mais forte. Embora a OPD demonstre utilidade empírica, sua dinâmica no espaço de parâmetros permanece mal compreendida. Especificamente, não está claro se a OPD representa uma simples interpolação entre as pegadas geométricas do SFT e do RLVR, ou se induz uma trajetória de otimização distinta. O artigo aborda três questões centrais:

1. Onde a OPD se localiza dentro do espectro de espaço de parâmetros entre SFT e RLVR?
2. Qual trajetória de atualização intrínseca a OPD segue durante o treinamento?
3. Qual componente do objetivo da OPD controla essa trajetória?

Metodologia

Os autores analisam a geometria das atualizações da OPD usando um conjunto de diagnósticos de espaço de parâmetros aplicados a checkpoints da família Qwen3 (especificamente Qwen3-8B). A configuração experimental compara três paradigmas inicializados a partir de um âncora SFT compartilhado (para OPD e RLVR) ou de um pré-treinado base (para SFT):

• SFT: Ajuste fino supervisionado padrão em demonstrações offline.
• RLVR: Otimização de política usando recompensas esparsas de nível de resultado (GRPO).
• OPD: Destilação on-policy usando supervisão densa de nível de token de um professor.

A análise emprega quatro diagnósticos primários para caracterizar as atualizações ($\Delta W = W_+ - W_0$):

1. Esparsidade de Atualização: Medindo a fração de pesos inalterados em precisão bfloat16.
2. Rotação de Ângulo Principal: Quantificando a rotação dos subespaços singulares dominantes ($U, V$) entre os pesos iniciais e finais.
3. Deriva Espectral: Medindo o deslocamento espectral normalizado (NSS) dos valores singulares.
4. Sobreposição de Máscara de Atualização: Determinando se as atualizações visíveis se concentram em pesos principais (alta curvatura) ou de baixa magnitude.

Para investigar a dinâmica de treinamento, os autores rastreiam atualizações cumulativas ($\Delta W_t$) através de checkpoints usando rank estável, normas de Frobenius e estimativas de cauda de Hill. Eles realizam adicionalmente experimentos de controle perturbando três fatores: densidade de supervisão de tokens (esparsificação), política de rollout (geração off-policy) e composição de objetivo (interpolação de sinais de vantagem OPD e RLVR).

Contribuições Principais e Resultados

1. A OPD Ocupa um Regime de "Relaxamento Fora do Principal"

O estudo localiza a OPD em uma região distinta do espaço de parâmetros, intermediária entre SFT e RLVR, mas enviesada para o lado do RLVR.

• Esparsidade: A OPD exibe esparsidade de atualização intermediária (51,6% de pesos inalterados), situando-se entre as atualizações densas do SFT (8,1% de pesos inalterados) e as atualizações esparsas do RLVR (77,2% de pesos inalterados).
• Geometria: A OPD induz menos rotação de subespaço e deriva espectral que o SFT, mas mais que o RLVR.
• Localização: As atualizações da OPD deslocam-se para longe dos pesos principais e em direção a regiões de baixa magnitude, similar ao RLVR, mas com um suporte visível maior (menor seletividade).
• Interpretação: Os autores propõem uma visão de "Três Portões Relaxados". A OPD retém o viés de preservação de geometria do RLVR (Portão II: a geometria do modelo direciona as atualizações para longe das direções principais) mas relaxa a seletividade devido à supervisão densa ao nível de token (Portão I: âncora de distribuição), permitindo que mais coordenadas cruzem o limiar de realização de precisão (Portão III).

2. Bloqueio de Subespaço (Subspace Locking)

A OPD segue uma trajetória distinta caracterizada pelo bloqueio de subespaço.

• Convergência Precoce: Ao contrário do SFT (que expande seu subespaço de atualização) ou do RLVR (que contrai tardiamente), a OPD entra rapidamente em uma banda de atualização estreita e de baixa dimensão no início do treinamento.
• Estabilidade: Este canal de baixa dimensão emerge cedo (dentro dos primeiros checkpoints medidos) e permanece persistente durante todo o treinamento.
• Suficiência Funcional: Restringir o treinamento subsequente ao subespaço de baixa dimensão (rank-16) formado precocemente no treinamento da OPD preserva o desempenho da OPD. Em contraste, a mesma restrição degrada significativamente o desempenho do SFT. Isso indica que o subespaço bloqueado é funcionalmente suficiente para o aprendizado da OPD.
• Magnitude: A OPD acumula uma norma de atualização cumulativa substancialmente maior que o RLVR, mantendo um rank estável comparável, o que descarta a possibilidade de que a baixa dimensionalidade seja apenas um artefato de movimento de parâmetros negligenciável.

3. A Composição do Objetivo Controla a Trajetória

Experimentos de controle revelam que o mecanismo de bloqueio de subespaço é robusto a perturbações em tempo de execução, mas sensível à composição do objetivo.

• Robustez: A esparsificação de tokens (redução da densidade de supervisão) e rollouts off-policy (usando dados gerados pelo professor) preservam a trajetória de rank estável da OPD, afetando apenas a escala da atualização.
• Sensibilidade: A interpolação do objetivo da OPD com o sinal de vantagem do RLVR altera a dinâmica de rank. Quando o componente OPD é enfraquecido, a trajetória se desvia do regime bloqueado.
• Mecanismo: Os autores argumentam que a esparsificação de tokens e os rollouts off-policy apenas reescalam a covariância do gradiente, preservando as direções espectrais dominantes. Em contraste, misturar objetivos altera a própria fonte do gradiente, alterando a geometria da covariância dominante e quebrando a trajetória de bloqueio.

Significância e Alegações

O artigo afirma que a OPD não é meramente um ponto final intermediário entre SFT e RLVR, mas induz sua própria geometria de atualização única. A principal significância reside em identificar o bloqueio de subespaço como uma propriedade fundamental do treinamento de OPD.

Os autores sugerem que futuros algoritmos de OPD devem ser projetados com o controle de geometria em mente, em vez de tratar a densidade de supervisão ao nível de token como o eixo principal de design. Receitas eficazes devem:

• Monitorar e explorar o canal de atualização de baixa dimensão e persistente que emerge precocemente.
• Usar a composição de objetivos como a alavanca primária para regular a geometria de atualização.
• Tratar a seleção de tokens e as políticas de rollout como fatores secundários que influenciam a escala da atualização, e não a estrutura espectral fundamental.

O artigo conclui que esses diagnósticos fornecem um relato do espaço de parâmetros da OPD, oferecendo uma base para estratégias de otimização conscientes da geometria que sejam mais estáveis, interpretáveis e transferíveis. Os autores observam limitações quanto ao foco em configurações de raciocínio Qwen3 controladas e à dependência de diagnósticos baseados em checkpoints em vez de teorias causais formais.