Resumo Técnico: Destilação Geométrica de Si Mesmo para Generalização de Raciocínio

1. Definição do Problema

A destilação on-policy (OPD) emergiu como uma estratégia de pós-treinamento prática para grandes modelos de linguagem (LLMs), fornecendo supervisão densa ao nível de tokens em trajetórias geradas pelo próprio modelo estudante. Uma variante específica e eficaz, a autodestilação com contexto privilegiado (OPSD), condiciona o "professor" (o mesmo modelo) a informações adicionais, como um traço completo da solução ou uma dica, enquanto o estudante deve raciocinar a partir apenas do contexto original do problema.

Embora essa configuração forneça supervisão abundante, o artigo identifica um modo de falha crítico: deriva preditiva (predictive drift). Como o professor possui contexto privilegiado, ele pode se comprometer confiantemente com continuações que são óbvias dado o contexto da solução, mas que permanecem incertas ou não suportadas pela perspectiva do próprio estudante. Objetivos de destilação padrão (ex: divergência de Kullback–Leibler) ponderam as preferências do professor pela sua própria massa de probabilidade. Consequentemente, em estados onde o professor é altamente confiante, mas o estudante atribui baixa probabilidade (baixa sobreposição), o sinal de gradiente é forte. Ao longo de muitas atualizações, esses puxões fortes forçam o estudante a adotar as continuações confiantes do professor antes que a própria informação do estudante possa justificá-las. Esse acúmulo de atualizações desalinhadas leva à deriva, onde o modelo suprime a incerteza e degrada o desempenho de raciocínio fora da distribuição (OOD), resultando frequentemente em um "consenso confiante em respostas erradas".

Abordagens existentes tentam mitigar isso filtrando sinais não confiáveis do professor ou remodelando os pesos de divergência (ex: usando KL Reversa ou mecanismos de filtragem). No entanto, os autores argumentam que esses métodos falham em abordar o problema central: o quão longe um sinal confiável deve mover o estudante. A seleção isolada não pode regular a magnitude da atualização; o movimento não verificado acumula-se em deriva.

2. Metodologia: GEOSD

Os autores introduzem o GEOSD (Destilação Geométrica de Si Mesmo), um objetivo projetado para combater essa deriva, tratando o comportamento preditivo como um movimento dentro de um espaço geomético específico de distribuições de próximo token. O método opera de duas maneiras complementares:

A. Atenuação de Pressão Local (Perda de Hellinger)

Em vez da divergência KL padrão, o GEOSD utiliza uma perda de Hellinger para modular o puxão do professor em cada estado visitado.

• Mecanismo: A distância de Hellinger é derivada da geometria do simplex de probabilidade sob um mapeamento de raiz quadrada ($p \to \sqrt{p}$), onde as distribuições residem em uma hiperesfera. O gradiente da perda de Hellinger escala cada preferência do professor pelo produto da média geométrica das probabilidades do estudante e do professor ($\sqrt{p_i q_i}$).
• Efeito: Se o professor atribui alta probabilidade a um token, mas o estudante atribui probabilidade próxima de zero, o termo de sobreposição desaparece e o puxão do gradiente é atenuado. Inversamente, preferências compartilhadas são transferidas fortemente. Isso garante que a supervisão se fortaleça gradualmente à medida que o estudante e o professor entram em acordo, em vez de forçar o estudante a adotar imediatamente as continuações confiantes, porém não suportadas, do professor.

B. Controle de Deriva Global (Termo Proximal de Fisher–Rao)

Embora a ponderação por sobreposição limite o puxão em estados individuais, ela não impede o acúmulo de pequenas atualizações razoáveis em uma grande deriva global durante o treinamento.

• Mecanismo: O GEOSD adiciona um termo proximal que penaliza a distância entre a distribuição atual do estudante e um checkpoint recente ($\theta_{ckpt}$). Essa distância é medida usando a distância de Fisher–Rao (o comprimento de arco na hiperesfera), que rastreia o deslocamento acumulado na geometria das distribuições preditivas.
• Efeito: Isso atua como uma "região de confiança móvel", amortecendo deslocamentos abruptos enquanto permite o movimento constante quando o sinal do professor é consistente. Diferente de ancorar ao modelo inicial (o que impediria a adaptação), ancorar a um checkpoint recente permite que o modelo se adapte, prevenindo que ele se desvie demais de seu comportamento estável recente.

C. Atualização de Gradiente Natural

Tanto a perda de Hellinger quanto o termo proximal de Fisher–Rao são distâncias na mesma geometria das distribuições de próximo token. Para otimizar este objetivo, o GEOSD utiliza uma atualização de gradiente natural.

• Mecanismo: Em vez de atualizar parâmetros no espaço euclidiano, a atualização é pré-condicionada pela Matriz de Informação de Fisher (aproximada via K-FAC para eficiência).
• Efeito: Isso garante que cada passo realize a menor mudança nas predições do estudante que melhore o objetivo, em vez de realizar um passo de tamanho fixo no espaço de parâmetros. O termo proximal atua efetivamente como um "puxão de volta ao checkpoint" nesta geometria, retornando a política ao checkpoint com base na saliência comportamental das direções de parâmetros.

3. Principais Contribuições

1. Objetivo GEOSD: Um framework de autodestilação que pondera as preferências do professor pela sobreposição professor-estudante (via perda de Hellinger) e penaliza a deriva preditiva de um checkpoint recente (via distância de Fisher–Rao), otimizado via gradientes naturais em uma geometria unificada.
2. Melhoria Empírica: O GEOSD preserva os ganhos de distribuição interna (ID) da autodestilação enquanto melhora significativamente o raciocínio fora da distribuição (OOD). Em três famílias de modelos (Qwen3, Olmo, DeepSeek-R1) e cinco escalas (1.7B a 32B), ele melhora a precisão média OOD em 5.7–8.6 pontos sobre o modelo base, enquanto objetivos KL padrão degradam o desempenho OOD.
3. Análise Mecanística: O artigo caracteriza por que o pareamento padrão falha no OOD: ele concentra a massa de probabilidade na escolha principal do professor ao "esvaziar" as alternativas em estados de alta entropia, levando ao consenso confiante em respostas incorretas. O GEOSD mantém a dominância da escolha principal enquanto mantém as continuações alternativas "ao alcance", evitando o colapso prematuro.

4. Resultados Experimentais

Os autores avaliaram o GEOSD em benchmarks de raciocínio matemático (DAPO-Math para treinamento; AIME 2024/2025, AMC 2023, MATH-500 para testes OOD).

• Desempenho: O GE_OSD alcançou a melhor precisão OOD em todos os benchmarks e famílias de modelos testados. Por exemplo, no Qwen3-8B, ele melhorou a precisão OOD em +8.6 pontos em relação ao modelo base, comparado a uma degradação de -8.1 pontos para o Forward KL.
• Robustez: Os ganhos mantiveram-se em vários níveis de contexto privilegiado (desde prefixos curtos até soluções completas) e em várias escalas de modelos (1.7B a 32B).
• Ablação: Remover qualquer um dos componentes — a ponderação de sobreposição de Hellinger, o termo proximal de Fisher–Rao ou a atualização de gradiente natural — resultou em quedas significativas no desempenho OOD, confirmando que todos os três componentes são necessários.
• Falso Consenso: A análise mostrou que métodos padrão (como Forward KL) exibem altas taxas de "falso consenso" (amostras concordando fortemente em respostas erradas) em estados de alta entropia. O GEOSD reduziu essa taxa para abaixo até mesmo do modelo base, mantendo uma autoconsistência informativa.

5. Significância e Alegações

O artigo alega que a degradação do raciocínio OOD na autodestilação com contexto privilegiado não é meramente um resultado do uso de sinais não confiáveis, mas uma consequência de como esses sinais movem o modelo. Objetivos padrão permitem que a confiança do professor force o estudante a entrar em um modo estreito prematuramente, esvaziando a massa de probabilidade de alternativas viáveis.

O GEOSD demonstra que a destilação de raciocínio eficaz depende não apenas de quais sinais do professor confiar, mas de o quão longe esses sinais são permitidos mover o estudante. Ao regular esse movimento geometricamente — atenuando puxões onde o estudante carece de suporte e ancorando a trajetória a um estado estável recente — o GEOSD alcança um equilíbrio superior entre o desempenho de distribuição interna e a generalização fora da distribuição. Os autores concluem que controlar a deriva preditiva é essencial para escalar a autodestilação em tarefas de raciocínio.

Limitações Observadas: Os autores reconhecem que suas descobertas foram estabelecidas atualmente apenas para o raciocínio matemático. A aplicabilidade da transferência ponderada por sobreposição e do controle de deriva de Fisher–Rao a outros domínios (ex: código, raciocínio científico), onde estados de alta entropia podem ter estruturas diferentes, permanece não testada. Além disso, o método assume que a política base é amplamente competente; para modelos base muito fracos, o mecanismo pode suprimir sinais úteis que exigem grandes mudanças comportamentais.