Resumo Técnico: Quebrando a Barreira do Tokenizador: Destilação On-Policy entre Famílias de Modelos

1. Definição do Problema

A Destilação On-Policy (OPD) emergiu como uma técnica altamente eficiente para o pós-treinamento de Grandes Modelos de Linguagem (LLMs), permitindo a transferência de conhecimento de modelos "professor" especialistas para modelos "aluno" ao alavancar sinais de supervisão densos e ao nível de token (log-probabilidades) nas próprias trajetórias geradas pelo aluno. No entanto, os métodos de OPD existentes estão estritamente limitados à destilação da mesma família, onde o professor e o aluno devem compartilhar um tokenizador idêntico.

Ao tentar a destilação de cross-tokenizer (ex: entre diferentes famílias de modelos como Qwen e Llama), surge uma barreira fundamental: o desalinhamento de vocabulários. Diferenças no tamanho do vocabulário, preferências de codificação e o tratamento de caracteres especiais significam que as log-probabilidades brutas do professor não podem ser diretamente mapeadas para os tokens do aluno. As práticas predominantes atuais para cenários de cross-tokenizer recorrem ao Ajuste Fino Supervisionado (SFT) em respostas geradas pelo professor. Essa abordagem falha em capturar o conhecimento denso e rico incorporado na distribuição de probabilidade do professor, tratando a saída do professor meramente como texto estático, em vez de um sinal probabilístico. Além disso, os métodos de alinhamento de cross-tokenizer existentes são projetados primariamente para destilação offline (off-policy) e não conseguem resolver efetivamente o problema de propagação de sinal ao nível de token inerente à OPD.

2. Metodologia

Os autores propõem um framework para Destilação On-Policy de Cross-Tokenizer que preenche a lacuna de vocabulário sem exigir tokenizadores compartilhados ou modificar as arquiteturas internas dos modelos. O método consiste em dois componentes principais:

A. Alinhamento de Chunk Adaptativo (Alinhamento de Chunk por Dual-Pointer - DPCA)

Para alinhar sequências geradas por diferentes tokenizadores, os autores introduzem um algoritmo determinístico que identifica chunks minimamente sincronizados.

• Mecanismo: O algoritmo utiliza as propriedades determinísticas e monotônicas da função de destokenização ($D$). Ele emprega uma estratégia de dual-pointer ($p_S$ para o aluno, $p_T$ para o professor) para encontrar os menores incrementos de tokens de modo que os prefixos de texto decodificados coincidam: $D(y^S_{1:i}) = D(y^T_{1:j})$.
• Estratégia Greedy: Os ponteiros avançam com base no comprimento das strings decodificadas. Se o fragmento decodificado do aluno for menor que o do professor, o ponteiro do aluno avança, e vice-versa.
• Garantia Teórica: O algoritmo garante completude (identificando todos os pontos de sincronização) e minimalidade (garantindo que os chunks não possam ser subdivididos mais adiante). Isso garante que os sinais de supervisão densos sejam localizados nos menores clusters de tokens possíveis, evitando ambiguidade de sinal sobre blocos agregados extensos.

B. Atribuição de Crédito em Nível de Chunk via Prior Semântico

Uma vez que as sequências são particionadas em chunks sincronizados, os sinais de supervisão do professor devem ser projetados nos tokens do aluno.

• Correspondência de Probabilidade Conjunta: O método assume que a probabilidade conjunta de gerar um chunk sincronizado (que representa o mesmo texto subjacente) deve ser equivalente sob ambas as distribuições. Isso implica que a soma das log-probabilidades dentro de um chunk deve ser igual.
• Otimização com Prior Semântico: Para distribuir as log-verossimilhanças alvo do professor ($L^{(c)}_T$) entre os tokens do aluno ($s_c$) enquanto preserva a estrutura semântica interna do aluno, os autores resolvem um problema de otimização restrita. Eles buscam uma distribuição alvo que mantenha o máximo alinhamento direcional com a distribuição prior do aluno ($p$).
• Solução de Forma Fechada: As log-probabilidades alvo resultantes ($\log q_i$) são uma versão linearmente escalonada das log-probabilidades prior do aluno ($\log p_i$), escalonadas pela razão das log-verossimilhanças do nível de chunk:
  $$\log q_i = \frac{L^{(c)}_T}{L^{(c)}_S} \log p_i$$
  Isso garante que os tokens que o aluno inicialmente considerou "surpreendentes" (baixa probabilidade) recebam uma parcela proporcionalmente maior do sinal de vantagem, preservando a estrutura semântica relativa dentro do chunk.

C. Objetivo de Treinamento

As vantagens calculadas por token são integradas em um framework padrão de OPD usando uma função de perda de amostragem de importância de RL (divergência KL reversa), permitindo que o aluno atualize sua política com base em seus próprios rollouts enquanto adere à orientação do professor.

3. Principais Contribuições

1. Primeira OPD de Cross-Tokenizer de Alta Fidelidade: Este trabalho é o primeiro a permitir a destilação on-policy de alta fidelidade, por token, entre diferentes famílias de modelos com tokenizadores distintos.
2. Algoritmo de Alinhamento Adaptativo: A proposta do algoritmo de Alinhamento de Chunk por Dual-Pointer (DPCA), que garante matematicamente a identificação de chunks minimamente sincronizados entre esquemas de tokenização heterogêneos.
3. Atribuição de Crédito com Prior Semântico: Um mecanismo inovador para projetar as log-probabilidades do professor nos tokens do aluno que preserva a estrutura semântica interna do aluno, evitando a distorção das probabilidades relativas dos tokens.
4. Eficiência Computacional: Demonstrar que a OPD de cross-tokenizer é significativamente mais eficiente computacionalmente do que as linhas de base de SFT ou destilação off-policy.

4. Resultados Experimentais

Os autores avaliaram seu método em benchmarks de raciocínio (AIME, MATH, GPQA-Diamond, LiveCodeBench) usando dois emparelhamentos distinto de professor-aluno:

• Configuração 1: Qwen3-8B (Professor) $\to$ Llama-3.1-8B-SFT (Aluno).
• Configuração 2: DeepSeek-R1 (Professor) $\to$ DeepSeek-R1-Distill-Qwen-7B (Aluno).

Desempenho:

• Na configuração Qwen $\to$ Llama, a OPD alcançou uma pontuação média de 40.7, superando o SFT (35.1), ALM (35.7) e CDM (35.9) por margens significativas (até +5.6 pontos).
• Na configuração DeepSeek-R1, a OPD atingiu 52.0, superando as bases em 2.4–2.7 pontos em média.
• Os ganhos foram consistentes em benchmarks de matemática, ciência e código, com melhorias particularmente notáveis no AIME25 (+11.6 pontos) e GPQA-Diamond (+6.1 pontos).

Eficiência Computacional:

• Para alcançar a mesma precisão no AIME24 (44.4%) partindo de um modelo inicializado por SFT, os autores estimaram que estender o SFT exigiria 482K amostras de treinamento adicionais e aproximadamente 1.17 $\times$ 10$^{21}$ FLOPs.
• Em contraste, o método OPD alcançou o mesmo desempenho com apenas 20K amostras adicionais e aproximadamente 4.8 $\times$ 10$^{19}$ FLOPs.
• Isso representa uma redução no uso de dados de treinamento para ~4.1% e no custo computacional total para ~4% do esquema de extrapolação SFT.

Comparação com OPD de Mesmo Tokenizador:

• O artigo observa que o ganho de desempenho da OPD de cross-tokenizer (média de +5.6) é comparável à OPD de mesmo tokenizador (média de +5.5), indicando que o mecanismo de projeção não degrada significativamente a qualidade do sinal de supervisão.

5. Significância e Alegações

O artigo afirma que este trabalho desbloqueia uma gama mais ampla de pares professor-aluno para destilação on-policy. Ao remover a exigência de tokenizadores compartilhados, o método permite uma transferência de conhecimento mais flexível entre diversas famílias de modelos. Os autores argumentam que um vocabulário compartilhado não é um pré-requisito para uma OPD eficaz, desde que o feedback do professor possa ser projetado nos tokens do aluno de uma maneira que conserve as log-probabilidades.

O trabalho abre novos caminhos para adaptar e aprimorar as interações entre LLMs, sugerindo que o paradigma de "supervisão densa" pode ser estendido além do pós-treinamento de uma única série de modelos. Os autores reconhecem limitações quanto à escala dos modelos testados (abaixo de 8B parâmetros devido a restrições computacionais) e identificam a validação em modelos de maior escala (ex: 70B) como um trabalho futuro.