Resumo Técnico: SimCT - Recuperação de Supervisão Perdida para Destilação On-Policy entre Tokenizadores Diferentes

1. Declaração do Problema

A destilação on-policy (OPD) é um paradigma padrão para transferir o comportamento de um modelo professor grande para um modelo estudante menor. Diferentemente da destilação offline, a OPD consulta o professor em prefixos gerados pela política atual do estudante, alinhando assim a distribuição de treinamento com a distribuição de inferência e mitigando o acúmulo de erros.

No entanto, a OPD padrão assume implicitamente que os modelos professor e estudante compartilham um tokenizador, permitindo a comparação token a token de suas previsões de próximo token. Em cenários reais de implantação, os modelos professor e estudante frequentemente pertencem a famílias diferentes com tokenizadores heterogêneos. Essa incompatibilidade cria dois obstáculos fundamentais:

1. Incompatibilidade de Vocabulário: Os conjuntos de tokens ($\mathcal{V}_T$ e $\mathcal{V}_S$) se sobrepõem apenas parcialmente. Restringir a supervisão aos tokens compartilhados descarta uma parte significativa da distribuição de saída do professor.
2. Incompatibilidade de Sequência: Mesmo quando o texto subjacente é idêntico, tokenizadores diferentes o segmentam em sequências de tokens distintas (por exemplo, "happy" vs. "hap" + "py" vs. "ha" + "pp" + "y"). Consequentemente, a distribuição de próximo token do professor em um prefixo específico pode não corresponder à mesma unidade de texto que a distribuição do estudante, tornando a divergência KL em nível de token padrão mal definida.

Soluções existentes entre tokenizadores tentam preencher essa lacuna por meio de transporte ótimo (computacionalmente caro), camadas de projeção aprendidas (exigindo parâmetros extras) ou correspondência de blocos grosseira (perdendo sinal fino). Esses métodos frequentemente falham em recuperar o sinal completo do professor ou introduzem sobrecarga significativa.

2. Metodologia: OPD Simples entre Tokenizadores (SimCT)

Os autores propõem o SimCT, um método que restaura a supervisão perdida expandindo o espaço de supervisão em vez de modificar a própria função objetivo da OPD.

Conceito Central: Unidades Alinhadas Mínimas

Em vez de forçar previsões a corresponder apenas em tokens idênticos, o SimCT identifica Unidades Alinhadas Mínimas (MAUs). Uma MAU é definida como a continuação de texto mais fina que ambos os tokenizadores podem realizar, mesmo que a decomponham em sequências de tokens diferentes.

• Tokens Compartilhados: Tokens presentes em ambos os vocabulários ($\mathcal{V}_T \cap \mathcal{V}_S$) são tratados como unidades alinhadas 1:1.
• MAUs: Para regiões de texto onde os tokenizadores discordam, o método constrói a partição mais fina consistente com os limites, onde cada unidade pode ser representada como uma sequência de tokens do professor e uma sequência de tokens do estudante.

Construção do Espaço de Supervisão

O SimCT define um espaço comum de supervisão $\mathcal{U}_{SimCT}$:
$$\mathcal{U}_{SimCT} = (\mathcal{V}_T \cap \mathcal{V}_S) \cup \mathcal{A}$$
onde $\mathcal{A}$ é o conjunto de todas as unidades alinhadas mínimas.

Pontuação e Perda

Para comparar distribuições sobre este espaço, o SimCT introduz mapas de pontuação $\Pi_T$ e $\Pi_S$:

1. Tokens Compartilhados: A pontuação é o log-probabilidade original.
2. MAUs (Multi-token): A pontuação é a média normalizada por comprimento da verossimilhança logarítmica dos tokens constituintes. Para uma unidade $u$ realizada como $k$ tokens $(v_1, \dots, v_k)$ pelo modelo $M$:
   $$s_M(u | x_{<t}) = \frac{1}{k} \sum_{j=1}^k \log p_M(v_j | x_{<t}, v_{<j})$$
   Essa normalização evita penalizar unidades que requerem mais tokens sob um tokenizador específico.

As distribuições finais $q_T$ e $q_S$ sobre $\mathcal{U}_{SimCT}$ são obtidas normalizando essas pontuações. A perda de destilação permanece a divergência KL reversa padrão:
$$\mathcal{L}_{SimCT} = \text{KL}(q_S(\cdot | x_{<t}) \parallel q_T(\cdot | x_{<t}))$$

Propriedades Teóricas

• Teorema 1: As MAUs constituem a interface mais fina consistente com os limites expressível conjuntamente por ambos os tokenizadores. Nenhuma decomposição estritamente mais fina preserva a tokenizabilidade conjunta.
• Proposição 1: Agranularizar essas unidades (fundindo MAUs em intervalos maiores) reduz estritamente a divergência KL entre as distribuições do professor e do estudante, apagando efetivamente distinções úteis dentro do intervalo. Assim, preservar a granularidade mínima é teoricamente ótimo para reter o sinal.

3. Contribuições Principais

1. Identificação da Perda de Sinal: O artigo demonstra que a OPD padrão entre tokenizadores descarta silenciosamente uma grande fração do sinal do professor devido a incompatibilidades de vocabulário e de sequência.
2. Expansão do Espaço de Supervisão: O SimCT introduz uma nova interface de supervisão que recupera sinal de vocabulários não compartilhados e segmentos de texto não alinhados 1:1, sem exigir parâmetros treináveis adicionais ou cálculos complexos de transporte.
3. Justificativa Teórica: Os autores provam que as MAUs representam a granularidade de supervisão mais fina possível e que agranularizá-las inevitavelmente remove distinções úteis entre professor e estudante.
4. Validação Empírica: Experimentos extensivos mostram que o SimCT supera consistentemente as linhas de base de vocabulário compartilhado e outros métodos entre tokenizadores em tarefas de raciocínio matemático e geração de código.

4. Resultados Experimentais

Os autores avaliaram o SimCT em três pares professor-estudante heterogêneos (Qwen2.5, Phi-4, Gemma-2) em quatro benchmarks: GSM8K, MATH-500, MBPP e LiveCodeBench-v6.

• Ganhos de Desempenho: O SimCT alcançou melhorias consistentes sobre os warm-starts de SFT e todas as linhas de base (SimpleOPD, DSKD, ALM, GOLD). Gerou um ganho relativo médio de 6,0% sobre o SFT e superou a melhor linha de base entre tokenizadores por uma margem significativa.
• Análise de Recuperação de Sinal: Estudos de ablação confirmaram que os ganhos derivam da recuperação de dois tipos de sinais descartados:
  • Fora do Vocabulário Compartilhado (OoSV): Previsões de alta probabilidade do professor fora do vocabulário compartilhado.
  • Unidades Não Alinhadas: Segmentos de texto que não podem ser alinhados 1:1.
    A recuperação de ambas as fontes por meio do espaço unificado de MAUs produziu o melhor desempenho.
• Ablação de Granularidade: Fundir MAUs em unidades mais grosseiras resultou em queda de desempenho, correlacionando-se com a previsão teórica de que a granularização remove o sinal KL que representa preferências finas entre professor e estudante.
• Eficiência: O SimCT adiciona apenas uma sobrecarga computacional marginal em comparação ao SimpleOPD (aproximadamente 0,16 horas por execução em 8x GPUs H20) e é significativamente mais rápido do que métodos que exigem projeções aprendidas ou transporte ótimo.

5. Significado e Alegações

O artigo argumenta que o principal gargalo na OPD entre tokenizadores não é o próprio paradigma de treinamento, mas a construção do espaço de supervisão. Ao deslocar o foco de "corresponder tokens" para "corresponder continuações de texto", o SimCT recupera supervisão que anteriormente era inacessível.

Os autores afirmam que o SimCT fornece uma solução simples, livre de parâmetros e robusta para destilar entre modelos com tokenizadores diferentes. Os resultados sugerem que preservar as unidades tokenizáveis conjuntamente mais finas é crítico para manter a qualidade dos sinais de aprendizado on-policy. O trabalho estabelece que expandir o espaço de supervisão para incluir unidades alinhadas mínimas é uma estratégia mais eficaz do que modificar a função de perda ou adicionar maquinaria complexa de alinhamento.

Limitações notadas pelos autores:

• A avaliação atualmente é limitada aos domínios de matemática e código.
• O método depende de tokenizadores padrão no estilo BPE; adaptação pode ser necessária para tokenizadores com comportamentos de segmentação fundamentalmente diferentes.
• A implementação atual assume acesso white-box às distribuições de próximo token do professor; a extensão para configurações black-box fica para trabalhos futuros.