Resumen Técnico: X-Token: Destilación de Conocimiento Cruzada entre Tokenizadores Guiada por Proyección

Declaración del Problema

La Destilación de Conocimiento (KD) típicamente requiere un tokenizador compartido entre los modelos profesor y estudiante, lo que efectivamente encierra a los practicantes en familias de modelos específicas. Esta restricción impide aprovechar profesores más fuertes o especializados con vocabularios incompatibles (por ejemplo, destilar desde un modelo Qwen o Phi hacia un estudiante Llama) y obstaculiza la destilación multi-profesor a través de diversas familias de tokenizadores.

Los métodos existentes de KD cruzada entre tokenizadores se dividen en dos categorías: basados en representaciones (alineando estados ocultos) y basados en distribuciones de logits (operando sobre probabilidades de salida). Este último se prefiere para el preentrenamiento continuo ya que no requiere cambios arquitectónicos. Sin embargo, el método actual basado en logits más avanzado, GOLD, adolece de dos limitaciones estructurales críticas al manejar tokenizadores incompatibles:

1. Fallo de Tokens Incomunes: Cuando los tokenizadores fragmentan el texto de manera diferente (por ejemplo, un profesor que divide numerales de varios dígitos mientras que el estudiante los agrupa), los tokens críticos caen en un subconjunto "no emparejado". Estos tokens se degradan por ruido agnóstico a la identidad proveniente del emparejamiento basado en rangos y son suprimidos por gradientes del término KL común, lo que lleva a caídas severas de rendimiento (por ejemplo, la precisión en GSM8k cae de 12.89 a 2.56).
2. Emparejamiento Excesivamente Conservador: La igualdad estricta de cadenas 1-a-1 excluye alineaciones semánticas válidas donde las formas superficiales difieren (por ejemplo, un token estudiante "Centenas" correspondiente a tokens profesor "Cien" + "tas"), dejando señales de supervisión útiles sin explotar.

Metodología: X-Token

X-Token aborda estos problemas mediante un marco de tres componentes: Alineación de Span, una Matriz de Proyección ($W$) y Formulaciones de Pérdida Complementarias.

1. Alineación de Secuencia

Para manejar longitudes de secuencia diferentes y desalineaciones posicionales, X-Token emplea alineación de span. Los tokens se agrupan en fragmentos que decodifican al mismo texto subyacente. Se aplica una fusión de regla de la cadena dentro de cada fragmento para combinar las probabilidades por token en una única distribución a nivel de fragmento, creando unidades alineadas para la destilación.

2. Matriz de Proyección ($W$)

Una matriz de proyección dispersa $W \in \mathbb{R}^{|\mathcal{V}_S| \times |\mathcal{V}_T|}$ mapea las probabilidades de los tokens del estudiante al espacio de vocabulario del profesor. Se construye determinísticamente en dos pasadas:

• Pasada de Emparejamiento Exacto: Establece $W[s, t] = 1$ para tokens con coincidencias de cadenas canonizadas.
• Pasada de Regla de Múltiples Tokens: Para tokens del estudiante no emparejados, el texto decodificado se re-tokeniza por el profesor. El token del estudiante se mapea a la secuencia resultante de tokens del profesor con pesos decrecientes (por ejemplo, $\beta=0.9, \gamma=0.1$).
  La matriz se inicializa a partir de reglas del tokenizador y puede afinarse opcionalmente durante el entrenamiento.

3. Formulaciones de Pérdida Complementarias

X-Token introduce dos modos de pérdida, seleccionados basándose en una auditoría de cobertura de tokens críticos (por ejemplo, numerales) en el vocabulario del estudiante:

• P-KL (Proyección-KL): Diseñado para escenarios donde los tokens críticos caen en el conjunto "incomún" (por ejemplo, profesor Qwen). Elimina la partición por completo. La distribución del estudiante se proyecta mediante $W$ al espacio de vocabulario del profesor, y se calcula una divergencia KL directa entre la distribución del profesor y la distribución proyectada del estudiante. Esto elimina gradientes erróneos basados en rangos y efectos supresores.
• H-KL (Híbrido-KL): Diseñado para escenarios donde la partición es estructuralmente sólida (por ejemplo, profesor Phi-4-mini). Mantiene la estructura híbrida pero relaja la definición del conjunto "común". En lugar de igualdad estricta de cadenas, incluye pares $(s, t^*)$ donde $t^*$ es el token profesor de mayor rango para el token estudiante $s$ bajo $W$. Esto captura alineaciones casi equivalentes mientras preserva la supervisión más aguda de la KL directa en pares alineados por identidad.

4. Destilación Multi-Profesor

X-Token se extiende naturalmente a múltiples profesores agregando pérdidas por profesor. Emplea pesado estático (que superó a los esquemas adaptativos en experimentos) para combinar señales de profesores heterogéneos, aprovechando sus fortalezas complementarias (por ejemplo, razonamiento vs. sentido común).

5. Escalado Dinámico

Para estabilizar el entrenamiento, la pérdida de destilación se reescala dinámicamente en cada paso para igualar la magnitud de la pérdida de entropía cruzada, previniendo inestabilidad de optimización causada por escalas de pérdida variables.

Contribuciones Clave

1. Alineación Cruzada entre Tokenizadores Determinista: Introducción de una matriz de proyección dispersa $W$ construida mediante reglas de cadenas y decodificación de múltiples tokens, habilitando una alineación directa de vocabulario sin componentes auxiliares entrenables.
2. Doble Formulación de Pérdida: La propuesta de P-KL y H-KL, que se adaptan a diferentes regímenes de desajuste de tokenizadores. P-KL recupera la señal para tokens críticos no emparejados, mientras que H-KL refina el emparejamiento para tokens bien alineados.
3. Capacidad Multi-Profesor: Demostración de que X-Token habilita una destilación efectiva desde profesores heterogéneos, con resultados que muestran que las combinaciones complementarias de profesores producen un rendimiento superior al de un solo profesor o emparejamientos homogéneos.
4. Alineación de Secuencia Robusta: Un método de alineación de span escalable basado en programación dinámica que asegura unidades consistentes con el texto para la destilación.

Resultados Experimentales

Los experimentos se realizaron utilizando Llama-3.2-1B como estudiante y Qwen3-4B, Phi-4-mini-Instruct y Llama-3.2-3B como profesores.

• Rendimiento vs. SOTA: X-Token supera al estado del arte actual (GOLD) en +3.82 puntos promedio al usar un profesor Qwen3-4B (con una mejora de 6x en GSM8k, de 2.56 a 15.54) y en +0.5 puntos con un profesor Phi-4-mini.
• Superioridad Cruzada entre Familias: En el régimen Qwen, X-Token (P-KL) superó a la KD del mismo tokenizador desde un profesor Llama-3.2-3B más débil, demostrando que la destilación cruzada entre tokenizadores puede exceder los límites de la misma familia cuando la formulación de pérdida es correcta.
• Ganancias Multi-Profesor: Una configuración de dos profesores (Phi-4-mini + Llama-3.2-3B) mejoró la destilación de un solo profesor en +1.3 puntos, destacando el valor de combinar fortalezas diversas de profesores.
• Hallazgos de Ablación:
  • La selección de pérdida es crítica: P-KL falla en Phi-4-mini, y H-KL falla en Qwen3-4B.
  • Aprender conjuntamente la matriz de proyección $W$ produce ganancias modestas pero consistentes sobre una inicialización basada en reglas congelada.
  • El pesado estático de profesores superó a los esquemas adaptativos (basados en entropía o confianza).

Significado

El artículo afirma que X-Token demuestra que una alineación cuidadosa tanto a nivel de secuencia como de vocabulario, combinada con un diseño de pérdida adaptativo, es clave para desbloquear el potencial completo de la destilación de conocimiento cruzada entre tokenizadores. Al abordar los modos de fallo específicos de los métodos basados en particiones, X-Token permite a los practicantes aprovechar profesores más fuertes, especializados o diversos sin estar restringidos por la compatibilidad de tokenizadores, rompiendo efectivamente el "bloqueo de tokenizador" que actualmente limita la escalabilidad y especialización de los modelos.