Resumen Técnico: Rompiendo la barrera del tokenizador: Destilación On-Policy entre familias de modelos

1. Planteamiento del problema

La Destilación On-Policy (OPD, por sus siglas en inglés) ha surgido como una técnica altamente eficiente para el post-entrenamiento de Modelos de Lenguaje de Gran Escala (LLMs), permitiendo la transferencia de conocimiento de modelos "maestros" expertos a modelos "estudiantes" mediante el aprovechamiento de señales de supervisión densas a nivel de token (log-probabilidades) sobre las propias trayectorias generadas por el estudiante. Sin embargo, los métodos de OPD existentes están estrictamente limitados a la destilación de la misma familia, donde el maestro y el estudiante deben compartir un tokenizador idéntico.

Al intentar realizar una destilación de entre tokenizadores (por ejemplo, entre diferentes familias de modelos como Qwen y Llama), surge una barrera fundamental: la desalineación de los vocabularios. Las diferencias en el tamaño del vocabulario, las preferencias de codificación y el manejo de caracteres especiales significan que las log-probabilidades puras del maestro no pueden mapearse directamente a los tokens del estudiante. Las prácticas actuales predominantes para escenarios de entre tokenizadores recurren al Ajuste Fino Supervisado (SFT) sobre respuestas generadas por el maestro. Este enfoque no logra capturar la rica y densa información contenida en la distribución de probabilidad del maestro, tratando la salida del maestro meramente como texto estático en lugar de una señal probabilística. Además, los métodos de alineación de entre tokenizadores existentes están diseñados principalmente para la destilación offline (off-policy) y no pueden resolver eficazmente el problema de la propagación de la señal a nivel de token inherente a la OPD.

2. Metodología

Los autores proponen un marco para la Destilación On-Policy de Entre Tokenizadores que cierra la brecha de vocabulario sin requerir tokenizadores compartidos ni modificar las arquitecturas internas de los modelos. El método consta de dos componentes principales:

A. Alineación de Fragmentos Adaptativa (Alineación de Fragmentos de Doble Puntero - DPCA)

Para alinear secuencias generadas por diferentes tokenizadores, los autores introducen un algoritmo determinista que identifica fragmentos sincronizados mínimos.

• Mecanza: El algoritmo utiliza las propiedades deterministas y monotónicas de la función de des-tokenización ($D$). Emplea una estrategia de doble puntero ($p_S$ para el estudiante, $p_T$ para el maestro) para encontrar los incrementos más pequeños de tokens tales que los prefijos de texto decodificados coincidan: $D(y^S_{1:i}) = D(y^T_{1:j})$.
• Estrategia Codiciosa (Greedy): Los punteros avanzan basados en la longitud de las cadenas decodificadas. Si el fragmento decodificado del estudiante es más corto que el del maestro, el puntero del estudiante avanza, y viceversa.
• Garantía Teórica: El algoritmo garantiza la completitud (identificación de todos los puntos de sincronización) y la minimalidad (asegurando que los fragmentos no puedan subdividirse más). Esto garantiza que las señales de supervisión densas se localicen en los grupos de tokens más pequeños posibles, evitando la ambigüedad de la señal sobre bloques agregados de gran tamaño.

B. Asignación de Crédito a Nivel de Fragmento mediante Prior Semántico

Una vez que las secuencias se particionan en fragmentos sincronizados, las señales de supervisión del maestro deben proyectarse sobre los tokens del estudiante.

• Emparejamiento de Probabilidad Conjunta: El método asume que la probabilidad conjunta de generar un fragmento sincronizado (que representa el mismo texto subyacente) debe ser equivalente bajo ambas distribuciones. Esto implica que la suma de las log-probabilidades dentro de un fragmento debe ser igual.
• Optimización con Prior Semántico: Para distribuir las log-verosimilitudes objetivo del maestro ($L^{(c)}_T$) a través de los tokens del estudiante ($s_c$) mientras se preserva la estructura semántica interna del estudiante, los autores resuelven un problema de optimación restringida. Buscan una distribución objetivo que mantenga la máxima alineación direccional con la distribución previa ($p$) del estudiante.
• Solución de Forma Cerrada: Las log-probabilidades objetivo resultantes ($\log q_i$) son una versión escalada linealmente de las log-probabilidades previas del estudiante ($\log p_i$), escaladas por la razón de las log-verosimilitudes del fragmento:
  $$\log q_i = \frac{L^{(c)}_T}{L^{(c)}_S} \log p_i$$
  Esto asegura que los tokens que inicialmente resultaron "sorprendentes" para el estudiante (menor probabilidad) reciban una parte proporcionalmente mayor de la señal de ventaja, preservando la estructura semántica relativa dentro del fragmento.

C. Objetivo de Entrenamiento

Las ventajas calculadas por token se integran en un marco de OPD estándar utilizando una función de pérdida de muestreo de importancia de RL (divergencia KL inversa), lo que permite al estudiante actualizar su política basándose en sus propios rollouts mientras se adhiere a la guía del maestro.

3. Contribuciones Clave

1. Primera Destilación On-Policy de Entre Tokenizadores de Alta Fidelidad: Este trabajo es el primero en permitir la destilación on-policy de alta fidelidad, a nivel de token, entre diferentes familias de modelos con distintos tokenizadores.
2. Algoritmo de Alineación Adaptativa: La propuesta del algoritmo de Alineación de Fragmentos de Doble Puntero (DPCA), que garantiza matemáticamente la identificación de fragmentos sincronizados mínimos entre esquemas de tokenización heterogéneos.
3. Asignación de Crédito con Prior Semántico: Un mecanismo novedoso para proyectar las log-probabilidades del maestro sobre los tokens del estudiante que preserva la estructura semántica interna del estudiante, evitando la distorsión de las probabilidades relativas de los tokens.
4. Eficiencia Computacional: Demostrar que la OPD de entre tokenizadores es significativamente más eficiente computacionalmente que las líneas base de SFT o de destilación off-policy.

4. Resultados Experimentales

Los autores evaluaron su método en benchmarks de razonamiento (AIME, MATH, GPQA-Diamond, LiveCodeBench) utilizando dos emparejamientos distintos de maestro-estudiante:

• Configuración 1: Qwen3-8B (Maestro) $\to$ Llama-3.1-8B-SFT (Estudiante).
• Configuración 2: DeepSeek-R1 (Maestro) $\to$ DeepSeek-R1-Distill-Qwen-7B (Estudiante).

Desempeño:

• En la configuración Qwen $\to$ Llama, la OPD logró un puntaje promedio de 40.7, superando a SFT (35.1), ALM (35.7) y CDM (35.9) por márgenes significativos (hasta +5.6 puntos).
• En la configuración DeepSeek-R1, la OPD alcanzó 52.0, superando a las líneas base por 2.4–2.7 puntos en promedio.
• Las mejoras fueron consistentes en los benchmarks de matemáticas, ciencia y código, con mejoras particularmente notables en AIME25 (+11.6 puntos) y GPQA-Diamond (+6.1 puntos).

Eficiencia Computacional:

• Para alcanzar la misma precisión en AIME24 (44.4%) partiendo de un modelo inicializado con SFT, los autores estimaron que extender el SFT requeriría 482K muestras de entrenamiento adicionales y aproximadamente 1.17 $\times$ 10$^{21}$ FLOPs.
• En contraste, el método de OPD logró el mismo desempeño con solo 20K muestras adicionales y aproximadamente 4.8 $\times$ 10$^{19}$ FLOPs.
• Esto representa una reducción en el uso de datos de entrenamiento al ~4.1% y el costo computacional total al ~4% del esquema de extrapolación de SFT.

Comparación con la OPD de Mismo Tokenizador:

• El artículo señala que la ganancia de desempeño de la OPD de entre tokenizadores (promedio +5.6) es comparable a la de la OPD de mismo tokenizador (promedio +5.5), indicando que el mecanismo de proyección no degrada significativamente la calidad de la señal de supervisión.

5. Significado y Reivindicaciones

El artículo afirma que este trabajo desbloquea una gama más amplia de pares maestro-estudiante para la destilación on-policy. Al eliminar el requisito de vocabularios compartidos, el método permite una transferencia de conocimiento más flexible entre diversas familias de modelos. Los autores argumentan que un vocabulario compartido no es un prerrequisito para una OPD efectiva, siempre que la retroalimentación del maestro pueda proyectarse sobre los tokens del estudiante de una manera que conserve las log-probabilidades.

Este trabajo abre nuevas vías para adaptar y mejorar las interacciones entre LLMs, sugiriendo que el paradigma de "supervisión densa" puede extenderse más allá del post-entrenamiento de una sola serie de modelos. Los autores reconocen las limitaciones respecto a la escala de los modelos probados (menos de 8B parámetros debido a restricciones computacionales) e identifican la validación en modelos de mayor escala (por ejemplo, 70B) como un trabajo futuro.