Resumen Técnico: SimCT - Recuperación de Supervisión Perdida para Destilación en Política Cruzada entre Tokenizadores

1. Enunciado del Problema

La destilación en política (OPD) es un paradigma estándar para transferir el comportamiento de un modelo docente grande a un modelo estudiante más pequeño. A diferencia de la destilación fuera de línea, la OPD consulta al docente sobre prefijos generados por la política actual del estudiante, alineando así la distribución de entrenamiento con la distribución de inferencia y mitigando la acumulación de errores.

Sin embargo, la OPD estándar asume implícitamente que los modelos docente y estudiante comparten un tokenizador, lo que permite la comparación token a token de sus predicciones del siguiente token. En escenarios reales de despliegue, los modelos docente y estudiante a menudo pertenecen a diferentes familias con tokenizadores heterogéneos. Esta discrepancia crea dos obstáculos fundamentales:

1. Discrepancia de Vocabulario: Los conjuntos de tokens ($\mathcal{V}_T$ y $\mathcal{V}_S$) se superponen solo parcialmente. Restringir la supervisión a los tokens compartidos descarta una porción significativa de la distribución de salida del docente.
2. Discrepancia de Secuencia: Incluso cuando el texto subyacente es idéntico, diferentes tokenizadores lo segmentan en diferentes secuencias de tokens (por ejemplo, "happy" vs. "hap" + "py" vs. "ha" + "pp" + "y"). En consecuencia, la distribución del siguiente token del docente en un prefijo específico puede no corresponder a la misma unidad de texto que la distribución del estudiante, lo que hace que la divergencia KL estándar a nivel de token esté mal definida.

Las soluciones existentes para tokenizadores cruzados intentan cerrar esta brecha mediante transporte óptimo (computacionalmente costoso), capas de proyección aprendidas (que requieren parámetros adicionales) o coincidencia de fragmentos de granularidad gruesa (que pierden señales de granularidad fina). Estos métodos a menudo fallan en recuperar la señal completa del docente o introducen una sobrecarga significativa.

2. Metodología: OPD Cruzada Simple entre Tokenizadores (SimCT)

Los autores proponen SimCT, un método que restaura la supervisión perdida expandiendo el espacio de supervisión en lugar de modificar la propia función objetivo de la OPD.

Concepto Central: Unidades Mínimas Alineadas

En lugar de forzar que las predicciones coincidan solo en tokens idénticos, SimCT identifica Unidades Mínimas Alineadas (MAU). Una MAU se define como la continuación de texto más fina que ambos tokenizadores pueden realizar, incluso si la descomponen en diferentes secuencias de tokens.

• Tokens Compartidos: Los tokens presentes en ambos vocabularios ($\mathcal{V}_T \cap \mathcal{V}_S$) se tratan como unidades alineadas 1:1.
• MAUs: Para las regiones de texto donde los tokenizadores no coinciden, el método construye la partición más fina consistente con los límites, donde cada unidad puede representarse como una secuencia de tokens del docente y una secuencia de tokens del estudiante.

Construcción del Espacio de Supervisión

SimCT define un espacio común de supervisión $\mathcal{U}_{SimCT}$:
$$\mathcal{U}_{SimCT} = (\mathcal{V}_T \cap \mathcal{V}_S) \cup \mathcal{A}$$
donde $\mathcal{A}$ es el conjunto de todas las unidades mínimas alineadas.

Puntuación y Pérdida

Para comparar distribuciones sobre este espacio, SimCT introduce mapas de puntuación $\Pi_T$ y $\Pi_S$:

1. Tokens Compartidos: La puntuación es el logaritmo de la probabilidad original.
2. MAUs (Multi-token): La puntuación es el log-verosimilitud promedio normalizado por longitud de los tokens constituyentes. Para una unidad $u$ realizada como $k$ tokens $(v_1, \dots, v_k)$ por el modelo $M$:
   $$s_M(u | x_{<t}) = \frac{1}{k} \sum_{j=1}^k \log p_M(v_j | x_{<t}, v_{<j})$$
   Esta normalización evita penalizar unidades que requieren más tokens bajo un tokenizador específico.

Las distribuciones finales $q_T$ y $q_S$ sobre $\mathcal{U}_{SimCT}$ se obtienen normalizando estas puntuaciones. La pérdida de destilación permanece como la divergencia KL inversa estándar:
$$\mathcal{L}_{SimCT} = \text{KL}(q_S(\cdot | x_{<t}) \parallel q_T(\cdot | x_{<t}))$$

Propiedades Teóricas

• Teorema 1: Las MAUs constituyen la interfaz más fina consistente con los límites expresable conjuntamente por ambos tokenizadores. Ninguna descomposición estrictamente más fina preserva la tokenización conjunta.
• Proposición 1: Agrandar estas unidades (fusionar MAUs en rangos más grandes) reduce estrictamente la divergencia KL entre las distribuciones del docente y del estudiante, borrando efectivamente las distinciones útiles dentro del rango. Por lo tanto, preservar la granularidad mínima es teóricamente óptimo para retener la señal.

3. Contribuciones Clave

1. Identificación de la Pérdida de Señal: El artículo demuestra que la OPD cruzada estándar entre tokenizadores descarta silenciosamente una gran fracción de la señal del docente debido a discrepancias tanto de vocabulario como de secuencia.
2. Expansión del Espacio de Supervisión: SimCT introduce una interfaz de supervisión novedosa que recupera señal del vocabulario no compartido y de segmentos de texto no alineados 1:1, sin requerir parámetros entrenables adicionales ni cálculos de transporte complejos.
3. Justificación Teórica: Los autores demuestran que las MAUs representan la granularidad de supervisión más fina posible y que agrandarlas inevitablemente elimina distinciones útiles entre docente y estudiante.
4. Validación Empírica: Experimentos extensivos muestran que SimCT supera consistentemente a las líneas base de vocabulario compartido y a otros métodos de tokenizadores cruzados en tareas de razonamiento matemático y generación de código.

4. Resultados Experimentales

Los autores evaluaron SimCT en tres pares heterogéneos de docente-estudiante (Qwen2.5, Phi-4, Gemma-2) a través de cuatro benchmarks: GSM8K, MATH-500, MBPP y LiveCodeBench-v6.

• Mejoras de Rendimiento: SimCT logró mejoras consistentes sobre los inicios calientes (warm-starts) de SFT y todas las líneas base (SimpleOPD, DSKD, ALM, GOLD). Obtuvo una ganancia relativa promedio del 6.0% sobre SFT y superó a la mejor línea base de tokenizadores cruzados por un margen significativo.
• Análisis de Recuperación de Señal: Los estudios de ablación confirmaron que las ganancias provienen de la recuperación de dos tipos de señales descartadas:
  • Fuera del Vocabulario Compartido (OoSV): Predicciones de alta probabilidad del docente fuera del vocabulario compartido.
  • Unidades No Alineadas: Segmentos de texto que no pueden alinearse 1:1.
    La recuperación de ambas fuentes a través del espacio unificado de MAU produjo el mejor rendimiento.
• Ablación de Granularidad: Fusionar MAUs en unidades más gruesas resultó en una caída del rendimiento, correlacionándose con la predicción teórica de que el agrandamiento elimina la señal KL que representa las preferencias de granularidad fina entre docente y estudiante.
• Eficiencia: SimCT añade solo una sobrecarga computacional marginal en comparación con SimpleOPD (aprox. 0.16 horas por ejecución en 8x GPUs H20) y es significativamente más rápido que los métodos que requieren proyecciones aprendidas o transporte óptimo.

5. Significado y Afirmaciones

El artículo argumenta que el principal cuello de botella en la OPD cruzada entre tokenizadores no es el paradigma de entrenamiento en sí, sino la construcción del espacio de supervisión. Al desplazar el enfoque de "coincidir tokens" a "coincidir continuaciones de texto", SimCT recupera supervisión que anteriormente era inaccesible.

Los autores afirman que SimCT proporciona una solución simple, libre de parámetros y robusta para la destilación entre modelos con diferentes tokenizadores. Los resultados sugieren que preservar las unidades tokenizables conjuntamente más finas es crítico para mantener la calidad de las señales de aprendizaje en política. El trabajo establece que expandir el espacio de supervisión para incluir unidades mínimas alineadas es una estrategia más efectiva que modificar la función de pérdida o añadir maquinaria de alineación compleja.

Limitaciones señaladas por los autores:

• La evaluación se limita actualmente a los dominios de matemáticas y código.
• El método depende de tokenizadores estándar de estilo BPE; puede ser necesaria una adaptación para tokenizadores con comportamientos de segmentación fundamentalmente diferentes.
• La implementación actual asume acceso de caja blanca a las distribuciones del siguiente token del docente; la extensión a entornos de caja negra queda para trabajos futuros.