Resumen Técnico: Destilación de Datos Offline Corregida por Distribución para Modelos de Lenguaje Grandes

Declaración del Problema

El artículo aborda el desafío de transferir capacidades de razonamiento complejas desde modelos de lenguaje grandes y potentes ("docentes") hacia modelos más pequeños y con recursos limitados ("estudiantes"). Si bien la destilación offline (entrenar a un estudiante sobre trazas de razonamiento fijas generadas por un docente) es eficiente en muestras y proporciona supervisión de alta calidad, adolece de una deriva distribucional fundamental.

Durante el entrenamiento, el modelo estudiante se condiciona sobre prefijos generados por el docente. Sin embargo, durante la inferencia, el estudiante debe generar sus propios prefijos de forma autoregresiva. A medida que los tokens generados por el estudiante se desvían de la trayectoria del docente, entra en regiones del espacio de tokens subrepresentadas en los datos de entrenamiento. Esto conduce a errores acumulativos y a un comportamiento poco fiable a lo largo de trayectorias de razonamiento largas, una limitación que los objetivos de destilación refinados existentes (por ejemplo, la minimización bidireccional de la divergencia KL) no resuelven completamente, ya que aún optimizan contra una distribución proporcionada por el docente.

Por el contrario, los métodos on-policy (por ejemplo, GRPO, RLHF) mitigan esta deriva al entrenar con datos auto-generados, pero incurren en altos costos computacionales para el muestreo online y a menudo luchan con trazas de baja calidad en las etapas tempranas del entrenamiento.

Metodología: DISCORD

Los autores proponen DISCORD (Destilación Corregida por Distribución), un marco offline principiado que conserva la eficiencia de los datos generados por el docente mientras corrige el desajuste distribucional. El mecanismo central implica reponderar adaptativamente la supervisión de tokens del docente basándose en el soporte actual del estudiante (su probabilidad de generar ese token).

Componentes Técnicos Clave:

1. Reponderación Consciente del Soporte del Estudiante:
   El método introduce una razón de densidad para reponderar las trayectorias de entrenamiento $\{x, y \sim \pi_T(x; c)\}$:
   $$\frac{\bar{\pi}_\theta(y|x)}{\bar{\pi}_T(y|x;c)}$$
   donde $\pi_\theta$ es el estudiante, $\pi_T$ es el docente, y la barra denota una operación de stop-gradient. Esta razón prioriza los tokens del docente que el estudiante es probable que encuentre durante la inferencia.

2. Transformación Estabilizada:
   La aplicación directa de la razón de densidad causa inestabilidad en el entrenamiento debido a valores ilimitados y alta varianza en secuencias largas. Los autores aplican dos estabilizaciones:

   • Transformación Sigmoidal: La razón de log-densidad se pasa a través de una función sigmoide $\sigma(\tau \cdot \log(\dots))$ para mapear la corrección a un rango acotado $(0, 1)$, preservando el orden de la razón mientras se previene la explosión.
   • Aproximación a Nivel de Token: Para mitigar el sesgo de longitud (donde las secuencias más largas acumulan pesos agregados mayores), la corrección se aplica a nivel de token. Para cada token $y_t$ en una trayectoria, el peso es:
     $$r_t = \sigma\left(\tau \log \frac{\bar{\pi}_\theta(y_t | x; y_{<t})}{\bar{\pi}_T(y_t | x; c; y_{<t})}\right)$$
     Este peso se aplica como un multiplicador de gradiente durante el entrenamiento del objetivo base (por ejemplo, SFT o divergencia KL).

3. Interpretación:
   El peso de corrección $r_t$ (con $\tau=1$) se interpreta como la probabilidad posterior de que un token fue extraído de la distribución del estudiante en lugar de la distribución del docente, asumiendo una priori uniforme. Esto conecta el método con los principios de decodificación contrastiva, pero los aplica durante el entrenamiento para priorizar el aprendizaje en regiones que el estudiante puede habitar de manera fiable.

Contribuciones Clave

• Un Marco Offline Principiado: DISCORD es el primer método que corrige efectivamente la deriva distribucional docente-estudiante utilizando solo datos offline proporcionados por el docente, eliminando la necesidad de despliegues online costosos del estudiante.
• Integración Flexible: El mecanismo de reponderación a nivel de token es compatible con diversos esqueletos de destilación offline, incluido el Ajuste Fino Supervisado (SFT) estándar y objetivos basados en divergencia KL.
• Técnicas de Estabilización: La introducción de la transformación sigmoide y la aproximación a nivel de token aborda los problemas de varianza e inestabilidad inherentes a las correcciones basadas en razones de densidad para secuencias largas.

Resultados Experimentales

El método fue evaluado en benchmarks de razonamiento matemático (GSM8K, MATH, MATH500) y tareas más difíciles de estilo competición retenidas (AMC, AIME, OlympiadBench, Omni-Math) utilizando modelos Qwen2.5 y Llama-3.2.

• Mejoras de Rendimiento: DISCORD supera consistentemente a fuertes líneas base offline (SFT, ToDi, KL Simétrica) en tareas dentro del dominio y fuera del dominio (OOD). Por ejemplo, en la destilación Qwen2.5-7B $\to$ 3B, DISCORD mejoró la precisión en MATH500 en 4.60 puntos sobre el SFT estándar y en 2.60 puntos sobre la KL Simétrica.
• Robustez ante la Deriva de Prefijos: Las evaluaciones utilizando ExAccErr (divergencia distribucional) muestran que, mientras que el rendimiento del SFT estándar se degrada significativamente a medida que aumenta la longitud del prefijo (los prefijos generados por el estudiante se desvían del docente), DISCORD mantiene un rendimiento estable, lo que indica una reducción de los errores acumulativos.
• Eficiencia frente a Métodos Online: DISCORD logra un rendimiento comparable a los métodos de despliegue online del estudiante (como GKD) pero con un costo computacional significativamente menor. En la configuración 7B $\to$ 3B, DISCORD requirió solo 3.12 horas de GPU en comparación con 49.56 horas de GPU para GKD, sin utilizar tokens online del estudiante.
• Calidad del Razonamiento: El análisis cualitativo revela que DISCORD produce trazas más limpias, concisas y lógicamente coherentes. Reduce modos de fallo comunes como la repetición, la continuación después de la respuesta y múltiples respuestas finales distintas. Crucialmente, en casos de "recuperación de fallo", DISCORD preserva la estructura matemática subyacente de la solución del docente incluso cuando no imita el formato superficial del docente.

Significado y Afirmaciones

El artículo afirma que el entrenamiento ligero y consciente de la corrección distribucional puede fortalecer sustancialmente la destilación de razonamiento offline sin requerir interacción online.

• Cerrando la Brecha: El trabajo demuestra que es posible reducir la brecha de rendimiento entre los métodos de destilación offline y online ponderando inteligentemente los datos offline existentes, en lugar de generar nuevos datos.
• Generalizabilidad: Si bien los experimentos se centran en el razonamiento matemático, los autores postulan que el método es aplicable a otros entornos de generación de largo horizonte, incluida la generación de código y el razonamiento científico.
• Despliegue Práctico: Al evitar los altos costos computacionales del muestreo online, DISCORD ofrece una vía viable para desplegar modelos de razonamiento capaces en entornos con recursos limitados.

Los autores permanecen modestos, señalando que, aunque su método mejora sobre las líneas base offline anteriores, los métodos online como GKD aún mantienen una ventaja en algunos benchmarks específicos dentro del dominio debido a su observación directa de la distribución de despliegue del estudiante. Sin embargo, DISCORD ofrece un compromiso superior entre rendimiento y eficiencia computacional.