Resumen Técnico: Replanteando el Papel de la Temperatura en la Destilación de Modelos de Lenguaje de Gran Escala

Planteamiento del Problema

La destilación de conocimiento (KD) es un paradigma estándar para comprimir modelos de lenguaje de gran escala (LLMs) mediante la transferencia de conocimiento de un profesor a un estudiante más pequeño. Un componente crítico de la KD clásica es el parámetro de temperatura ($\tau$), que suaviza la distribución de probabilidad del profesor para revelar el "conocimiento oscuro" (señales informativas más allá de la predicción principal). Sin embargo, en la literatura reciente de destilación de LLMs, la temperatura se omite frecuamente o se fija en $\tau=1$.

Esta convención ha llevado a una conclusión empírica predominante de que la divergencia de Kullback–Leibler Inversa (RKL) es intrínsecamente superior a la KL Directa (FKL) para la destilación de LLMs. Los autores argumentan que esta conclusión es probablemente un artefacto de evaluar estos objetivos bajo distribuciones de profesor insuficientemente suavizadas ($\tau=1$). Con $\tau=1$, los objetivos blandos del profesor son agudos, suprimiendo la masa de probabilidad de los no-objetivos de la cual la FKL depende, lo que potencialmente hace que la FKL parezca inferior no debido a limitaciones inherentes, sino debido al entorno de evaluación. El artículo busca determinar si la FKL ha sido sistemáticamente subestimada y cómo la temperatura altera fundamentalmente la comparación entre FKL y RKL.

Metodología

Los autores emplean una combinación de análisis teórico y evaluación empírica para investigar la interacción entre la temperatura de la KD y los objetivos basados en KL.

Análisis Teórico

El artículo analiza los gradientes de FKL ($L_{FKL} = D_{KL}(p_\tau \| q_\tau)$) y RKL ($L_{RKL} = D_{KL}(q_\tau \| p_\tau)$) con respecto a los logits del estudiante.

• Régimen de Alta Temperatura: Los autores demuestran que, a medida que $\tau \to \infty$, los gradientes de FKL y RKL convergen al mismo comportamiento de emparejamiento de logits ($\nabla L \propto \frac{1}{V\tau^2}(z_s - z_t)$), haciendo que los objetivos sean equivalentes.
• Régimen de Baja Temperatura ($\tau \approx 1$): Los objetivos divergen significativamente.
  • FKL: El gradiente depende directamente de la diferencia entre la distribución suavizada del profesor ($p_\tau$) y la distribución del estudiante ($q_\tau$). Aumentar $\tau$ cambia el objetivo de supervisión mismo, redistribuyendo la masa de probabilidad a los tokens no dominantes y enriqueciendo la señal para la FKL.
  • RKL: El gradiente es impulsado por las brechas de logit profesor-estudiante ponderadas por la distribución del estudiante ($q_\tau$). Aquí, la temperatura actúa principalmente para reescalar el gradiente y suavizar los pesos del lado del estudiante, en lugar de alterar fundamentalmente la distribución del objetivo de la misma manera que la FKL.

Evaluación Empírica

Se realizaron experimentos en benchmarks de seguimiento de instrucciones (Dolly Eval, Self-Instruct, Vicuna Eval, Super-NI, UnNI) utilizando familias de modelos GPT-2 y OPT (por ejemplo, GPT-2 XL $\to$ GPT-2 Base, OPT 6.7B $\to$ OPT 1.3B).

• Configuración: Destilación off-policy donde los estudiantes son entrenados sobre respuestas generadas por un profesor fijo.
• Variables: El estudio compara objetivos estándar (FKL, RKL, Sym-KL, JS, SFKL, SRKL, AKL, AB, DRKL) en $\tau=1$ frente a variantes con temperatura ajustada (búsqueda de cuadrícula sobre $\tau \in \{1.5, \dots, 4.0\}$).
• Métricas: Puntuaciones ROUGE-L promediadas sobre cinco semillas aleatorias.

Contribuciones Clave

1. Efecto Asimétrico de la Temperatura

El artículo establece que la temperatura afecta a la FKL y a la RKL de manera asimétrica.

• FKL: La temperatura enriquece sustancialmente la señal de aprendizaje al exponer la información de los tokens no dominantes del profesor. Cambia qué aprende la FKL.
• RKL: La temperatura principalmente reescala los gradientes y suaviza los pesos sin proporcionar acceso directo a la distribución suavizada del profesor como un objetivo de probabilidad. Cambia cómo aprende la RKL.

2. Reversión de los Rankings de Rendimiento

Los autores demuestran que la superioridad de RKL sobre FKL depende altamente de la temperatura.

• En $\tau=1$, RKL supera consistentemente a FKL, alineándose con la literatura previa.
• En temperaturas más altas (típicamente $\tau \in [2.5, 3.5]$), la FKL supera consistentemente a la RKL en todos los modelos y benchmarks. Por ejemplo, en GPT-2 Base, la FKL mejoró de 19.41 a 20.97 ROUGE-L con $\tau=3.0$, mientras que la RKL se mantuvo casi plana.

3. Mejora General de los Objetivos Basados en KL

La temperatura no es meramente una corrección para la FKL, sino un factor general que mejora una amplia familia de objetivos basados en KL (incluyendo Sym-KL, JS, SFKL y AKL).

• Los métodos simples basados en KL con un ajuste de temperatura apropiado logran un rendimiento competitivo con métodos recientes de estado del arte (SOTA) como AB-KD y DRKL.
• Por ejemplo, en GPT-2 Base, $JS+\tau$ logró un ROUGE-L promedio de 25.63, superando a AB (23.91) y DRKL (25.16).

Resultados

• Ganancias de Rendimiento: El ajuste de temperatura produjo ganancias significativas para los objetivos basados en FKL (por ejemplo, +5.83 para FKL en GPT-2 Base, +6.62 para AKL). Las ganancias para los objetivos basados en RKL fueron modestas (por ejemplo, +0.49 para RKL).
• Mejoras Cualitativas: Los estudios de caso en el benchmark Unnatural Instructions mostraron que los modelos con temperatura ajustada seguían mejor las instrucciones respecto al formato de salida y la extracción de entidades en comparación con sus contrapartes de $\tau=1$, reduciendo las alucinaciones y las omisiones.
• Cambio de Ranking: La introducción de la temperatura alteró el ranking relativo de los objetivos de destilación, sugiriendo que las comparaciones previas realizadas a $\tau=1$ pueden no reflejar el verdadero potencial de los métodos basados en FKL.

Significancia y Reivindicaciones

El artículo afirma que la temperatura de la KD no es un detalle menor de implementación, sino un factor central dependiente del objetivo que debe considerarse para una comparación justa en la destilación de LLMs.

• Reevaluación de la FKL: Los autores argumentan que la FKL ha sido sistemáticamente subestimada en la comunidad de destilación de LLMs debido a la omisión de la temperatura. Cuando se suaviza adecuadamente, la FKL puede superar a la RKL.
• Simplicidad vs. Complejidad: Los hallazgos sugieren que los objetivos simples basados en KL, cuando se combinan con un escalado de temperatura apropiado, pueden competir con marcos de destilación complejos y SOTA, lo que potencialmente simplifica el espacio de diseño para futuras investigaciones.
• Benchmarking Justo: El artículo afirma que las comparaciones futuras de objetivos de destilación deben incluir el ajuste de temperatura para evitar conclusiones sesgadas sobre la superioridad intrínseca de objetivos específicos como RKL.

Los autores reconocen las limitaciones, señalando que los experimentos se restringieron a modelos profesores de hasta 7 mil millones de parámetros y excluyeron el muestreo on-policy o inicializaciones de estudiantes más fuertes, dejando esto como vías para trabajos futuros.