Distillation of Large Language Models via Concrete Score Matching

Este trabajo propone la Destilación de Puntuación Concreta (CSD), un nuevo objetivo de distilación de conocimiento basado en el ajuste de puntuaciones discretas que supera las limitaciones de suavizado y restricciones de los métodos actuales para lograr una alineación más precisa y eficiente entre modelos de lenguaje grandes.

Lo esencial

¡Claro que sí! Imagina que quieres enseñar a un niño (el modelo estudiante) a cocinar como un chef maestro mundial (el modelo profesor). El problema es que el chef es un genio, pero es enorme, lento y cuesta una fortuna contratarlo para que cocine cada día. El niño es rápido y barato, pero necesita aprender todo el arte del chef sin tener su misma experiencia.

Este papel de investigación presenta una nueva y brillante forma de enseñar al niño, llamada Distilación de Puntuación Concreta (CSD).

Aquí tienes la explicación sencilla, usando analogías:

1. El Problema: El "Filtro de Niebla" (Softmax)

Antes, los métodos para enseñar al niño funcionaban así:
El chef maestro escribe una receta en una pizarra con números muy precisos (los logits). Por ejemplo: "Para este plato, el ajo es un 10, la cebolla un 5, y el perejil un 1".

Sin embargo, los métodos antiguos obligaban al chef a pasar esos números por un "filtro de niebla" (llamado softmax) antes de enseñárselos al niño.

• Lo que pasa: El filtro convierte esos números en porcentajes. El ajo (10) se convierte en un 90%, la cebolla (5) en un 9% y el perejil (1) en un 1%.
• El problema: Si el chef cambia el ajo a un 12 y la cebolla a un 7, el filtro de niebla sigue mostrando casi los mismos porcentajes (92% y 8%). El niño no ve la diferencia real en la intensidad de los ingredientes. Además, el niño solo ve lo que es popular (el ajo) y olvida los ingredientes minoritarios (el perejil), que a veces son los secretos del sabor.

2. La Vieja Solución: Copiar la Pizarra (Distilación Directa)

Luego, intentaron que el niño copiara los números originales directamente, sin el filtro de niebla.

• El problema: Imagina que el chef dice: "Ajo: 10, Cebolla: 5". El niño intenta copiarlo: "Ajo: 10, Cebolla: 5".
• Pero, ¿qué pasa si el niño dice: "Ajo: 1000, Cebolla: 995"?
  • La diferencia entre ellos es la misma (5), y el sabor del plato sería idéntico.
  • Sin embargo, el método antiguo se enojaba: "¡No! Tienes que copiar el 10 exacto, no el 1000".
  • Esto limitaba al niño. Si el niño no podía alcanzar el número exacto del chef (porque es más pequeño), fallaba, aunque su plato fuera delicioso.

3. La Nueva Solución: CSD (La "Brújula de Diferencias")

Los autores proponen CSD. En lugar de pedirle al niño que copie los números exactos ni que mire el filtro de niebla, le enseñan a mirar las diferencias relativas.

• La analogía: Imagina que el chef no le dice al niño los números absolutos, sino que le dice: "El ajo es 5 puntos más fuerte que la cebolla, y 9 puntos más fuerte que el perejil".
• La magia:
  • Si el niño dice: "Ajo: 1000, Cebolla: 995", la diferencia es 5. ¡Perfecto! El niño ha entendido la relación.
  • Si el niño dice: "Ajo: 10, Cebolla: 5", la diferencia es 5. ¡También perfecto!
  • CSD permite al niño encontrar su propio camino para lograr esas diferencias, sin importar si sus números son gigantes o pequeños.

Además, CSD hace algo increíble: le presta atención a los ingredientes minoritarios (como el perejil). Los métodos anteriores ignoraban el 1% de probabilidad, pero CSD le dice al niño: "Oye, ese 1% es importante, asegúrate de que la diferencia entre el perejil y el ajo sea correcta". Esto hace que el niño sea más creativo y menos repetitivo.

4. ¿Por qué es mejor?

• Más flexible: El niño no se rompe la cabeza intentando copiar un número exacto imposible. Puede usar su propia "escala" mientras mantenga las proporciones correctas.
• Más sabroso (Diversidad): Al prestar atención a los ingredientes raros, el niño no se vuelve un robot que siempre hace el mismo plato. Puede crear variaciones interesantes.
• Más rápido y estable: Los autores encontraron una forma matemática de calcular esto sin tener que revisar cada ingrediente de la despensa (el vocabulario) contra todos los demás uno por uno, lo que haría el proceso eterno. Lo hacen de forma inteligente y rápida.

En resumen

Imagina que antes enseñábamos al niño a copiar una foto (donde los colores se difuminan) o a copiar un número exacto (donde si te equivocas en un dígito, fallas todo).

Con CSD, enseñamos al niño a entender la lógica de las relaciones: "Si el ajo es fuerte, la cebolla debe ser un poco más débil, y el perejil mucho más débil".

Gracias a esto, el niño (el modelo pequeño) puede cocinar platos tan deliciosos como el chef maestro, pero mucho más rápido y barato, y además, ¡puede inventar sus propias variaciones sin perder el sabor!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Distillation of Large Language Models via Concrete Score Matching" (Destilación de Modelos de Lenguaje Grandes mediante Emparejamiento de Puntuaciones Concretas), presentado en ICLR 2026.

1. El Problema

La destilación de conocimiento (KD) es esencial para desplegar Modelos de Lenguaje Grandes (LLMs) de manera eficiente, permitiendo que modelos pequeños (estudiantes) aprendan de modelos grandes (docentes). Sin embargo, los métodos actuales presentan dos limitaciones fundamentales:

• Suavizado por Softmax: Los objetivos de destilación tradicionales (como la divergencia KL) operan sobre las distribuciones de probabilidad obtenidas tras aplicar la función softmax. Esto "suaviza" la información rica contenida en los logits (salidas crudas de la red neuronal). En vocabularios grandes, la mayoría de los tokens tienen probabilidades cercanas a cero, lo que hace que el estudiante no pueda capturar matices importantes del conocimiento del docente.
• Restricción del Espacio de Soluciones: Los métodos de destilación directa de logits (DLD), que intentan evitar el suavizado, tienen una desventaja crítica: no son invariantes a desplazamientos constantes en los logits. Matemáticamente, DLD exige que los logits del estudiante sean idénticos a los del docente ($f_\theta = f_T$). Sin embargo, para la inferencia, solo es necesario que los logits difieran por una constante aditiva ($f_\theta = f_T + C$), ya que el softmax elimina esa constante. Esta restricción innecesaria reduce el espacio de soluciones óptimas, dificultando la convergencia, especialmente cuando hay una gran brecha de capacidad entre docente y estudiante.

2. Metodología: Concrete Score Distillation (CSD)

Los autores proponen CSD, un nuevo objetivo de destilación basado en el Emparejamiento de Puntuaciones Concretas (Concrete Score Matching), adaptado para modelos autoregresivos.

• Fundamento Teórico: En lugar de minimizar la diferencia entre probabilidades o logits directos, CSD minimiza la diferencia entre las "puntuaciones concretas" (concrete scores). Una puntuación concreta se define como el logaritmo de la razón de probabilidades entre pares de tokens: $\log \frac{q(x)}{q(y)}$.
• Formulación del Objetivo:
  La función de pérdida $L_{CSD}$ se define como:
  $$L_{CSD} = \frac{1}{2} \sum_{y_t \in V} \sum_{x \in V} w(y_t, x) \left( \log \frac{q_\theta(x)}{q_\theta(y_t)} - \log \frac{p_T(x)}{p_T(y_t)} \right)^2$$
  Al expandir los logaritmos, esto se convierte en una pérdida de error cuadrático medio (MSE) sobre las diferencias relativas de los logits:
  $$L_{CSD} \propto \sum_{y_t, x} w(y_t, x) (f_\theta[x] - f_\theta[y_t] - f_T[x] + f_T[y_t])^2$$
• Invarianza al Desplazamiento: Al trabajar con diferencias de logits ($f[x] - f[y]$), el objetivo es naturalmente invariante a constantes aditivas. Si $f_\theta = f_T + C$, la pérdida es cero. Esto expande el conjunto de soluciones óptimas en comparación con DLD.
• Eficiencia Computacional: Calcular la pérdida original requeriría una complejidad cuadrática $O(|V|^2)$ debido a la doble suma sobre el vocabulario. Los autores demuestran teóricamente que el gradiente puede calcularse en tiempo lineal $O(|V|)$ mediante la factorización de funciones de ponderación independientes $w(y_t, x) = w_1(y_t)w_2(x)$. Esto permite la implementación práctica en LLMs con vocabularios grandes.
• Flexibilidad de Ponderación: El método introduce dos funciones de ponderación ($w_1$ y $w_2$) que permiten controlar el equilibrio entre fidelidad (imitar al docente) y diversidad (explorar el espacio de salida).
  • Mode-seeking: Enfocarse en tokens de alta probabilidad (ej. usando probabilidades del estudiante).
  • Mode-covering: Aprender uniformemente sobre todo el vocabulario (ej. usando ponderación uniforme o del docente).

3. Contribuciones Clave

1. Nuevo Marco de Destilación: Introducen CSD, que supera simultáneamente el suavizado del softmax y la restricción del espacio de soluciones de los métodos de logits directos.
2. Garantías Teóricas: Proban que el conjunto de soluciones óptimas de CSD es un superconjunto estricto del de DLD, permitiendo una aproximación más fiel del conocimiento del docente bajo limitaciones de capacidad del modelo.
3. Eficiencia Práctica: Desarrollan un algoritmo de cálculo de gradientes analíticos que reduce la complejidad de $O(|V|^2)$ a $O(|V|)$, haciendo viable el entrenamiento en hardware estándar.
4. Control del Compromiso Fidelidad-Diversidad: Demuestran que ajustando las funciones de ponderación $w_1$ y $w_2$, se puede navegar el espectro entre generar respuestas muy fieles al docente o más diversas, superando a los métodos basados en divergencias fijas.

4. Resultados Experimentales

Los autores evaluaron CSD utilizando diversos docentes (GPT-2, OpenLLaMA, Gemma, Qwen2.5, Gemma2) y estudiantes en múltiples escenarios:

• Seguimiento de Instrucciones (Task-Agnostic): En la destilación de GPT-2-1.5B a GPT-2-0.1B, CSD superó consistentemente a 9 objetivos de pérdida existentes (incluyendo KL, RKL, SKL, SRKL, TV, etc.), logrando el puntaje promedio más alto en ROUGE-L.
• Tareas Específicas: En resumen, traducción y razonamiento matemático (GSM8K), CSD logró los mejores resultados. Es notable que en tareas de razonamiento matemático, otros métodos (como RKL o TV) colapsaron a cero precisión debido a su tendencia a buscar modos subóptimos, mientras que CSD mantuvo estabilidad.
• Capacidad de Chat General: En la destilación de modelos instructivos modernos (Qwen2.5 y Gemma2), CSD superó a métodos de vanguardia como DistiLLM-2 y DLD en benchmarks como MT-Bench y AlpacaEval.
• Integración con Técnicas On-Policy: CSD demostró ser ortogonal y complementario a técnicas de aprendizaje por refuerzo (como ImitKD y GKD), mejorando aún más el rendimiento cuando se combinan.
• Estabilidad y Calibración: Los experimentos mostraron que CSD ofrece una mejor calibración de probabilidades y evita el colapso de modos en entornos con datos limitados.

5. Significado e Impacto

Este trabajo representa un avance significativo en la teoría y práctica de la destilación de LLMs.

• Superación de Limitaciones Fundamentales: Resuelve el dilema histórico entre la pérdida de información por softmax y la rigidez de los logits directos.
• Escalabilidad: Al ofrecer una solución computacionalmente eficiente ($O(|V|)$), hace que la destilación de alta fidelidad sea viable para modelos con vocabularios masivos, algo que los métodos de emparejamiento de puntuaciones anteriores no lograban.
• Versatilidad: Proporciona a los investigadores y practicantes un "espacio de diseño" flexible para ajustar el comportamiento del modelo destilado según las necesidades del caso de uso (priorizar precisión o creatividad), sin necesidad de cambiar la arquitectura del modelo.

En resumen, CSD establece un nuevo estado del arte en la destilación de LLMs, ofreciendo una metodología teóricamente sólida, computacionalmente eficiente y empíricamente superior para transferir capacidades de modelos grandes a modelos pequeños.