💬 NLP

Masked Distillation: Internalizing the Chain-of-Thought in Language Models

Este artículo introduce la "destilación enmascarada", un marco que internaliza las capacidades de razonamiento de los Modelos de Razonamiento Grandes en los parámetros de un modelo estudiante al entrenarlo para predecir únicamente los tokens de la solución mientras recibe retroalimentación condicionada a la Cadena de Pensamiento del profesor, permitiendo así la generación directa de respuestas y reduciendo la latencia de inferencia sin sacrificar la precisión.

Autores originales: Durgesh Kalwar, Vardhan Palod, Subbarao Kambhampati

Publicado 2026-07-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Durgesh Kalwar, Vardhan Palod, Subbarao Kambhampati

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde tu asistente de IA favorito es como un estudiante brillante pero hablador. Cuando le haces una pregunta difícil, no se limita a soltar la respuesta; escribe páginas de notas, dibuja diagramas y explica detalladamente cada uno de los pasos de su pensamiento antes de finalmente escribir la solución. Este proceso de "pensar en voz alta", conocido en el mundo tecnológico como "Cadena de Pensamiento" (Chain of Thought), ha hecho que los modelos de IA sean increíblemente inteligentes en acertijos matemáticos y lógicos. Sin embargo, hay un inconveniente: esas páginas de notas consumen mucho tiempo y energía para generarse. Es como pagarle a un taxista para que te lleve a la tienda, pero también pagarle para que dé vueltas por toda la manzana primero solo para "pensar" en qué pasillo necesitas. Los científicos se han preguntado durante mucho tiempo: ¿Podemos enseñar a la IA a hacer todo ese pensamiento dentro de su cabeza? Si pudiéramos, la IA se saltaría las largas y habladoras notas y simplemente te daría la respuesta al instante, ahorrando una cantidad masiva de tiempo y potencia de cómputo.

Este artículo, titulado "Masked Distillation" (Destilación Enmascarada), profundiza precisamente en esa pregunta. Los investigadores, trabajando con Modelos de Razonamiento Grande (LRM), se preguntaron si podían tomar un modelo "maestro" inteligente que ama pensar en voz alta y entrenar a un modelo "estudiante" más pequeño para que internalice ese proceso de pensamiento. Querían ver si el estudiante podía aprender a saltarse las notas por completo y simplemente entregar la respuesta final, siendo aun así igual de inteligente. Probaron esto utilizando una técnica ingeniosa llamada "Masked Distillation". Imagina que el maestro está resolviendo un rompecabezas mientras el estudiante observa. El maestro ve la pregunta completa y su propio proceso de pensamiento detallado, pero al estudiante solo se le muestra la pregunta. El objetivo era ver si el estudiante podía aprender la lógica secreta del maestro y luego resolver el rompecabezas por su cuenta sin necesidad de escribir los pasos, a pesar de que el maestro tenía todas las notas para guiar el aprendizaje.

El equipo estableció dos experimentos principales. En el primero, utilizaron el mismo modelo de IA tanto para el maestro como para el estudiante, simplemente pidiéndole que pensara de forma diferente. En el segundo, utilizaron un modelo más grande y capaz como maestro y uno más pequeño y sencillo como estudiante. También introdujeron un concepto de "andamio" (scaffold). Piensa en esto como las rueditas de entrenamiento de una bicicleta. A veces, el estudiante podría necesitar ver un poco de las notas del maestro (el "andamio") para obtener la respuesta correcta, en lugar de intentar hacerlo todo desde cero. Probaron cuánto del pensamiento del maestro necesitaba ver el estudiante para obtener los mejores resultados.

Los resultados fueron una mezcla de "guau" y "no tan rápido". En un conjunto de datos de problemas matemáticos de escuela primaria llamado GSM8K, los modelos estudiantes fueron increíbles. Lograron aprender a internalizar el pensamiento del maestro. El estudiante totalmente "enmascarado" (uno que nunca escribía sus notas) acertó el 76.0% de las respuestas, lo cual fue un gran salto desde su capacidad inicial, y lo hizo usando solo 3án 369.6 tokens (unidades de texto) en promedio, comparado con los 2,398.1 tokens del maestro. ¡Eso es una reducción de esfuerzo de 6.5 veces!

Sin embargo, en un acertijo numérico más difícil llamado Countdown, la historia cambió. Aquí, el estudiante que intentaba hacer todo en su cabeza (totalmente enmascarado) en realidad empeoró, cayendo al 41.7% de precisión. Resultó que para este tipo específico de acertijo, el estudiante necesitaba ver algunas de las notas del maestro para tener éxito. Pero aquí está la parte genial: los investigadores encontraron un punto ideal. Al dejar que el estudiante viera solo una pequeña parte del pensamiento del maestro (un 30% de las notas, o un "alfa" de 0.3), la precisión del estudiante se disparó al 86.2%. Esto fue casi tan bueno como el maestro (87.3%), pero aun así utilizó aproximadamente 1.3 veces menos tokens que el maestro. Fue como darle al estudiante las rueditas de entrenamiento suficientes para equilibrarse perfectamente sin necesidad de toda la bicicleta.

El artículo también analizó qué tan bien manejaban estos estudiantes nuevos acertijos no vistos (tareas fuera de distribución). En la parte matemática, los estudiantes lo hicieron bien, pero en los acertijos de Countdown, los resultados fueron un poco más mixtos. Curiosamente, en algunos casos, los estudiantes entrenados con un poco de andamiaje generalizaron mejor que el propio maestro cuando los acertijos se volvieron más difíciles o cambiaron ligeramente.

Un hallazgo clave fue que el método de enseñanza importaba. Cuando intentaron enseñar al estudiante simplemente mostrándole las notas del maestro y pidiéndole que las copiara (un método llamado Ajuste Fino Supervisado o Supervised Fine-Tuning), no funcionó tan bien. El método de "Masked Distillation", que utiliza una forma más compleja de comparar las suposiciones del estudiante con los pensamientos reales del maestro, fue mucho más efectivo para transferir las habilidades de "pensamiento".

Al final, el artículo sugiere que no podemos simplemente borrar mágicamente todos los pasos de pensamiento para cada problema. Si una IA puede "pensar silenciosamente" depende en gran medida del tipo de problema y de cuánto sepa el modelo estudiante sobre ese tema. Para tareas familiares como las matemáticas básicas, la IA puede aprender a pensar silenciosamente y ahorrar mucho tiempo. Para acertijos más difíciles y desconocidos, es posible que todavía necesite un poco de ayuda: un pequeño andamio de notas para hacer el trabajo correctamente. Los investigadores concluyen que este "andamio" es una herramienta poderosa que podemos ajustar, permitiéndonos encontrar el equilibrio perfecto entre qué tan inteligente es la IA y qué tan rápido puede darnos una respuesta.

Resumen Técnico: Destilación Enmascarada – Internalizando la Cadena de Pensamiento en Modelos de Lenguaje

Planteamiento del Problema

Los Grandes Modelos de Razonamiento (LRM, por sus siglas en inglés) logran un alto rendimiento en tareas complejas (matemáticas, código, planificación) mediante la generación de cadenas largas y explícitas de tokens intermedios (Cadena de Pensamiento o CoT) antes de producir una respuesta final. Si bien estos rastros mejoran la precisión, incurren en costos significativos de latencia de inferencia, uso de memoria (huella del KV-cache) y energía de servicio, los cuales escalan linealmente con la longitud del rastro.

Hallazgos recientes sugieren que la corrección de estos rastros intermedios no está vinculada causalmente con la corrección de la respuesta final, ni la longitud del rastro se correlaciona de manera fiable con la complejidad del problema. Esto plantea una pregunta crítica: ¿Puede el cómputo expresado en estos tokens intermedios ser internalizado en los parámetros de un modelo de lenguaje, permitiéndole producir respuestas correctas directamente (o con rastros significativamente más cortos) sin generar explícitamente los pasos de razonamiento durante la inferencia?

Metodología: Destilación Enmascarada

Los autores proponen la Destilación Enmascarada, un marco de destilación de conocimiento diseñado para internalizar el proceso de razonamiento de un modelo profesor "pensante" en un modelo estudiante "no pensante".

Marco Central

En este marco, el modelo estudiante es entrenado para predecir únicamente los tokens de la solución condicionados a la pregunta de entrada. El modelo profesor, sin embargo, proporciona retroalimentación basada tanto en la pregunta como en su propio rastro generado de CoT. El objetivo es minimizar la divergencia entre la distribución del estudiante (condicionada solo a la entrada) y la distribución del profesor (condicionada a la entrada y al razonamiento intermedio).

El objetivo de entrenamiento utiliza la divergencia de KL inversa on-policy:
$L_{MD} = D_{KL}(\pi_S(\cdot | x, y_{<t}) \parallel \pi_T(\cdot | x, \text{ITs}, y_{<t}))$
Donde $\pi_S$ es la política del estudiante, $\pi_T$ es la política del profesor, $x$ es la entrada, $y_{<t}$ son los tokens generados previamente y $\text{ITs}$ son los tokens intermedios del profesor.

Configuraciones Experimentales

Los autores instancian este marco en dos configuraciones:

Autodestilación: El mismo modelo actúa como profesor (en modo de pensamiento) y como estudiante (en modo no pensante).
Configuración de Modelo Dual: Un modelo de razonamiento más grande sirve como profesor, supervisando a un estudiante no pensante separado y más pequeño.

El Andamiaje de Sufijo- $\alpha$

Para explorar el equilibrio entre la internalización total y el costo de inferencia, los autores introducen una variante de destilación enmascarada de sufijo- $\alpha$ .

$\alpha = 0$ (Totalmente Enmascarado): El estudiante internaliza todo el rastro intermedio y emite solo la solución.
$\alpha = 1$ (No Enmascarado): El estudiante reproduce el rastro completo antes de la respuesta (equivalente a la generación estándar de CoT).
$0 < \alpha < 1$ : El estudiante internaliza el prefijo $(1-\alpha)$ del rastro del profesor y es entrenado para emitir la fracción de sufijo $\alpha$ restante del rastro durante la inferencia, junto con la solución.

Esto permite a los autores tratar los tokens intermedios como un "andamio" que puede ser parcialmente retenido o totalmente internalizado.

Contribuciones Clave

Marco Propuesto: Introdujo la Destilación Enmascarada para internalizar el razonamiento de CoT en los parámetros del modelo, permitiendo la generación directa de respuestas.
Análisis de Andamiaje: Definió y evaluó el parámetro de sufijo- $\alpha$ , estableciendo un eje controlado para ajustar el equilibrio entre precisión y costo de inferencia.
Evaluación Exhaustiva: Realizó experimentos extensos en dos dominios:
- Matemáticas: GSM8K (In-Distribution), MATH-500 y AIME-25 (Out-of-Distribution).
- Countdown: Una tarea de búsqueda de acertijos numéricos con variaciones en el rango de la meta y la profundidad de búsqueda (divisiones OOD).
Estudios de Ablación: Comparó la Destilación Enmascarada (usando KL inversa) contra el Ajuste Fino Supervisado (SFT) sobre los rastros del profesor y el uso de "tokens de enseñanza" explícitos como andamios.

Resultados

1. Dependencia de la Tarea de la Internalización Total

La capacidad de internalizar completamente el razonamiento ( $\alpha=0$ ) depende altamente de la tarea y de la exposición previa del estudiante al dominio durante el preentrenamiento:

GSM8K (Matemáticas): La internalización total tiene éxito. En la configuración de autodestilación, el estudiante logró un 76.0% de precisión (frente al 87.9% del profesor) mientras reducía los tokens de inferencia en 6.5×. En la configuración de modelo dual, la precisión mejoró del 15.69% (base) al 45.26% con una reducción de tokens de 5×.
Countdown: La internalización total falla sin andamiaje. En autodestilacion, el estudiante totalmente enmascarado cayó a un 41.7% de precisión (por debajo del 56.2% del modelo base). En la configuración de modelo dual, mejoró del 0% al 34.1%, pero permaneció muy por debajo del profesor (87.3%) y de la variante no enmascarada (81.1%).

2. Eficacia del Andamiaje de Sufijo- $\alpha$

Proveer una pequeña cantidad de andamiaje (emitiendo una fracción del rastro) recupera significativamente el rendimiento, particularmente en tareas donde la internalización total falla:

Countdown (Autodestilación): Configurar $\alpha = 0.3$ elevó la precisión del 41.7% al 86.2%, igualando esencialmente al profesor (87.3%) mientras reducía los tokens de inferencia en ~1.3× comparado con la variante no enmascarada.
Countdown (Modelo Dual): La variante $\alpha = 0.5$ alcanzó un 84.2% de precisión, superando a la línea base no enmascarada (81.1%) mientras utilizaba menos tokens, estableciendo un punto Pareto-óptimo.
GSM8K: Pequeños andamios ( $\alpha=0.3$ ) recuperaron la mayor parte de la brecha de precisión (83.2% vs. 87.9%) con aproximadamente la mitad del costo de tokens de la variante no enmascarada.

3. Generalización a Fuera de la Distribución (OOD)

Desplazamiento de Rango de Objetivo: Los modelos entrenados con diversos paradigmas de andamiaje se transfirieron limpiamente a tareas OOD donde el rango de números objetivo cambió.
Desplazamiento de Profundidad de Búsqueda: En la autodestilación de Countdown, los estudiantes entrenados con andamiaje (específicamente $\alpha=0.5$ ) generalizaron mejor que la variante no enmascarada bajo un aumento en la profundidad de búsqueda (32.8% vs. 25.7%).
Limitaciones del Modelo Dual: En la configuración de modelo dual en benchmarks matemáticos más difíciles (MATH-500, AIME-25), la brecha de capacidad entre el profesor y el estudiante era demasiado grande; ni la internalización total ni el andamiaje recuperaron el rendimiento OOD, con todas las variantes colapsando al nivel base del estudiante.

4. Objetivos de Entrenamiento

KL Inversa vs. SFT: El artículo encuentra que el Ajuste Fino Supervisado (SFT) sobre los rastros del profesor no logra explotar el andamiaje de manera efectiva. En Countdown, el SFT con andamios produjo ~38% de precisión, mientras que la Destilación Enmascarada con KL inversa con los mismos andamios alcanzó ~67%.
Tokens de Enseñanza: Proveer "tokens de enseñanza" explícitos como andamios mejoró el rendimiento sobre el enmascaramiento total, pero fue menos efectivo que el enfoque de sufijo- $\alpha$ .

Significado y Reivindicaciones

El artículo afirma que el andamiaje de sufijo proporciona un mecanismo controlable para equilibrar la precisión y la eficiencia de la inferencia. El punto de operación óptimo está determinado por la tarea específica y la brecha de capacidad entre el profesor y el estudiante.

La internalización es posible pero no universal: Los modelos pueden internalizar el razonamiento para tareas con las que están familiarizados (como GSM8K), pero tienen dificultades con tareas de búsqueda novedosas (como Countdown) sin retener algún rastro explícito.
Equilibrio Costo-Rendimiento: Un pequeño rastro explícito (ej. $\alpha=0.3$ ) puede recuperar casi todo el rendimiento de la generación completa de CoT, ofreciando una reducción sustancial en el costo de inferencia (reducción de tokens de 1.3× a 2×).
Generalización: El andamiaje puede mejorar la generalización en escenarios OOD específicos (ej. desplazamientos de profundidad de búsqueda en autodestilación), lo que sugiere que retener un rastro parcial ayuda al modelo a navegar espacios de búsqueda complejos mejor que un modelo totalmente internalizado o un rastro completo en ciertos contextos.

Los autores concluyen que, si bien la internalización total es un objetivo atractivo para la eficiencia, el enfoque de sufijo- $\alpha$ ofrece una alternativa práctica y ajustable que mantiene un alto rendimiento con menor latencia.