Resumen Técnico: Destilación de Secuencias Alineada con la Distribución para un Razonamiento Superior de CoT Largo

1. Planteamiento del Problema

El artículo aborda las limitaciones del paradigma predominante actual para mejorar las capacidades de razonamiento en modelos de lenguaje pequeños: la Destilación de Nivel de Secuencia mediante Ajuste Fino Supervisado (SFT) a partir de respuestas generadas por el modelo profesor. Si bien trabajos recientes (por ejemplo, la destilación de DeepSeek-R1) han demostrado que el SFT sobre salidas de alta calidad de modelos profesores puede producir un fuerte rendimiento de razonamiento, los autores argumentan que este enfoque está fundamentalmente basado en una perspectiva de SFT en lugar de los principios centrales de la destilación de conocimiento.

Los autores identifican tres limitaciones críticas en las prácticas existentes:

1. Representación Inadecuada de la Distribución del Profesor: Los métodos actuales suelen depender del muestreo aleatorio con filtrado heurístico, lo que no logra cubrir adecuadamente todo el soporte de la distribución de salida de secuencia del profesor. Esto conduce a una cobertura de modo deficiente o a la inclusión de secuencias ruidosas y de baja probabilidad que son difíciles de aprender para los modelos estudiantes más pequeños.
2. Desalineación de la Capacidad de Aprendizaje: El SFT estándar aumenta la probabilidad de los tokens de verdad fundamental (ground-truth), pero puede generar gradientes engañosos. Específicamente, si un estudiante asigna una alta probabilidad a un token que el profesor asigna una baja probabilidad, el SFT empuja al estudiante más lejos de la distribución del profesor. Los métodos existentes carecen de un mecanismo para identificar distribuciones objetivo que se alineen mejor con la capacidad de aprendizaje del estudiante.
3. Sesgo de Exposición (Exposure Bias): Los modelos entrenados con forzado del profesor (expuestos a prefijos del profesor) sufren desplazamientos distribucionales durante la inferencia autorregresiva, donde deben confiar en sus propias predicciones. Este desajuste conduce a la acumulación de errores y desviaciones compuestas, particularmente en tareas de razonamiento de Cadena de Pensamiento (CoT) largo.

2. Metodología

Los autores proponen DASD (Destilación de Secuencia Alineada con la Distribución), un flujo de trabajo de entrenamiento diseñado para imponer explícitamente la interacción profesor-estudiante y abordar las tres limitaciones anteriores. El flujo de trabajo consta de tres innovaciones principales:

A. Aprendizaje Programado por Temperatura

Para abordar el compromiso entre la estabilidad del aprendizaje y la cobertura de la distribución, los autores proponen un esquema de entrenamiento de dos etapas:

• Etapa 1 (Temperatura Baja): El estudiante es entrenado primero en muestras de alta confianza y baja temperatura (por ejemplo, $T=0.6$). Estas muestras exhiben patrones consistentes y permiten una convergencia rápida y estable.
• Etapa 2 (Temperatura Alta): El entrenamiento continúa con muestras de alta temperatura (por ejemplo, $T=1.0$). Aunque estas muestras son más difíciles de aprender debido a su mayor diversidad y ruido, cubren un rango más amplio de los modos de salida del profesor.
• Racional: Este currículo de "fácil a difícil" (o reversión de enfriamiento de temperatura) permite que el estudiante primero comprenda los patrones consistentes antes de intentar aprender la información latente más rica y diversa presente en la distribución completa del profesor.

B. Muestreo Consciente de la Divergencia (DAS)

Para identificar una distribución de nivel de secuencia objetivo que apoye un aprendizaje efectivo, los autores introducen un marco de descomposición de distribución. Analizan las discrepancias de probabilidad entre el profesor ($p_T$), el estudiante pre-destilación ($p_S$) y el estudiante post-destilación ($p_D$) a través de segmentos de nivel de oración de las respuestas.

• Clasificación: Las respuestas se categorizan en cuatro tipos: Oraciones del Profesor ($p_T \gg p_S$), Oraciones del Estudiante ($p_S \gg p_T$), Oraciones Compartidas (probabilidades similares) y Oraciones Potenciadas (similares $p_T, p_S$ pero con mayor $p_D$).
• Estrategia de Selección: El análisis empírico revela que las Oraciones del Profesor (donde el profesor asigna alta confianza y el estudiante asigna baja probabilidad) se correlacionan más fuertemente con la mejora del rendimiento en el conjunto de prueba. Estos casos proporcionan gradientes claros y no engañosos.
• Implementación: La estrategia de muestreo prioriza ejemplos ricos en Oraciones del Profesor. A diferencia de la destilación de logits, este método solo requiere probabilidades a nivel de token tanto del profesor como del estudiante, lo que lo hace compatible con modelos que tienen diferentes tokenizadores y arquitecturas.

C. Destilación de Política Mixta

Para mitigar el sesgo de exposición, los autores introducen una etapa ligera de política mixta tras el SFT inicial fuera de la política (off-policy):

• Proceso: El modelo estudiante entrenado genera respuestas a un subconjunto de preguntas de entrenamiento. Para las respuestas que divergen significativamente de las del profesor (por ejemplo, truncadas o incorrectas), la generación del estudiante se trunca en un punto aleatorio y el modelo profesor es instigado para completar la secuencia.
• Entrenamiento: Solo se conservan las continuaciones del profesor que pasan los filtros de calidad para el ajuste fino. Esto crea un conjunto de datos híbrido que contiene tanto prefijos forzados por el profesor como prefijos generados por el estudiante, permitiendo que el modelo aprenda a corregir sus propios errores y reduciendo el desplazamiento distributivo entre el entrenamiento y la inferencia.

3. Contribuciones Clave

• Modelo DASD-4B-Thinking: Un modelo de razonamiento de 4 mil millones de parámetros totalmente de código abierto que logra un rendimiento de estado del arte (SOTA) entre los modelos de código abierto de escala comparable.
• Innovaciones Metodológicas: La propuesta de un flujo de trabajo de tres componentes (Aprendizaje Programado por Temperatura, Muestreo Consciente de la Divergencia y Destilación de Política Mixta) que redefine la destilación de nivel de secuencia al centrarse en la alineación de la distribución en lugar de un simple SFT.
• Eficiencia de Datos: El modelo logra su rendimiento utilizando solo 448K muestras de entrenamiento, un orden de magnitud menos que la mayoría de los esfuerzos de código abierto existentes (que suelen utilizar millones de muestras).
• Validación de Arquitectura Cruzada: Se demuestra que el flujo de trabajo es efectivo a través de diversas familias de modelos (por ejemplo, destilando desde gpt-oss-120b hacia Qwen3-4B) y escalas (validado en una variante de 30B MoE, DASD-30B-A3B-Thinking-Preview).

4. Resultados Experimentales

El modelo fue evaluado en cinco bancos de pruebas desafiantes: AIME24, AIME25, LiveCodeBench (v5/v6) y GPQA-Diamond.

• Razonamiento Matemático: DASD-4B-Thinking logró 88.5 en AIME24 y 83.3 en AIME25. Estas puntuaciones superan a modelos significativamente más grandes, incluyendo el de escala 32B Qwen3-32B (81.4/72.9) y GLM-Z1-32B (80.8/63.6), así como el 8B DeepSeek-R1-0528-Qwen3-8B (86.0/76.3).
• Generación de Código: En LiveCodeBench v5, el modelo obtuvo 69.3, superando a Qwen3-32B (65.7) y NVIDIA-OpenReasoning-Nemotron-7B (63.9).
• Razonamiento Científico: En GPQA-Diamond, alcanzó 68.4, igualando el rendimiento de la 32B Qwen3-32B y acercándose a la 253B NVIDIA-Nemotron-Ultra-253B (76.0).
• Estudios de Ablación: Los resultados confirman que cada componente contribuye incrementalmente. El entrenamiento de baja temperatura establece una base sólida, el entrenamiento de alta temperatura expande la capacidad, y la destilación de política mixta proporciona la robustez final contra el sesgo de exposición.

5. Significado y Reivindicaciones

El artículo afirma que DASD-4B-Thinking demuestra que las capacidades de razonamiento complejo pueden transferirse eficientemente de modelos profesores grandes a estudiantes ligeros a través de un flujo de trabajo de destilación refinado. Los autores enfatizan que su enfoque:

• Redefine la Destilación: Va más allá de la "perspectiva de SFT" para abordar explícamente el principio central de la destilación: aprender la distribución de salida completa del profesor.
• Desafía las Leyes de Escala (Scaling Laws): Logra un rendimiento comparable o superior al de modelos de 8 a 60 veces más grandes, lo que sugiere que la calidad de los datos y la estrategia de destilación son más críticas que el simple recuento de parámetros para las tareas de razonamiento.
• Promueve la Reproducibilidad: Al abrir al código el modelo, el conjunto de datos de entrenamiento y la metodología, los autores buscan fomentar la investigación comunitaria sobre modelos de razonamiento eficientes y transparentes.

Los autores concluyen que su trabajo proporciona una nueva perspectiva para desarrollar modelos de razonamiento compactos y de alto rendimiento, aunque reconocen que se necesita trabajo futuro para refinar aún más el reponderado consciente de la distribución e integrar capacidades agénticas.