Where Did This Sentence Come From? Tracing Provenance in LLM Reasoning Distillation

Resumen Técnico: Rastreando la Proveniencia en la Distilación de Razonamiento de LLM

1. Planteamiento del Problema

La distilación de razonamiento es un enfoque rentable para mejorar el rendimiento de modelos estudiantes (más pequeños) utilizando las rutas de razonamiento generadas por un modelo maestro (grande). Sin embargo, existe una brecha crítica en el conocimiento actual:

• Falta de Análisis de Origen: No está claro si el modelo estudiante mantiene comportamientos consistentes con el maestro en contextos de prueba novedosos o si simplemente regresa a sus patrones de salida originales.
• Caja Negra: Los métodos anteriores se centran en métricas de rendimiento final sin ofrecer una explicación analítica sobre el origen de las capacidades del modelo distilado.
• Selección de Datos Heurística: Las estrategias actuales de selección de datos para la distilación suelen basarse en heurísticas (como la alineación con la distribución original del estudiante), ignorando la divergencia explícita entre maestro y estudiante que podría indicar una transferencia de conocimiento real.

El artículo se pregunta: ¿El modelo distilado realmente hereda la lógica de razonamiento del maestro o solo refuerza patrones preexistentes?

2. Metodología: Rastreo de Proveniencia de Distilación de Razonamiento (RDPT)

Para abordar esto, los autores proponen un marco llamado Reasoning Distillation Provenance Tracing (RDPT). En lugar de comparar simplemente las salidas, el método analiza las probabilidades predictivas asignadas por tres modelos bajo el mismo contexto:

1. El Modelo Maestro ($M_T$).
2. El Modelo Estudiante Original ($M_S$).
3. El Modelo Estudiante Distilado ($M_D$).

Proceso de Clasificación:
Para cada acción (frase o oración) generada por el modelo distilado en un contexto de prueba, se comparan las probabilidades ($p_T, p_S, p_D$) de los tres modelos. Basándose en estas diferencias, cada acción se clasifica en cuatro categorías:

1. Acciones de Origen Maestro (Teacher Sentence): La probabilidad del maestro es significativamente mayor que la del estudiante original. Indica que la capacidad proviene de la transferencia del maestro.
2. Acciones de Origen Estudiante (Student Sentence): La probabilidad del estudiante original es significativamente mayor. Sugiere que el modelo recurre a sus patrones internos.
3. Acciones Compartidas (Shared Sentence): Las probabilidades son similares en ambos modelos y no cambian tras la distilación. Son patrones preexistentes en ambos.
4. Acciones Potenciadas (Boosted Sentence): Las probabilidades son similares en maestro y estudiante, pero el modelo distilado muestra una probabilidad significativamente mayor. Indica que la distilación ha activado o amplificado patrones latentes del estudiante.

Algoritmo de Selección de Datos Guiado por el Maestro:
Basándose en el análisis de RDPT, los autores proponen una nueva estrategia para seleccionar datos de entrenamiento:

• En lugar de elegir datos que se alineen con el estudiante (como hace el método GRAPE), se seleccionan muestras que contengan la mayor cantidad de Acciones de Origen Maestro.
• Se utiliza un umbral $\beta$ para determinar la divergencia entre maestro y estudiante y filtrar las respuestas que muestran un comportamiento claramente originado en el maestro.

3. Contribuciones Clave

1. Marco de Rastreo de Proveniencia: Introducen un método sistemático para desentrañar el origen de cada acción en un modelo distilado, categorizándola finamente en origen maestro, estudiante, compartido o potenciado.
2. Explicación Cuantitativa de la Generalización: Demuestran empíricamente que, en contextos de prueba, los modelos distilados generan Acciones de Origen Maestro, y que estas acciones están fuertemente correlacionadas con respuestas correctas. Esto explica por qué la distilación mejora la generalización.
3. Estrategia de Selección de Datos: Proponen un método de selección de datos guiado por el maestro que prioriza ejemplos ricos en acciones de origen maestro, utilizando la divergencia explícita maestro-estudiante como criterio principal, superando a los métodos heurísticos basados solo en el estudiante.

4. Resultados Experimentales

Los autores validaron su enfoque utilizando múltiples pares de modelos maestros y estudiantes (incluyendo DeepSeek-R1, QwQ, GPT-OSS-120B como maestros y varias versiones de Qwen como estudiantes) en benchmarks de razonamiento como AIME24, AIME25, MATH500 y OlympiadBench.

• Análisis de Proveniencia:
  • Se observó que las Acciones de Origen Maestro son más frecuentes en las etapas iniciales del razonamiento y están fuertemente correlacionadas con respuestas correctas.
  • Las Acciones Potenciadas (latentes en el estudiante) aparecen con alta frecuencia, pero su contribución varía según el tamaño del modelo y la fase de razonamiento; a veces, activar patrones internos sin guía del maestro puede llevar a errores.
• Rendimiento de la Selección de Datos:
  • El método propuesto ("Ours") superó consistentemente a la distilación estándar ("Vanilla") y al método de referencia GRAPE.
  • Mejoras: Se observaron mejoras promedio de 1.7% a 2.5% en precisión en los benchmarks de razonamiento.
  • Generalización: El método mostró una mejor generalización, especialmente en dominios científicos y matemáticos, al entrenar con datos que maximizan la divergencia favorable hacia el maestro.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la investigación de la distilación de modelos de lenguaje:

• De la "Caja Negra" a la Explicabilidad: Proporciona una herramienta para entender qué se está aprendiendo y de dónde proviene, pasando de solo medir el rendimiento final a analizar la mecánica de la transferencia de conocimiento.
• Optimización de Recursos: Al identificar que no todos los datos de razonamiento son igualmente útiles (y que algunos patrones internos del estudiante pueden ser perjudiciales), la selección de datos basada en proveniencia permite entrenar modelos más eficientes y robustos con menos datos.
• Futuro de la Investigación: Abre la puerta a protocolos de distilación más fiables y a la auditoría de modelos para determinar qué maestro contribuyó a una capacidad específica, lo cual es crucial para la seguridad y la trazabilidad en sistemas de IA.

En resumen, el artículo demuestra que la distilación de razonamiento funciona no solo por repetición, sino por la transferencia activa de patrones específicos del maestro, y que optimizar la selección de datos para maximizar esta transferencia es la clave para mejorar el rendimiento en tareas complejas.