🤖 machine learning

Knowledge Distillation from Large Reasoning Models to Compact Student Models: A Case Study on the John O Bryan Mathematics Competition

Este artículo demuestra que el ajuste fino de un modelo estudiante compacto Qwen2.5-7B con datos de Cadena de Pensamiento destilados del profesor DeepSeek-R1 mediante un marco de doble agente y la detención temprana mejora significativamente su precisión en los bancos de pruebas John O'Bryan Mathematics Competition y MATH-500, al tiempo que revela que las longitudes de respuesta más cortas se correlacionan con una reducción en la calidad del razonamiento.

Autores originales: Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou

Publicado 2026-07-01

📖 5 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un tutor de matemáticas brillante y de clase mundial (llamémoslo Profesor DeepSeek) que puede resolver problemas de competición increíblemente difíciles. Es asombroso, pero también es enorme, lento y requiere una supercomputadora masiva para funcionar. Quieres enseñarle a una estudiante más pequeña, rápida y económica (llamémosla Estudiante Qwen) a pensar como el profesor para que pueda hacer el mismo trabajo en una laptop normal.

Este artículo es la historia de cómo los investigadores intentaron enseñar a la estudiante utilizando un conjunto específico de problemas matemáticos de la Competencia Matemática John O'Bryan (un concurso real celebrado en la Universidad de Northern Kentucky de 2011 a 2025).

Aquí está la historia de su experimento, desglosada de forma sencilla:

1. El método de entrenamiento: "Muestra tu procedimiento"

Los investigadores no solo le dieron a la estudiante las respuestas finales. Utilizaron una técnica especial llamada Destilación de Cadena de Pensamiento (CoT Distillation).

El Profesor: Primero, el "Profesor DeepSeek" resolvió 671 problemas de competencias pasadas. Pero en lugar de solo escribir la respuesta, escribió cada uno de los pasos de su razonamiento, como un estudiante que muestra su procedimiento en un examen.
El Verificador: Una segunda IA revisó el trabajo del Profesor para asegurarse de que los pasos fueran realmente correctos. Solo se conservaron las soluciones perfectas.
La Estudiante: La "Estudiante Qwen" (un modelo más pequeño) fue entrenada para imitar estas soluciones paso a paso.

2. La trampa del "Sobreentrenamiento"

Los investigadores se enfrentaron a un problema clásico: el Sobreajuste (Overfitting).
Imagina a un estudiante que memoriza las respuestas exactas de un examen de práctica en lugar de aprender los conceptos matemáticos. Si le das una pregunta ligeramente diferente, falla.

Los investigadores inicialmente permitieron que la estudiante entrenara durante 1,000 "rondas" (iteraciones).
El Resultado: La estudiante comenzó a memorizar las palabras específicas de los problemas de entrenamiento en lugar de aprender la lógica. Su rendimiento en realidad empeoró en problemas nuevos.
La Solución: Se dieron cuenta de que la estudiante alcanzaba su punto máximo a las 200 rondas. Después de eso, solo estaba copiando. Así que detuvieron el entrenamiento anticipadamente (a las 200 rondas) para mantenerla "fresca" y capaz de generalizar.

3. Los Resultados: Una mejora sólida

Al detener el entrenamiento anticipadamente, la estudiante mejoró significamente:

Antes del entrenamiento: La estudiante acertaba aproximadamente el 65% de los problemas de la competencia.
Después del entrenamiento: Saltó a aproximadamente un 69.4%.
El Bono: No solo mejoró en estos problemas específicos; también mejoró en un benchmark matemático diferente y famoso llamado MATH-500, demostrando que realmente aprendió la habilidad de razonar, no solo las respuestas.

4. El experimento del "Recuento de Palabras"

Los investigadores querían saber: ¿Cuánto "espacio de pensamiento" necesita la estudiante?
Obligaron a la estudiante a resolver problemas con límites estrictos de cuántas palabras podía escribir (como un límite estricto de palabras en un examen).

Sin Límite (R1): Escribió unas 220 palabras y acertó el 69%.
Límite Moderado (R2): Escribió unas 120 palabras y cayó al 62%.
Límite Estricto (R6): Se le obligó a escribir solo unas 31 palabras. Su precisión se desplomó al 42%.

La Analogía: Es como pedirle a alguien que resuelva un rompecabezas complejo. Si le das una libreta pequeña (pocas palabras), tiene que saltarse pasos y adivinar. Si tiene un cuaderno completo (muchas palabras), puede escribir la lógica y acertar. El estudio encontró que, para estos problemas difíciles, necesitas aproximadamente de 50 a 100 palabras de "espacio de pensamiento" para obtener una buena respuesta.

5. Dónde tuvo dificultades

Velocidad vs. Lógica: La estudiante fue más débil en la sección de "Velocidad de Dos Personas" de la competencia. Estos problemas requerían cálculos rápidos de múltiples pasos. Cuando el recuento de palabras era ajustado, ella no podía incluir los pasos de cálculo necesarios, y su precisión cayó más fuerte que en otras secciones.
Errores de Formato: Curiosamente, los investigadores descubrieron que aproximadamente el 40% de los errores de la estudiante no eran porque fuera mala en matemáticas. En realidad, obtenía el número correcto pero lo escribía de forma desordenada (como dejar una fracción sin simplificar o olvidar poner la respuesta en un cuadro). Si un humano o un script simple limpiara su escritura, su puntuación habría sido aún más alta.

La Conclusión Final

Este artículo demuestra que puedes tomar una IA gigante y poderosa y enseñar a una IA más pequeña y económica a razonar a través de problemas matemáticos de manera efectiva, pero solo si detienes el entrenamiento antes de que comience a memorizar.

Sin embargo, hay un detalle: Pensar requiere espacio. Si fuerzas a la IA a ser demasiado concisa (demasiadas pocas palabras), pierde su capacidad para resolver problemas difíciles. El "punto ideal" para este tipo de competencias matemáticas parece ser permitir que la IA tenga suficiente espacio para escribir entre 50 y 100 palabras de razonamiento.

Resumen Técnico: Destilación de Conocimiento de Grandes Modelos de Razonamiento a Modelos Estudiantes Compactos

Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) con capacidades avanzadas de razonamiento matemático, como DeepSeek-R1, suelen requerir recursos computacionales significativos, lo que hace que su despliegue local sea poco práctico. Aunque la Destilación de Conocimiento (KD) ofrece una vía para transferir capacidades de razonamiento a modelos "estudiantes" más pequeños y eficientes, la investigación existente se basa predominantemente en benchmarks genéricos (p. ej., MATH-500, GSM8K) que pueden sufrir de contaminación de los datos de preentrenamiento. Existe una falta de comprensión sobre cómo funciona la destilación en conjuntos de problemas especializados y curados por expertos con menores riesgos de contaminación, y cómo las restricciones específicas, tales como los presupuestos de tokens, afectan la calidad del razonamiento destilado.

Metodología

Los autores proponen un pipeline para destilar capacidades de razonamiento de un modelo profesor grande a un modelo estudiante compacto utilizando la Competencia de Matemáticas John O'Bryan (2011–2025) como un corpus especializado.

1. Construcción del Conjunto de Datos

Corpus: 671 problemas que abarcan 15 años, categorizados en Freshman/Sophomore, Junior/Senior, y Two-Person Speed.
División (Split): Se empleó una división cronológica para prevenir la fuga de datos: 2011–2021 (Entrenamiento), 2022–2023 (Validación) y 2024–2025 (Prueba).
Marco de Agentes Duales: Un proceso de dos pasos utilizando la API de DeepSeek-R1:
- Agente 1 (Solver): Genera trazas de razonamiento de Cadena de Pensamiento (CoT) paso a paso.
- Agente 2 (Verifier): Valida la salida del solver contra la respuesta de referencia (ground-truth), devolviendo un veredicto de CORRECTO/INCORRECTO.
- Solo se retuvieron para el entrenamiento las trazas verificadas como correctas (594 de 651 intentos).

2. Arquitectura del Modelo y Entrenamiento

Profesor: DeepSeek-R1 (accedido vía API).
Estudiante: Qwen2.5-7B-Instruct (cuantizado a 4 bits).
Ajuste Fino (Fine-Tuning): Se aplicó Adaptación de Bajo Rango (LoRA) utilizando el framework MLX en hardware Apple Silicon.
- Configuración: Rango $r=8$ , $\alpha=16$ , dropout $0.05$, apuntando a los módulos de proyección de consulta (query), clave (key), valor (value) y salida (output).
- Parámetros: 11.534M de parámetros entrenables (0.151% del total).
Protocolo de Entrenamiento:
- Ejecución de Diagnóstico: Una ejecución de 1,000 iteraciones identificó un sobreajuste severo, donde la pérdida de validación se minimizaba en la iteración 200 antes de aumentar.
- Ejecuciones Finales: Se ejecutaron cinco ejecuciones de entrenamiento independientes, cada una limitada a 200 iteraciones con diferentes semillas aleatorias (42, 123, 256, 512, 999) para asegurar la estabilidad.
- Parada Temprana (Early Stopping): Los modelos fueron fusionados y evaluados basándose en el checkpoint de la iteración 200.

3. Estrategia de Evaluación

Métricas: Precisión de la respuesta (juzgada por DeepSeek-R1 para manejar formas matemáticas equivalentes) y perplejidad.
Generalización: Evaluación fuera del dominio en el benchmark MATH-500.
Experimento de Presupuesto de Tokens: El modelo ajustado fue evaluado bajo seis niveles de razonamiento (R1–R6) con límites de tokens progresivamente restringidos (desde ilimitados hasta 100 tokens) para evaluar el impacto de la longitud de la respuesta en la calidad del razonamiento.

Resultados Clave

Ganancias de Rendimiento

Modelo Base: Qwen2.5-7B logró un 64.67% de precisión en el conjunto de prueba de la competencia.
Modelo Destilado: El modelo ajustado mediante LoRA de 200 iteraciones logró una precisión media de 69.43% ± 0.17%, una mejora de 4.76 puntos porcentuales.
Estabilidad: La estrecha desviación estándar (0.17 pp) a través de cinco semillas confirma que la mejora es robusta y no un artefacto de la inicialización.
Sobreajuste: Continuar el entrenamiento hasta las 1,000 iteraciones resultó en una menor precisión (67.59%) y mayor perplejidad, confirmando que la parada temprana es crítica para la destilación de corpus pequeños.

Generalización

En el benchmark MATH-500, el modelo destilado mejoró de una base de 70.1% a 73.1% ± 0.18%.
Las ganancias de rendimiento fueron desiguales entre materias: se observaron mejoras significativas en Álgebra (93.5%) y Teoría de Números (82.3%), que están bien representadas en el corpus de entrenamiento, mientras que el Álgebra Intermedia, la Geometría y el Precálculo mostraron un desempeño más débil.

Impacto del Presupuesto de Tokens

Longitud vs. Precisión: Existe un declive constante en la precisión a medida que los presupuestos de tokens disminuyen.
- R1 (Ilimitado, ~220 palabras): 69.43%
- R6 (100 tokens, ~31.2 palabras): 41.9%
Umbral Crítico: La caída más significativa ocurrió entre R3 (~~96 palabras) y R4 (~~55 palabras), lo que sugiere un límite inferior práctico de 50–100 palabras para problemas de competencia de múltiples pasos.
Sensibilidad de la Sección: La sección "Two-Person Speed" fue la más sensible a la reducción de tokens, cayendo 34.5 puntos porcentuales de R2 a R6, mientras que las secciones conceptuales (Freshman/Sophomore, Junior/Senior) fueron más robustas.

Análisis de Errores

El análisis cualitativo de 197 respuestas incorrectas reveló que el 40% de los fallos se debieron a problemas de formato o extracción (p. ej., LaTeX no renderizado, fracciones no reducidas) en lugar de errores de razonamiento matemático. Esto sugiere que el post-procesamiento podría recuperar una parte significativa de estos errores sin necesidad de reentrenamiento.

Significancia y Reivindicaciones

El artículo afirma ser el primer estudio en aplicar la destilación de CoT al corpus de la Competencia de Matemáticas John O'Bryan, ofreciendo un entorno controlado con bajo riesgo de contaminación. Sus contribuciones primarias son:

Demostrar la Viabilidad: Probar que la destilación de CoT mediante LoRA con parada temprana puede transferir eficazmente las capacidades de razonamiento de un modelo grande (DeepSeek-R1) a un modelo compacto (Qwen2.5-7B) en datos de dominio específico.
Cuantificar Restricciones: Establecer que la longitud de la respuesta es un factor crítico en la calidad del razonamiento matemático, identificando un piso práctico de presupuesto de tokens para problemas de múltiples pasos.
Rigor Metodológico: Destacar la necesidad de la parada temprana en el ajuste fino de corpus pequeños y el valor de la validación con múltiples semillas para la estabilidad.

Los autores mantienen un tono modesto, señalando que el modelo aún no está listo para un uso educativo totalmente autónomo debido a la tasa de error del ~30% y los posibles sesgos de un corpus de una sola institución. Posicionan el modelo como una herramienta de borrador para flujos de trabajo de humano-en-el-bucle y sugieren que el trabajo futuro debería centrarse en corpora diversos y en el entrenamiento con trazas de CoT comprimidas para mejorar el rendimiento bajo restricciones estrictas de tokens.