💬 NLP

Scale or Reason? A Compute-Equivalent Analysis of Reasoning Distillation

Este artículo demuestra que, bajo un presupuesto de cómputo fijo, el ajuste fino de instrucciones estándar generalmente supera o iguala a la destilación de razonamiento en la mayoría de las escalas de modelos y tareas, siendo este último solo ventajoso para modelos grandes en problemas abiertos cuando se combina con una mezcla de currículo rentable de un 25–50% de datos de razonamiento.

Autores originales: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Kevin El Haddad, Céline Hudelot, Pierre Colombo

Publicado 2026-06-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Kevin El Haddad, Céline Hudelot, Pierre Colombo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un joven aprendiz (un pequeño modelo de IA) cómo resolver problemas. Tienes una cantidad limitada de dinero (presupuesto de cómputo) para gastar en su entrenamiento. Tienes dos formas principales de enseñar al aprendiz:

El Método de la "Respuesta Directa" (IFT): El maestro le da al aprendiz una pregunta y la respuesta correcta y concisa. "Qué es 2+2? Es 4".
El Método de "Mostrar el Trabajo" (Destilación de Razonamiento): El maestro le da la pregunta, pero también escribe un diario largo y detallado de su proceso de pensamiento antes de dar la respuesta. "Bien, veamos. 2 más 2... bueno, si tengo dos manzanas y añado dos más... las cuento una por una... eso hace cuatro. Así que la respuesta es 4".

La gran pregunta que este artículo plantea es: ¿Vale la pena gastar todo ese dinero extra para enseñar al aprendiz el método largo de "Mostrar el Trabajo", o deberíamos comprar un aprendiz más grande y listo y enseñarle el método de la "Respuesta Directa"?

Aquí está lo que los investigadores descubrieron, desglosado en analogías simples:

1. El Problema del "Camino Largo"

El método "Mostrar el Trabajo" es increíblemente costoso. El artículo encontró que las trazas de razonamiento son de 5 a 20 veces más largas que las respuestas directas.

La Analogía: Imagina que le pagas a un taxista por milla.
- Respuesta Directa: El conductor toma un atajo y te deja en 1 milla.
- Razonamiento: El conductor decide conducir por todos los vecindarios, explicando la historia de cada calle, antes de dejarte. Son 20 millas.
- El Costo: Si tienes un presupuesto fijo para gasolina, elegir el taxi de "Razonamiento" significa que solo puedes permitirte un coche diminuto y lento. Si eliges el taxi de "Respuesta Directa", puedes permitirte una limusina masiva y poderosa.

2. El Ganador Sorprendente: La Gran Limusina

Cuando los investigadores compararon los dos métodos manteniendo el "presupuesto de gasolina" (cómputo) exactamente igual, el método de Respuesta Directa (IFT) casi siempre ganó.

El Hallazgo: Casi siempre fue más eficiente entrenar un modelo más grande usando respuestas cortas y directas que entrenar un modelo más pequeño usando razonamientos largos y detallados.
La Excepción: El método "Mostrar el Trabajo" solo fue el ganador en dos situaciones específicas:
1. La Tarea: La pregunta era abierta (como escribir una historia o resolver un problema matemático complejo donde no hay una sola respuesta correcta).
2. El Tamaño: El aprendiz ya era bastante grande (al menos 7 mil millones de "células cerebrales" o parámetros).
Los Modelos Pequeños: Para los modelos diminutos, el método "Mostrar el Trabajo" fue un desastre. Se quedaban atrapados en sus propios pensamientos, escribiendo diarios largos y erráticos llenos de errores. Gastaban todo su dinero dando vuelales en círculos, sin llegar nunca a la respuesta correcta.

3. La Solución "Goldilocks": Una Dieta Mixta

El artículo descubrió un punto medio inteligente que ahorra dinero mientras mantiene los beneficios.

Entrenamiento Secuencial: Puedes enseñar al aprendiz principalmente con "Respuestas Directas" (el 75% del tiempo) y solo cambiar a "Mostrar el Trabajo" para el último 25% de su entrenamiento.
- El Resultado: Esto captura casi todos los beneficios del costoso método de razonamiento, pero cuesta una fracción del precio. Es como darle al aprendiz una dieta estándar pero añadiendo un "suplemento de razonamiento" especial al final para agudizar sus habilidades.
Entrenamiento Mixto: Si mezclas los dos tipos de datos pero mantienes la porción de "razonamiento" baja (menos del 50%), el modelo se vuelve más inteligente en matemáticas y lógica sin aprender a escribir respuestas largas y costosas.
- El Resultado: Obtienes un modelo más inteligente que sigue siendo conciso. Es como enseñar a alguien a pensar profundamente pero obligarlo a dar respuestas cortas y contundentes.

4. Por qué los Modelos Pequeños Fallan en el Razonamiento

Los investigadores analizaron de cerca por qué los modelos pequeños tienen dificultades con el método "Mostrar el Trabajo".

El Descubrimiento: Cuando un modelo pequeño se equivoca en una respuesta, tiende a escribir una explicación más larga que cuando acierta. Es como un estudiante que no sabe la respuesta y sigue escribiendo más y más frases, esperando tropezar con la correcta.
La Consecuencia: Esto hace que los modelos de razonamiento pequeños sean increíblemente ineficientes. Consumen todo su "presupuesto de gasolina" escribiendo historias largas e incorrectas. A medida que los modelos crecen, mejoran su capacidad de saber cuándo dejar de hablar, haciendo que el método "Mostrar el Trabajo" sea viable solo para los estudiantes más grandes y capaces.

La Conclusión Final

Si estás construyendo una IA y tienes un presupuesto limitado:

No asumas automáticamente que el "Razonamiento" (trazas de pensamiento largas) es mejor.
Considera entrenar un modelo más grande con respuestas directas primero.
Si realmente necesitas razonamiento, utiliza un enfoque híbrido: entrena principalmente con respuestas directas, luego añade una pequeña cantidad de datos de razonamiento al final. Esto te da lo mejor de ambos mundos sin romper el banco.

El artículo esencialmente argumenta que no debemos perseguir ciegamente la tendencia del "pensamiento largo"; a veces, un cerebro más grande con una respuesta corta es la opción más inteligente y eficiente.

Resumen Técnico: ¿Escalar o Razonar? Un Análisis de Equivalencia de Cómputo de la Destilación de Razonamiento

Planteamiento del Problema

El paradigma prevalente para construir modelos de lenguaje pequeños (SLM) capaces consiste en destilar trazas de razonamiento de modelos maestros fuertes. Sin embargo, las trazas de razonamiento son típicamente de 5 a 20 veces más largas que las salidas estándar de Ajuste Fino de Instrucciones (IFT). Esta disparidad de longitud implica una sobrecarga de cómputo significativa: un profesional que elige la destilación de razonamiento de forma implícita renuncia a la opción de entrenar un modelo IFT más grande con el mismo presupuesto de cómputo. Mientras que las leyes de escalado estándar sugieren que asignar cómputo adicional a la capacidad del modelo es altamente eficiente, el compromiso específico entre "escalar hacia arriba" (modelos IFT más grandes) y "escalar el razonamiento" (destilar trazas) permanece sin abordar. Este artículo investiga si la sobrecarga de cómputo de la destilación de razonamiento está justificada en comparación con el escalado de IFT estándar, dado presupuestos fijos de entrenamiento e inferencia.

Metodología

Para aislar el efecto del formato de supervisión de otras variables (como la calidad del maestro o la distribución de los prompts), los autores emplean un diseño experimental controlado:

Emparejamiento Controlado: Un único modelo maestro (Qwen3-235B-A22B) genera salidas emparejadas para prompts idénticos: salidas de IFT estándar (modo de razonamiento desactivado) y salidas de razonamiento (modo de razonamiento activado). Esto asegura que el formato de supervisión sea la única variable independiente.
Escalas de Estudiantes: Los modelos base Qwen2.5 son entrenados en cinco escalas de parámetros: 0.5B, 1.5B, 3B, 7B y 14B.
Regímenes de Entrenamiento:
- Corpus: Los experimentos utilizan un corpus de propósito general (1.3M de pares de Infinity-Instruct) y un corpus centrado en matemáticas (300K pares).
- Estrategias Híbridas: El estudio evalúa el entrenamiento secuencial (IFT seguido de razonamiento) y el entrenamiento mixto (datos de IFT y razonamiento mezclados) a través de proporciones de razonamiento ( $\rho$ ) de 0%, 25%, 50%, 75% y 100%.
Evaluación: Los modelos son evaluados en 18 benchmarks que abarcan cuatro familias de tareas: General-MC (Opción Múltiple), General-OE (Abierta), Math-MC y Math-OE.
Igualación de Cómputo: El análisis central compara modelos no solo por recuento de parámetros, sino por FLOPs de entrenamiento e inferencia igualados. Los autores rastrean la sobrecarga exacta de FLOPs causada por la mayor longitud de secuencia de las trazas de razonamiento.
Robustez: Los hallazgos clave se replican utilizando un segundo par maestro-estudiante (Nemotron-Super-49B con Gemma-3) para confirmar que los resultados no son específicos de la arquitectura.

Hallazgos Clave

1. El Escalamiento de IFT es Computacionalmente Eficiente por Defecto

Al comparar modelos con FLOPs de entrenamiento e inferencia igualados, los modelos IFT estándar se sitúan sobre o cerca de la frontera de Pareto en la mayoría de las configuraciones. La destilación de razonamiento solo se acerca o alcanza la frontera de Pareto bajo condiciones específicas:

Formato de Tarea: Los beneficios del razonamiento se observan principalmente en tareas de salida abierta (OE). En tareas de opción múltiple (MC), los modelos de razonamiento quedan consistentemente por detrás de los modelos IFT en eficiencia debido a la alta sobrecarga de generar trazas largas y, a menudo, incorrectas.
Capacidad del Modelo: La destilación de razonamiento se vuelve computacionalmente viable solo en escalas mayores. Se requieren modelos de 7B parámetros o más para que el razonamiento capture la frontera de Pareto. Por debajo de este umbral (por ejemplo, 0.5B–3B), la ineficiencia de los modelos pequeños generando trazas largas y correlacionadas con fallos hace que el razonamiento sea significativamente más costoso por unidad de precisión ganada.

2. El Papel del Formato de Salida y la Capacidad

El artículo identifica que el formato de salida, más que el dominio del conocimiento, es el principal predictor de la eficiencia del razonamiento.

El Formato Dicta el Valor: Las tareas abiertas se benefician consistentemente de la destilación de razonamiento, mientras que las tareas de opción múltiple no lo hacen, independientemente del dominio (general, matemáticas, leyes, código o física).
Umbral de Capacidad: Para tareas abiertas, los modelos de razonamiento de 7B+ parámetros igualan o superan la precisión de IFT mientras mantienen una eficiencia de cómputo óptima. Por debajo de 7B, la "penalización por longitud" es severa; las trazas de razonamiento incorrectas son 1.5–2× más largas que las correctas, y los modelos más pequeños producen frecuentemente estas trazas largas e incorrectas, degradando la relación precisión-costo.

3. Estrategias de Entrenamiento Híbrido

El estudio demuestra que comprometerse totalmente con el 100% de datos de razonamiento es innecesario y, a menudo, subóptimo.

Entrenamiento Secuencial: Un currículo que mezcla solo un 25–50% de datos de razonamiento (siguiendo al IFT) captura la mayor parte de los beneficios de precisión de la destilación de razonamiento completa a una fracción del costo de entrenamiento. Esta estrategia permite a los modelos reposar en la frontera de Pareto para tareas abiertas.
Entrenamiento Mixto: Entrenar con una mezcla de datos de IFT y razonamiento (por debajo del umbral del 50%) permite a los modelos mejorar su precisión en tareas matemáticas mientras preservan el estilo de salida conciso del IFT estándar. Esto evita la penalización de costo de inferencia asociada con la generación de razonamiento completo. Sin embargo, una vez que la proporción de razonamiento supera el 50%, los modelos tienden a cambiar completamente al estilo de generación de razonamiento, borrando las ganancias de eficiencia de inferencia.

Significancia y Reivindicaciones

El artículo proporciona una respuesta sistemática a la pregunta de la asignación de cómputo en la destilación de razonamiento. Su contribución principal es desafiar la suposición de que la destilación de razonamiento es universalmente superior para modelos pequeños.

Reevaluación de la Tendencia de "Razonamiento": Los autores argumentan que, para la gran mayoría de las configuraciones, el IFT estándar es la estrategia computacionalmente más eficiente. La destilación de razonamiento se justifica solo cuando se cumplen simultáneamente dos condiciones: la tarea requiere un formato de salida abierto y el modelo tiene al menos 7B de parámetros.
Diseño de Modelos Consciente del Costo: El trabajo enfatiza que los profesionales deben sopesar las ganancias de precisión frente a los costos computacionales y ambientales. Sugiere que enfoques más simples (IFT) o currículos híbridos cuidadosamente diseñados (25–50% de razonamiento) a menudo pueden igualar o acercarse al rendimiento de los regímenes de entrenamiento de razonamiento completo, que son más costosos.
Guía Práctica: Los hallazgos ofrecen un marco práctico para el despliegue:
- Si la restricción es el cómputo de entrenamiento, use la mezcla secuencial con proporciones bajas de razonamiento.
- Si la restricción es el costo de inferencia, use el entrenamiento mixto por debajo del umbral del 50% para retener salidas concisas.
- La destilación de razonamiento completa se recomienda solo para modelos de gran escala (7B+) que abordan tareas abiertas donde se alcanza la frontera de eficiencia.

Los autores concluyen que, si bien los modelos de razonamiento aumentan el rendimiento bruto, las condiciones estructurales bajo las cuales son más eficientes computacionalmente que el IFT estándar son más estrechas de lo que comúnmente se asume, instando a un cambio hacia un desarrollo de modelos más dirigido y alineado con las restricciones prácticas.