🤖 machine learning

Capacity-Dependent Effects of Data Selection for Reasoning

Este artículo demuestra que la efectividad de la selección de datos basada en la verosimilitud para el ajuste fino de razonamiento depende de la capacidad, donde los datos de alta verosimilitud benefician a los modelos más pequeños con ganancias iniciales más rápidas, mientras que los datos de baja verosimilitud producen un rendimiento superior a largo plazo para los modelos más grandes.

Autores originales: Cuong Dang, Hoang Anh Just, Ruoxi Jia

Publicado 2026-08-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Cuong Dang, Hoang Anh Just, Ruoxi Jia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un robot cómo resolver un problema matemático difícil. Tienes a un profesor superinteligente que puede resolverlo perfectamente, pero también tienes a un estudiante que apenas está comenzando. En el mundo de la inteligencia artificial, esto se llama "destilación". El objetivo es tomar el conocimiento de un modelo gigante y poderoso (el profesor) y encogerlo en un modelo más pequeño y rápido (el estudiante) para que pueda ejecutarse en dispositivos cotidianos. Pero aquí está el truco: el profesor puede generar muchas formas diferentes de resolver el mismo problema. Algunas respuestas son simples y se parecen mucho a lo que el estudiante habría adivinado por su cuenta. Otras son complejas, salvajes y muy diferentes al pensamiento actual del estudiante.

Durante mucho tiempo, los investigadores pensaron que la mejor manera de enseñar al estudiante era mostrarle las respuestas que le resultaran más fáciles de entender —las que le resultaran familiares—. Parecía lógico: si intentas enseñar cálculo avanzado usando física avanzada, podrían confundirse y rendirse. Pero un nuevo estudio sugiere que esta regla de "lo fácil es mejor" podría ser una trampa. El verdadero secreto no es hacer las cosas fáciles; es igualar la dificultad de la lección con el tamaño del cerebro del estudiante. Si el estudiante es diminuto, las lecciones fáciles funcionan de maravilla. Pero si el estudiante es enorme y poderoso, en realidad necesita las lecciones difíciles y confusas para alcanzar su máximo potencial. Este artículo explora exactamente cómo elegir las lecciones adecuadas para el robot adecuado, asegurando que no desperdiciemos tiempo o potencia de cómputo.

Los investigadores detrás de este estudio, Cuong Dang, Hoang Anh Just y Ruoxi Jia, se propusieron probar una idea popular llamada "selección basada en la verosimilitud". En términos sencillos, la "verosimilitud" es solo una puntuación que nos dice qué tan probable es que un modelo diga una oración específica. Si un modelo piensa: "Definitivamente diría esto", esa es una respuesta de alta verosimilitud. Si piensa: "Nunca diría esto", esa es una respuesta de baja verosimilitud. El artículo investiga una pregunta específica: ¿Deberíamos entrenar siempre a nuestros estudiantes de IA usando las respuestas de alta verosimilitud (las que se sienten familiares), o deberíamos a veces obligarlos a aprender de las respuestas de baja verosimilitud (las que se sienten extrañas y difíciles)?

Para encontrar la respuesta, el equipo realizó una serie de experimentos utilizando problemas matemáticos como su patio de recreo. Tomaron un gran conjunto de preguntas matemáticas e hicieron que modelos "profesores" poderosos generaran muchas soluciones diferentes para cada una. Luego, entrenaron modelos "estudiantes" de varios tamaños —que iban desde muy pequeños (1.5 mil millones de parámetros) hasta bastante grandes (8 mil millones de parámetros)— utilizando dos estrategias diferentes. Un grupo de estudiantes solo vio las respuestas "fáciles" (alta verosimilitud), mientras que el otro grupo solo vio las respuestas "difíciles" (baja verosimilitud). Observaron cómo estos estudiantes se desempeñaban a lo largo del tiempo, revisando sus puntuaciones en varios bancos de pruebas matemáticos como AIME, AMC y MATH.

Lo que descubrieron fue un patrón fascinante que depende enteramente del tamaño del cerebro del estudiante. Para los modelos más pequeños, la estrategia "fácil" fue la clara ganadora. Estos estudiantes pequeños aprendieron rápida y constantemente cuando se les dieron respuestas que estaban cerca de lo que ya sabían. Cuando se les obligó a mirar las respuestas "difíciles", se perdieron. Comenzaban a repetir la pregunta una y otra vez, o simplemente copiaban la respuesta sin entender los pasos, fallando en mejorar. Era como si estuvieran intentando escalar una montaña pero no tuvieran las piernas para dar el primer paso; simplemente resbalaban hacia abajo.

Sin embargo, la historia cambió completamente para los modelos más grandes y poderosos. Estos estudiantes grandes comenzaron haciéndolo mejor con las respuestas "fáciles", al igual que los pequeños. Pero a medida que el entrenamiento continuaba, algo mágico sucedió. Los estudiantes entrenados con las respuestas "difíciles" comenzaron a alcanzar e incluso superar a los otros. Mientras que el grupo "fácil" chocó contra un techo y dejó de mejorar, el grupo "difícil" siguió ascendiendo. Fueron capaces de absorber el razonamiento complejo y desconocido y usarlo para resolver problemas que antes no podían tocar. Los investigadores llaman a esto el patrón "Ajuste Rápido / Ganancia Lenta" (Fast-Fit / Slow-Gain). Los modelos pequeños se "ajustan rápido" a los datos fáciles y se detienen ahí, mientras que los modelos grandes experimentan una "ganancia lenta" donde los datos difíciles eventualmente conducen a habilidades de razonamiento mucho más fuertes.

El artículo sugiere que no existe una única "mejor" manera de elegir los datos de entrenamiento. Todo depende del presupuesto de computación y del tamaño del modelo. Si tienes un modelo pequeño o tiempo limitado, apégate a los datos de alta verosimilitud y fáciles de aprender. Es eficiente y ofrece resultados rápidos. Pero si tienes un modelo grande y la paciencia para entrenarlo durante mucho tiempo, debes abrazar los datos de baja verosimilitud y difíciles. Es como un corredor de maratón: un principiante necesita un camino plano y fácil para ganar confianza, pero un atleta de élite necesita los senderos empinados y rocosos para romper sus propias marcas personales.

Los autores respaldan esto tanto con experimentos del mundo real como con un marco teórico. Mostraron que los modelos pequeños simplemente carecen de la "capacidad" para entender la brecha entre su conocimiento actual y las respuestas complejas del profesor. Los datos difíciles están demasiado lejos, y el modelo pequeño no puede cerrar esa brecha. Pero los modelos grandes tienen suficiente "espacio" en sus cerebros para estirarse y aprender de esa distancia. El artículo concluye que la selección de datos para el razonamiento no debe ser una regla de "talla única". En cambio, debe ser un equilibrio cuidadoso: iguala la dificultad de la lección con la capacidad del aprendiz, y obtendrás los mejores resultados.

Resumen Técnico: Efectos de la Selección de Datos Dependientes de la Capacidad para el Razonamiento

Declaración del Problema

En el ajuste fino supervisado (SFT) de Grandes Modelos de Lenguaje (LLMs) para tareas de razonamiento, surge un desafío crítico debido a la heterogeneidad de las respuestas candidatas para una misma instrucción. Incluso cuando son generadas por modelos maestros (teacher models) fuertes, las respuestas varían significativamente en qué tanto se alinean con la distribución actual del modelo estudiante. Trabajos recientes, como GRAPE (Zhang et al., 2025), han propuesto seleccionar respuestas de alta verosimilitud (aquellas más cercanas a la política actual del estudiante) para asegurar una optimización estable. Por el contrario, la literatura tradicional de aprendizaje activo y selección de datos suele abogar por ejemplos de baja verosimilitud (difíciles) para impulsar a los modelos más allá de sus capacidades actuales.

Este artículo investiga un conflicto fundamental: ¿Produce la información de alta verosimilitud un rendimiento de razonamiento óptimo de manera universal, o su eficacia depende de la capacidad del modelo estudiante y de la duración del entrenamiento? Los autores desafían la suposición de que los datos "fáciles" (de alta verosimilitud) son siempre preferibles, postulando que el valor de la selección basada en la verosimilitud está supeditado a si el estudiante posee la capacidad de representación suficiente para absorber la supervisión desafiante.

Metodología

Los autores llevan a cabo experimentos controlados a través de un espectro de escalas de modelos y duraciones de entrenamiento para aislar los efectos de la verosimilitud de los datos y la capacidad del modelo.

Conjuntos de Datos y Modelos: Los experimentos utilizan el conjunto de datos MATH12K. Los modelos maestros (Qwen2.5-72B y Gemma-3-27B-it) generan múltiples respuestas candidatas para cada instrucción. Los modelos estudiantes varían desde 1.5B hasta 8B de parámetros, incluyendo varias familias de Qwen y Llama.
Estrategias de Selección: Se construyen dos conjuntos de datos distintos para cada instrucción:
- $D_{high}$ : Respuestas con la mayor log-verosimilitud bajo el modelo estudiante base.
- $D_{low}$ : Respuestas con la menor log-verosimilitud bajo el modelo estudiante base.
Protocolo de Entrenamiento: Los modelos se someten a un SFT de parámetros completos durante 5 épocas. El rendimiento se evalúa mediante pass@1 en 10 diversos benchmarks de razonamiento matemático (por ejemplo, AIME, AMC, GPQA, MATH).
Análisis: El estudio analiza la dinámica de aprendizaje a través de dos lentes:
1. Vista del Maestro (Teacher View): Midiendo la log-verosimilitud de las salidas del estudiante bajo el modelo maestro para evaluar la alineación con la distribución del maestro.
2. Vista del Modelo Original (Original Model View): Midiendo la log-verosimilitud de las salidas del estudiante bajo su propio modelo base para evaluar el cambio de distribución.
Marco Teórico: Los autores proporcionan un análisis teórico de la destilación con restricciones de capacidad utilizando clasificadores lineales. Modelan el espacio de parámetros factible del estudiante como un subespacio y analizan cómo el flujo de gradiente transfiere el conocimiento del maestro al estudiante basándose en la proyección del rango de los datos sobre este subespacio.

Resultados Clave

1. El Patrón "Ajuste Rápido / Ganancia Lenta" (Fast-Fit / Slow-Gain)

Los experimentos revelan una clara dicotomía de la dinámica de aprendizaje dependiente de la capacidad:

Modelos Pequeños (ej., 1.5B, 3B): Los datos de alta verosimilitud proporcionan una ventaja inicial distintiva ("Fast-Fit"). Estos modelos logran mejoras rápidas y estables, y a menudo alcanzan su rendimiento máximo tempranamente. Los datos de baja verosimilitud no logran proporcionar ganancias significativas; los modelos luchan por absorber la supervisión, resultando a menudo en salidas repetitivas o superficiales que no mejoran las capacidades de razonamiento.
Modelos Grandes (ej., 7B, 8B): Aunque los datos de alta verosimilitud siguen ofreciendo fuertes ganancias iniciales, los datos de baja verosimilitud demuestran una trayectoria de "Ganancia Lenta" (Slow-Gain). Aunque inicialmente presentan un rezago, estos modelos eventualmente superan el rendimiento de aquellos entrenados con datos de alta verosimilitud si se les otorga una duración de entrenamiento suficiente (por ejemplo, después de 2 a 5 épocas). Los datos de baja verosimilitud impulsan a los modelos grandes hacia la distribución del maestro, desbloqueando capacidades de razonamiento más fuertes que los datos de alta verosimilitud no pueden alcanzar.

2. Dinámica de Aprendizaje y Cambio de Distribución

Alineación con el Maestro: Los modelos pequeños entrenados con datos de baja verosimilitud no logran acercarse a la distribución del maestro, y a veces se alejan de ella. En contraste, los modelos más grandes logran reducir la pérdida del maestro cuando se entrenan con datos de baja verosimilitud, lo que indica una transferencia de conocimiento efectiva.
Estabilidad: Los modelos pequeños exhiben dinámicas de entrenamiento inestables y cambios de distribución cuando se exponen a datos de baja verosimilitud, a menudo regresando a la repetición mecánica. Los modelos más grandes se adaptan de una manera más estable y enfocada, atravesando con éxito el paisaje de optimización para alcanzar picos globales más altos.

3. Perspectivas Teóricas

El análisis teórico formaliza estas observaciones. Postula que la transferencia de conocimiento está limitada por la intersección entre el rango de los datos (lo que los datos revelan sobre el maestro) y el espacio de parámetros factible del estudiante (lo que el estudiante puede representar).

Para estudiantes de alta capacidad, el espacio factible es lo suficientemente grande como para capturar la brecha de conocimiento expuesta por los datos difíciles (de baja verosimilitud).
Para estudiantes de baja capacidad, el espacio factible es un subespacio estricto. Si el conocimiento expuesto por los datos de baja verosimilitud se encuentra fuera de este subespacio, el estudiante no puede aprenderlo, lo que hace que la supervisión sea ineficaz. Los datos de alta verosimilitud, al estar más cerca de la representación actual del estudiante, se encuentran dentro de este espacio factible, permitiendo una mejora incremental pero limitada.

Contribuciones Clave

Selección de Datos Dependiente de la Capacidad: El artículo demuestra que los datos de alta verosimilitud no son universalmente óptimos. La eficacia de la selección basada en la verosimilitud está gobernada por una interacción entre la distribución de los datos, la capacidad del modelo y el presupuesto computacional.
Análisis de la Dinámica de Aprendizaje: Los autores caracterizan el fenómeno "Fast-Fit / Slow-Gain", mostrando que los modelos pequeños se benefician de datos fáciles para una convergencia rápida, mientras que los modelos grandes requieren datos difíciles para la expansión de su capacidad a largo plazo.
Marco Teórico: Se desarrolla una visión de la destilación con restricciones de capacidad, mostrando que la transferencia exitosa requiere que el conocimiento del maestro expuesto resida dentro del subespacio representable del estudiante. Esto explica por qué los datos de baja verosimilitud fallan para los modelos pequeños pero tienen éxito para los modelos grandes.

Significado y Reivindicaciones

El artículo concluye que las estrategias de selección de datos para el razonamiento no deben tratarse como una regla de "talla única". En su lugar, los profesionales deben considerar las restricciones específicas de su configuración:

Para modelos pequeños o presupuestos computacionales limitados: Los datos de alta verosimilitud son preferibles para lograr mejoras rápidas, estables y eficientes al inicio.
Para modelos grandes con presupuestos de entrenamiento suficientes: Los datos de baja verosimilitud se vuelven cada vez más valiosos, ofreciendo el potencial de un rendimiento final significativamente mayor al empujar al modelo hacia la distribución del maestro.

Los autores enfatizan que la "mejor" estrategia de selección de datos depende del contexto, determinada conjuntamente por la capacidad del estudiante y la duración de entrenamiento disponible. Este trabajo refina la comprensión de la destilación y la ingeniería de datos, yendo más allá de las simples heurísticas hacia un enfoque más matizado y consciente de la capacidad.