💬 NLP

Data Repetition Beats Data Scaling in Long-CoT Supervised Fine-Tuning

Este artículo demuestra que, contrariamente a la intuición estándar, el ajuste fino supervisado con datos de cadena de pensamiento logra un rendimiento de razonamiento superior al entrenar repetidamente en conjuntos de datos más pequeños hasta alcanzar la memorización completa, en lugar de escalar el tamaño del conjunto de datos para un único ciclo de entrenamiento.

Autores originales: Dawid J. Kopiczko, Sagar Vaze, Tijmen Blankevoort, Yuki M. Asano

Publicado 2026-08-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dawid J. Kopiczko, Sagar Vaze, Tijmen Blankevoort, Yuki M. Asano

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un estudiante brillante pero distraído cómo resolver acertijos increíblemente difíciles, como problemas matemáticos complejos o preguntas científicas profundas. En el mundo de la inteligencia artificial, este estudiante es un "modelo de lenguaje", un programa informático que aprende leyendo texto. Para que estos modelos sean buenos razonando, los científicos utilizan un proceso llamado "Ajuste Fino Supervisado" (SFT, por sus siglas en inglés). Piensa en esto como darle al estudiante una pila de soluciones de ejemplo escritas por un maestro experto. El estudiante lee estos ejemplos e intenta copiar el proceso de pensamiento, paso a paso, hasta que pueda resolver problemas similares por su cuenta.

Durante mucho tiempo, la regla de oro en el aprendizaje automático ha sido que "más es mejor". La intuición es simple: si quieres que un estudiante aprenda bien, debes darle una biblioteca masiva de libros únicos. Cuantos más ejemplos diferentes vea, mejor debería volverse para generalizar ante nuevas situaciones. Es como creer que leer 10,000 historias diferentes siempre es mejor que leer las mismas 100 historias una y otra vez. Pero, ¿y si esa regla es errónea? ¿Y si, para este tipo específico de entrenamiento de "razonamiento", el secreto no es una biblioteca más grande, sino una comprensión más profunda de una más pequeña? Esta es la pregunta que aborda un nuevo artículo de la conferencia COLM 2026, el cual desafía nuestras suposiciones básicas sobre cómo aprende la IA.

Los investigadores detrás de este estudio decidieron probar la regla de "más es mejor" realizando una serie de experimentos controlados. Tomaron un modelo de IA estándar y lo entrenaron con datos de "Cadena de Pensamiento" (Chain-of-Thought): trazas de razonamiento largas y detalladas donde el modelo aprende a pensar en un problema antes de responder. Establecieron un presupuesto estricto: una cantidad fija de "esfuerzo de computación" (como un número fijo de horas que se le permite estudiar al estudiante). Luego compararon dos estrategias. La Estrategia A consistía en darle al estudiante una enorme pila de ejemplos únicos (51,200 muestras) pero permitirle leer toda la pila solo una vez. La Estrategia B consistía en darle al estudiante una pila diminuta de ejemplos (tan pocos como 200 o 400 muestras) pero permitirle leer esa misma pila pequeña muchas, muchas veces, hasta 128 veces.

Los resultados fueron sorprendentes y contraintuitivos. El artículo encontró que el estudiante que leyó la pila pequeña una y otra vez (Estrategia B) se volvió significativamente mejor resolviendo problemas nuevos y difíciles que el estudiante que leyó rápidamente la enorme biblioteca una sola vez. En pruebas de rendimiento difíciles como las competencias matemáticas AIME y el cuestionario científico GPQA, el modelo entrenado con solo 400 muestras durante 128 épocas superó al modelo entrenado con 51,200 muestras durante solo 1 época por un margen masivo: mejorando la precisión entre 12 y 26 puntos porcentuales. Es como si el estudiante que memorizó algunas historias clave perfectamente pudiera resolver nuevos misterios mejor que el estudiante que hojeó mil libros diferentes.

El artículo también exploró por qué sucede esto y cuáles son los límites. Descubrieron que la mejora no provino de aprender nuevos hechos, sino de que el modelo "memorizara" la estructura del razonamiento. A medida que el modelo repetía el pequeño conjunto de datos, eventualmente llegaba a un punto en el que podía predecir la siguiente palabra en los ejemplos de entrenamiento con una precisión casi perfecta (100%). Una vez que el modelo alcanzaba esta "memorización total" de los datos de entrenamiento, su rendimiento en nuevas pruebas dejaba de mejorar y se estancaba. Esto sugiere que, para este tipo de entrenamiento, el objetivo no es ver tantos ejemplos diferentes como sea posible, sino interiorizar el patrón de razonamiento hasta que se convierta en algo natural.

Curiosamente, los investigadores verificaron si esta "repetición" causaba que el modelo olvidara todo lo demás que sabía (un problema llamado "olvido catastrófico"). Encontraron que repetir el pequeño conjunto de datos en realidad causaba menos olvido que leer el enorme conjunto de datos una sola vez. Parece que, al practicar profundamente la estructura del razonamiento, el modelo se volvió más seguro de su propia lógica, lo que le ayudó a mantenerse en la tarea sin perder su conocimiento general.

Sin embargo, los autores son cuidadosos al no llamar a esto una solución mágica que lo resuelve todo. Descartan explícitamente la idea de que esto funcione para todos los datos; por ejemplo, si el profesor que proporciona los ejemplos es débil o si los ejemplos son incorrectos, los beneficios cambian. También señalan que, aunque la "ventaja de la repetición" es robusta, la razón exacta de por qué memorizar los datos de entrenamiento ayuda a la generalización sigue siendo un misterio. Sugieren que el modelo podría estar desbloqueando capacidades ocultas que ya poseía, en lugar de aprender algo completamente nuevo.

En resumen, este artículo sugiere que, para enseñar a la IA a razonar, podríamos estar perdiendo el tiempo intentando encontrar conjuntos de datos cada vez más grandes. En su lugar, podríamos obtener mejores resultados tomando un conjunto pequeño y de alta calidad de ejemplos de razonamiento y dejando que el modelo los estudie hasta que los conozca a la perfección. Los autores proponen una nueva regla práctica: continúa el entrenamiento en el conjunto de datos pequeño hasta que el modelo pueda predecir perfectamente el texto de entrenamiento, y luego detente. Aunque no han explicado completamente el "porqué" de este fenómeno, han demostrado que, a veces, en el mundo de la IA, leer la misma página 100 veces es mucho más poderoso que ojear 100 páginas diferentes.

Resumen Técnico: La repetición de datos supera al escalado de datos en el ajuste fino supervisado de CoT largo

Planteamiento del problema

La intuición estándar del aprendizaje automático postula que entrenar con más muestras únicas produce una mejor generalización, un principio que ha impulsado el escalado de corpus únicos en el preentrenamiento y el postentrenamiento de modelos de lenguaje de gran tamaño (LLM). Sin embargo, las demostraciones de cadena de pensamiento (CoT) largas y de alta calidad son escasas, ya que a menudo requieren anotación humana costosa o una destilación cuidadosa de modelos más grandes. Esta escasez plantea una pregunta crítica: bajo un presupuesto computacional fijo (total de actualizaciones de gradiente), ¿es más efectivo entrenar con un conjunto de datos grande durante un solo ciclo (epoch) o entrenar con un conjunto de datos más pequeño durante múltiples ciclos? El artículo desafía la suposición prevaleciente de que la diversidad de datos siempre es superior, investigando si la repetición de datos puede sustituir al escalado de datos en la etapa de ajuste fino supervisado (SFT) de los modelos de razonamiento.

Metodología

Los autores llevan a cabo experimentos controlados para aislar los efectos de la repetición de datos frente al escalado de datos, manteniendo constante el presupuesto total de actualizaciones.

Modelos: Los experimentos utilizan versiones base de tres modelos de lenguaje recientes: Olmo3-7B, Qwen3-8B y Qwen3-4B. Estos modelos se utilizan antes del ajuste de instrucciones para asegurar un punto de partida limpio para la dinámica de SFT.
Conjuntos de datos: El conjunto de datos principal es "Dolci SFT 7B", una colección de demostraciones de CoT largo destiladas que cubren matemáticas, programación y seguimiento de instrucciones. Los autores crean divisiones de entrenamiento anidadas que van desde 200 hasta 51,200 muestras, asegurando que los conjuntos más pequeños sean subconjuntos de los más grandes. Experimentos adicionales utilizan datos específicos de matemáticas destilados de profesores Qwen3-0.6B y Qwen3-8B, particionados por la corrección de la respuesta final (trayectorias positivas frente a negativas).
Cuadrícula experimental: El diseño experimental central varía el número de muestras únicas ( $N$ ) y el número de ciclos de entrenamiento ( $E$ ) de tal manera que el producto $N \times E$ (el presupuesto de actualizaciones) permanezca constante. Por ejemplo, un presupuesto de 51,200 actualizaciones se logra entrenando con 51,200 muestras durante 1 ciclo, 3,200 muestras durante 16 ciclos, o 200 muestras durante 256 ciclos.
Evaluación: Los modelos se evalúan en tres bancos de pruebas de razonamiento desafiantes: AIME 2024, AIME 2025 y GPQA. Las métricas incluyen:
- Accuracy@n: Precisión promedio sobre $n$ generaciones independientes.
- Pass@n: La fracción de problemas resueltos en al menos uno de $n$ intentos.
- Tasa de terminación: La fracción de generaciones que concluyen exitosamente con un token de fin de secuencia.
- Olvido catastrófico: Medido mediante el rendimiento en MMLU para evaluar la retención de conocimiento general.
Dinámicas de entrenamiento: El estudio rastrea la precisión de los tokens de entrenamiento (memorización), la pérdida de validación y la entropía de predicción para comprender el comportamiento de convergencia.

Resultados clave

1. La ventaja de la repetición

Contrario a las leyes de escalado estándar, los experimentos demuestran que, bajo un presupuesto de actualización fijo, entrenar durante más ciclos en conjuntos de datos más pequeños supera sustancialmente el entrenamiento en conjuntos de datos más grandes durante menos ciclos.

Ganancias de rendimiento: En el modelo Olmo3-7B con un presupuesto de 51,200 actualizaciones, entrenar durante 128 ciclos con 400 muestras superó al entrenamiento de 1 ciclo con 51,200 muestras por 12–26 puntos porcentuales en los bancos de pruebas AIME y GPQA.
Consistencia: Esta tendencia se mantiene en diferentes tamaños de modelos (Olmo3-7B, Qwen3-8B, Qwen3-4B), diferentes bancos de pruebas y diferentes fuentes de datos (dataset general Dolci frente a destilaciones específicas de matemáticas).
Punto de saturación: Las ganancias de rendimiento de los ciclos adicionales comienzan a estancarse alrededor de los 32–64 ciclos, lo que sugiere un punto de saturación donde la repetición adicional produce rendimientos decrecientes.

2. La memorización como criterio de parada

Los autores identifican una fuerte correlación entre la memorización del conjunto de entrenamiento y el rendimiento posterior.

Precisión de tokens: A medida que aumenta el número de ciclos, la precisión del modelo en los tokens del conjunto de entrenamiento se acerca al 100% (memorización completa).
Señal de convergencia: Las mejoras en el rendimiento posterior se estancan precisamente cuando el modelo alcanza una precisión casi perfecta en los tokens de los datos de entrenamiento. Esto sugiere que la precisión de los tokens de entrenamiento puede servir como un criterio de parada práctico e independiente de los datos para el escalado de ciclos, reemplazando la necesidad de un escalado de datos costoso y no dirigido.

3. Terminación y estructura de razonamiento

Existe una fuerte correlación entre la tasa de terminación y la precisión. Los modelos de un solo ciclo a menudo fallan al terminar (tasa de terminación del 24%), mientras que los modelos de múltiples ciclos (32 ciclos) logran altas tasas de terminación (89%). Esto indica que la repetición ayuda a los modelos a internalizar no solo los patrones de razonamiento, sino también la convención estructural de concluir cadenas de razonamiento largas.

4. Robustez ante la calidad de los datos y errores

Calidad del profesor: La ventaja de la repetición persiste independientemente de si los datos destilados provienen de un modelo profesor débil (0.6B) o fuerte (8B). Sin embargo, con un profesor débil, aumentar el presupuesto total de actualizaciones (escalado de datos) puede provocar una degradación del rendimiento, haciendo eco de los problemas de generalización "débil-a-fuerte".
Trayectorias negativas: Sorprendentemente, entrenar con trazas de razonamiento incorrectas (trayectorias negativas) no degrada el rendimiento y, en algunos casos (AIME'24, GPQA), produce un rendimiento comparable o ligeramente mejor que el entrenamiento con trazas correctas. Esto sugiere que la exposición a intentos de razonamiento difíciles, incluso si son erróneos, beneficia al modelo estudiante.

5. Olvido catastrófico

Aunque el entrenamiento de múltiples ciclos en conjuntos de datos pequeños conduce al sobreajuste (aumento de la pérdida de validación, disminución de la entropía), no causa un olvido catastrófico adicional en comparación con el entrenamiento de un solo ciclo en conjuntos de datos grandes. De hecho, el escalado de ciclos resulta en una menor degradación en el banco de pruebas MMLU que el escalado de datos, ofreciendo un compromiso estrictamente mejor entre el rendimiento de razonamiento y la retención de conocimiento.

Significado y afirmaciones

El artículo plantea la "ventaja de la repetición" como un fenómeno contraintuitivo donde la memorización completa de un conjunto de datos pequeño coincide con una mejor generalización en el SFT de CoT largo.

Heurística práctica: Los autores proponen un enfoque práctico para el SFT de razonamiento: escalar los ciclos hasta que la precisión de los tokens de entrenamiento se sature, en lugar de escalar los datos únicos. Esto ofrece una alternativa rentable a la adquisición de enormes cantidades de datos de CoT únicos.
Problema abierto: El artículo enmarca explícitamente la explicación de por qué la memorización bajo la repetición mejora la generalización en este contexto específico como un problema novedoso y abierto para la comunidad. Los autores señalan que, si bien identifican correlatos (memorización, comportamiento de terminación), el mecanismo causal definitivo aún debe entenderse.
Cambio de paradigma: Los hallazgos desafían la práctica estándar de la industria de entrenamiento de un solo ciclo en el conjunto de datos más grande disponible, sugiriendo que el número de ciclos y el tamaño del conjunto de datos deben tratarse como variables de decisión de primer orden en el SFT de razonamiento.

El artículo concluye que para el SFT enfocado en el razonamiento, "más muestras únicas" no siempre es mejor; bajo un cómputo fijo, "más ciclos" en conjuntos de datos más pequeños es una estrategia superior.