🤖 machine learning

Question Begets Question: Self-Evolving Curriculum for Reinforcement Fine-Tuning on Competition Mathematics

Este artículo presenta "Question Begets Question" (QbQ), un currículo autoevolutivo que genera iterativamente variantes de problemas a partir de las fortalezas actuales de un modelo para superar la escasez de datos y las limitaciones de los rastros de razonamiento, rompiendo con éxito las mesetas de rendimiento en el ajuste fino de matemáticas de competición al lograr una puntuación pass@1 del 16.5% en AIME.

Autores originales: Longtian Bao, Jianyou Wang, Yang Zhang, Youze Zheng, Ramamohan Paturi

Publicado 2026-08-04

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Longtian Bao, Jianyou Wang, Yang Zhang, Youze Zheng, Ramamohan Paturi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un estudiante brillante pero inexperto cómo resolver los acertijos más difíciles del mundo. Tienes una biblioteca de acertijos, pero es diminuta, y no tienes las claves de respuestas con explicaciones paso a paso —solo las respuestas finales. Intentas enseñarle al estudiante dándole más acertijos, pero sin importar cuántos añadas, el estudiante choca contra un muro. Se queda estancado en cierto nivel de habilidad y se niega a mejorar, incluso con más práctica. Este es un dolor de cabeza común para los científicos que trabajan en Inteligencia Artificial (IA). Ellos quieren que la IA aprenda habilidades complejas como las matemáticas o el derecho, pero a menudo se quedan sin buenos problemas de práctica, carecen de "procesos de pensamiento" detallados que muestren a la IA cómo pensar, y observan cómo la IA alcanza un "techo" frustrante donde simplemente deja de mejorar.

Este artículo profundiza en ese problema exacto. Los investigadores querían ver si podían romper ese techo de aprendizaje sin necesidad de que un profesor humano escribiera cada paso de la solución. Utilizaron un programa informático inteligente (un modelo de IA) y un conjunto de problemas complicados de competencias matemáticas. En lugar de simplemente alimentar a la IA con más problemas de lo mismo, inventaron un truco ingenioso llamado "Pregunta-engendra-Pregunta" (Question-begets-Question). Imagina que tienes un chef maestro que no solo le da al aprendiz más recetas, sino que toma una receta que el aprendiz está casi logrando hacer bien y ajusta los ingredientes lo justo para crear un plato nuevo, ligeramente diferente. Al crear constantemente estos nuevos desafíos, ligeramente variados basados en lo que la IA está casi dominando, los investigadores encontraron una forma de empujar a la IA más allá de sus límites.

La historia del sílabo autoevolutivo

Los investigadores comenzaron con un modelo informático llamado Qwen2.5-Math-7B. Al principio, este modelo era pésimo en un tipo específico de competencia matemática de secundaria llamada AIME. Solo podía resolver aproximadamente el 5.6% de los problemas por su cuenta. El equipo quería ver si podían enseñarle a mejorar, pero se enfrentaron a tres grandes obstáculos: la falta de problemas de práctica, la ausencia de "claves de respuesta" con el proceso de pensamiento escrito y el temor de que el modelo simplemente chocara contra un muro y dejara de aprender.

Para abordar la falta de problemas, utilizaron un método llamado Pregunta-engendra-Pregunta (QbQ). Imagina que tienes un problema matemático sobre el cálculo del área de un triángulo. Una forma normal de crear más problemas de práctica sería simplemente cambiar los números (hacer el triángulo más grande o más pequeño). Pero el "profesor" de IA de los investigadores hizo algo más inteligente. Tomó un problema que el estudiante estaba casi resolviendo correctamente y aplicó "reglas de transformación" específicas. Por ejemplo, podría cambiar la pregunta de hallar el área a hallar el radio de un círculo dentro de ese mismo triángulo, o podría pedir la respuesta en un sistema numérico diferente. Estos nuevos problemas eran frescos y diversos, pero seguían probando exactamente la misma habilidad central.

Sin embargo, el simple hecho de generar una enorme pila de estos nuevos problemas no fue suficiente. Cuando entrenaron el modelo con una mezcla estática de problemas reales y sintéticos, el modelo chocó con un techo. Mejoró del 5.6% a aproximadamente un 12.5% o 14.5%, y luego se detuvo. No importaba cuántos datos más le suministraran, el modelo no podía mejorar. Era como un estudiante que memorizaba las respuestas de un conjunto específico de exámenes de práctica pero no podía manejar un nuevo giro en la misma pregunta.

El gran avance ocurrió cuando dejaron de tratar los datos de entrenamiento como una pila estática y empezaron a tratarlos como un currículo autoevolutivo. En lugar de darle al modelo una bolsa gigante de problemas mezclados, organizaron el entrenamiento en rondas. Así es como ocurrió la magia:

La revisión: Al final de cada ronda, probaban el modelo con los problemas que acababa de aprender.
El punto ideal: Buscaban los problemas que el modelo podía resolver la mayor parte del tiempo, pero no siempre. Llamaron a esto la zona de "mayormente correcto".
La semilla: Tomaban esos problemas específicos de "mayormente correctos" y los usaban como semillas para generar la siguiente tanda de variantes nuevas y ligeramente más difíciles.
El bucle: Entrenaban al modelo con esta nueva tanda, comprobaban de nuevo, encontraban los nuevos problemas "mayormente correctos" y repetían el proceso.

¿La parte más sorprendente? Los investigadores descubrieron que el modelo mejoraba más rápido cuando practicaba con problemas que ya era bueno resolviendo, en lugar de aquellos en los que fallaba estrepitosamente. Normalmente, pensamos que aprendes corrigiendo tus mayores errores. Pero aquí, la IA aprendía mejor tomando sus "errotes por poco" (near-misses), retocándolos ligeramente y dominando esos. Era como un tenista que mejora no golpeando la pelota contra la red una y otra vez, sino tomando un saque que suele devolver con éxito y añadiéndole un pequeño efecto, una y otra vez.

Al usar este bucle autoevolutivo durante 20 rondas, el modelo no chocó contra un muro. Siguió ascendiendo. Mientras que otros métodos se estancaban alrededor del 14.5%, este enfoque autoevolutivo elevó la tasa de éxito del modelo al 16.5% (específicamente al 16.46% en sus pruebas finales) sin mostrar signos de detenerse nunca. Aún más impresionante, el modelo aprendió a resolver problemas más difíciles que nunca había visto, demostrando que el "techo" no era un límite del cerebro del modelo, sino un límite de cómo se organizaba el entrenamiento.

Los investigadores también se aseguraron de que la IA no estuviera simplemente copiando el "proceso de pensamiento" del profesor. Nunca le mostraron a la IA el razonamiento paso a paso del profesor; solo le mostraron la pregunta y la respuesta final. Esto significa que la IA aprendió a pensar por sí misma, no solo a imitar a un humano. El estudio sugiere que la razón por la que la IA a menudo se estanca no es porque sea demasiado tonta para aprender más, sino porque a menudo le estamos dando el tipo de práctica equivocado. Al remodelar constantemente el currículo para que coincida exactamente con el punto donde la IA se encuentra ahora, podemos ayudarla a romper sus propios límites.

Resumen Técnico: La Pregunta Engendra la Pregunta (QbQ)

Declaración del Problema

El artículo aborda tres obstáculos recurrentes al enseñar nuevas y difíciles habilidades a los modelos de lenguaje (LLM):

Escasez de Datos: Los datos de alta calidad para tareas complejas (p. ej., matemáticas de competición, razonamiento jurídico) suelen ser limitados.
Ausencia de Razonamiento de Verdad Fundamental (Ground-Truth): Incluso cuando existen datos, las trazas de razonamiento paso a paso correctas (oráculos) son frecuentemente indisponibles.
Techos de Aprendizaje: Los modelos a menudo alcanzan un aparente techo de rendimiento donde la adición de datos no produce más mejoras, independientemente del presupuesto de entrenamiento.

Los autores investigan estos problemas en un entorno controlado: el ajuste fino (fine-tuning) de Qwen2.5-Math-7B en problemas de AIME (American Invitational Mathematics Examination). El modelo base resuelve inicialmente solo el 5.6% de los problemas (pass@1), situando la tarea muy por encima de su capacidad actual.

Metodología

La solución propuesta consiste en dos componentes acoplados: Pregunta-engendra-Pregunta (QbQ) para la generación de datos sintéticos y un Currículo Autoevolutivo para la organización del entrenamiento.

1. Pregunta-engendra-Pregunta (QbQ)

QbQ es un procedimiento escalable para generar datos de entrenamiento sintéticos diversos sin depender de trazas de razonamiento de un profesor.

Proceso: Un modelo profesor (GPT-5-mini) transforma los problemas "semilla" existentes en nuevos variantes que sondean las mismas habilidades subyacentes pero con diferentes aspectos estructurales.
Operadores Estructurales: Para asegurar la diversidad y evitar reescrituras superficiales, el profesor está condicionado a cinco operadores diseñados por humanos:
1. Generalizar, luego especializar: Reemplazar cantidades fijas con parámetros.
2. Parametrizar y sumar: Introducir índices y solicitar agregados.
3. Cambiar la cantidad consultada: Mantener la configuración pero consultar un valor diferente que requiera el mismo lema.
4. Problema inverso: Fijar el valor objetivo y resolver para un parámetro.
5. Añadir una capa de restricción: Incrustar el cálculo dentro de una rutina adicional.
Restricciones: Las variantes deben tener respuestas diferentes a sus padres. El proceso prohíbe explícitamente cambiar únicamente los valores numéricos.
Diversidad: QbQ logra un puntaje Vendi más alto (1.59) en comparación con la aumentación sintética estándar (1.25), lo que indica una mayor diversidad efectiva.

2. Currículo Autoevolutivo

En lugar de entrenar sobre un conjunto de datos estático, el currículo adapta dinámicamente los datos de entrenamiento a las capacidades evolutivas del modelo a lo largo de $T$ rondas (20 rondas en los experimentos).

Autoevaluación: En cada ronda $t$ $t$ , el checkpoint actual $\pi_t$ $π_{t}$ es evaluado en los problemas de la ronda anterior. Los problemas se categorizan en cuatro bandas basadas en el número de respuestas correctas ( $n$ $n$ ) de un total de $k=16$ $k = 16$ ejecuciones (rollouts):
- Dominado (Mastered): $n=16$
- Mayormente Correcto (Banda Semilla): $8 \le n \le 15$
- A veces Correcto: $1 \le n \le 7$
- Nunca Correcto: $n=0$
Estrategia de Semilla: Crucialmente, el currículo selecciona problemas de la banda "Mayormente Correcto" ( $8 \le n \le 15$ ) como semillas para la generación de QbQ de la siguiente ronda. Esta es una elección de diseño deliberada para asegurar que el modelo tenga señales positivas frecuentes para el aprendizaje por refuerzo, mientras los problemas siguen siendo lo suficientemente desafiantes para proporcionar varianza de gradiente.
Entrenamiento (GRPO): El modelo se entrena utilizando Optimización de Política Relativa de Grupo (GRPO) sobre las nuevas variantes generadas.
- Sin Razonamiento Oráculo: El entrenamiento utiliza únicamente enunciados de problemas y respuestas finales. No se exponen al modelo soluciones paso a paso ni trazas de razonamiento del profesor, evitando preocupaciones de destilación y modelando escenarios donde los oráculos no están disponibles.
- Recompensa: Recompensa de corrección binaria más un pequeño bono por cumplimiento de formato.
Evolución: Tras el entrenamiento, los problemas se reevalúan. Aquellos que se vuelven "Dominados" se descartan; aquellos que permanecen en la banda "Mayormente Correcto" se convierten en semillas para la siguiente ronda. Los problemas que caen por debajo de la banda se descartan. Esto asegura que la distribución de entrenamiento evolucione con la competencia del modelo.

Contribuciones Clave

Método QbQ: Un método basado en operadores escalable para generar diversos problemas de entrenamiento sintéticos que evita el colapso de la diversidad común en la aumentación estática.
Identificación del Techo: Documentación de que el entrenamiento estático (tanto de datos reales más sintéticos como de QbQ sin currículo) alcanza un plateau de rendimiento (limitándose en ~12.5% y 14.5% respectivamente) a pesar del aumento del volumen de datos.
Currículo Autoevolutivo: Un novedoso currículo iterativo que rompe el techo de rendimiento bajo un presupuesto de datos idéntico, elevando el pass@1 de 5.6% a 16.5% sin signos de saturación tras 20 rondas.
Principio de Entrenamiento Contraintuitivo: El hallazgo de que los modelos mejoran más cuando se entrena con variantes de problemas que pueden resolver mayormente bien (éxitos cercanos), en lugar de sus fallos más difíciles o problemas dominados. Este enfoque también permite la generalización a problemas más difíciles nunca vistos durante el entrenamiento.

Resultados Experimentales

Los experimentos se realizaron con Qwen2.5-Math-7B utilizando 1,005 problemas históricos de AIME para el entrenamiento y problemas de AIME 2025/2026 dejados fuera (held-out) para las pruebas.

Baselines (Líneas Base):
- Modelo Base: 5.62% pass@1.
- Aprendizaje Supervisado (SFT) + GRPO sobre datos originales: 11.53% pass@1.
- Aumentación Estática (Real + 5k sintéticos): 12.05% pass@1.
- QbQ Sin Currículo (6k sintéticos, mezclados): 14.44% pass@1.
Resultado Principal (Currículo QbQ):
- Logró 16.46% ± 0.45% pass@1.
- A diferencia de los métodos estáticos, el rendimiento continuó mejorando a través de las 3,000 actualizaciones de GRPO sin estancarse.
- La ganancia de 2.02 puntos sobre el QbQ sin currículo (que utilizó exactamente los mismos datos y cómputo) aísla la organización del currículo como la fuente de mejora.
Generalización:
- En un subconjunto de 499 problemas reales "difíciles" donde el modelo inicial tenía 0.0% de precisión y que nunca fueron seleccionados como semillas, el modelo entrenado con el currículo mejoró el pass@1 de 0.0% a 5.3%.

Significado y Afirmaciones

El artículo afirma que el aparente techo de aprendizaje observado en el ajuste fino por refuerzo no es intrínseco a la arquitectura del modelo, sino que surge de la distribución de entrenamiento. Al curar dinámicamente un currículo basado en "éxitos cercanos" y generar variantes diversas mediante QbQ, el modelo puede seguir aprendiendo eficazmente sin acceso a trazas de razonamiento de verdad fundamental.

Los autores enfatizan que este enfoque:

Evita la necesidad de trazas de razonamiento experto costosas o indisponibles.
Mitiga las preocupaciones sobre la destilación de conocimiento de los modelos profesor.
Demuestra que los modelos pueden generalizar a problemas más difíciles que los encontrados durante el bucle de entrenamiento.
Desafía la intuición prevalente de que los modelos aprenden mejor de sus fallos más difíciles, sugiriendo en su lugar que entrenar en el "borde de la competencia" (problemas resueltos mayormente bien) es más efectivo para la adquisición de habilidades en este dominio.