💬 NLP

QuestA: Expanding Reasoning Capacity in LLMs via Question Augmentation

El artículo presenta QuestA, un método que utiliza la ampliación de preguntas mediante soluciones parciales durante el entrenamiento por refuerzo para mejorar significativamente la capacidad de razonamiento matemático de modelos de lenguaje grandes, logrando resultados de vanguardia en benchmarks complejos incluso con modelos de 1.5B parámetros.

Autores originales: Jiazheng Li, Hongzhou Lin, Hong Lu, Kaiyue Wen, Zaiwen Yang, Jiaxuan Gao, Yi Wu, Jingzhao Zhang

Publicado 2026-04-01

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jiazheng Li, Hongzhou Lin, Hong Lu, Kaiyue Wen, Zaiwen Yang, Jiaxuan Gao, Yi Wu, Jingzhao Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que estás aprendiendo a resolver problemas matemáticos muy difíciles, como los que aparecen en olimpiadas internacionales. Tienes un "cerebro" artificial (una Inteligencia Artificial) que es muy inteligente, pero a veces se atasca cuando el problema es demasiado complejo.

Este paper presenta una nueva técnica llamada QUESTA (Question Augmentation, o "Aumento de Preguntas") que actúa como un entrenador personal muy sabio para estas IAs.

Aquí te explico cómo funciona con analogías sencillas:

1. El Problema: El Muro de la Frustración

Imagina que le das a tu IA un problema de matemáticas extremadamente difícil.

Sin ayuda: La IA intenta resolverlo desde cero, falla una y otra vez. Como nunca acierta, no recibe "premios" (recompensas) y se desanima. Es como intentar aprender a tocar un concierto de piano complejo sin saber ni las notas básicas; te frustras y no aprendes nada nuevo.
El error común: Algunos entrenadores le dan problemas fáciles para que la IA gane confianza. Pero la IA se vuelve un "experto en cosas fáciles" y pierde su capacidad de pensar en cosas nuevas. Es como si un atleta solo entrenara levantando pesas de 1 kilo; se vuelve muy rápido en eso, pero no puede levantar 100 kilos cuando lo necesita.

2. La Solución: QUESTA (El Andamio de la Construcción)

Aquí es donde entra QUESTA. En lugar de darle el problema completo y difícil, o uno demasiado fácil, QUESTA le da una pista parcial.

Imagina que la solución a un problema es como construir una casa de 10 pisos.

El método antiguo: Le decías a la IA: "¡Construye la casa de 10 pisos!". Si no sabía cómo empezar, se quedaba paralizada.
El método QUESTA: Le dices: "Aquí tienes los cimientos y los primeros 5 pisos ya construidos. Ahora, tú termina los últimos 5 pisos".

Al darle los primeros pasos (la "solución parcial"), la IA puede ver el camino hacia la meta. Esto le permite:

Entender el camino: Ya no está adivinando ciegamente.
Recibir premios: Al completar los últimos pisos correctamente, recibe su "premio" y aprende.
Aprender a construir desde cero: Con el tiempo, la IA internaliza cómo se construyeron esos primeros pisos. Eventualmente, puede construir la casa entera sin que tú le des los cimientos.

3. El Entrenamiento Progresivo (El Curso de Nivelación)

Los autores no se quedan solo con las pistas. Usan un sistema de "curriculum" (plan de estudios) inteligente:

Fase 1: Dan muchas pistas (ej. los primeros 50% de la solución). La IA aprende rápido y con confianza.
Fase 2: Reducen las pistas (ej. solo los primeros 25%). La IA tiene que esforzarse un poco más, pero ya sabe cómo hacerlo.
Fase 3: ¡Sin pistas! La IA ahora resuelve el problema completo por sí misma.

Es como un entrenador de natación que primero te pone un flotador, luego te lo quita un poco, y al final te deja nadar en aguas profundas.

4. Los Resultados: Pequeños Gigantes

Lo más impresionante de este trabajo es que lo lograron con modelos de IA pequeños (de 1.5 mil millones de parámetros).

La analogía: Imagina que logras que un niño de 10 años resuelva problemas de matemáticas de nivel universitario, superando a estudiantes universitarios normales.
El logro: Con QUESTA, estos modelos pequeños superaron a modelos mucho más grandes y famosos (como DeepSeek-R1 de 32 mil millones de parámetros) en pruebas de matemáticas muy difíciles (AIME, HMMT).

En Resumen

QUESTA es como darle a un estudiante inteligente un "mapa parcial" de un territorio desconocido en lugar de dejarlo perdido en la selva o darle un mapa de un parque de atracciones.

Sin QUESTA: La IA se estanca o se vuelve tonta en cosas fáciles.
Con QUESTA: La IA aprende a pensar, explora nuevas ideas y resuelve problemas que antes le eran imposibles, todo sin cambiar su arquitectura interna, solo cambiando cómo se le presentan las preguntas.

Es una prueba de que, a veces, para hacer a una máquina más inteligente, no necesitas hacerla más grande; necesitas enseñarle mejor.

Título: QUESTA: Expansión de la Capacidad de Razonamiento en LLMs mediante Aumento de Preguntas

1. El Problema

El Aprendizaje por Refuerzo (RL), y específicamente el RL con Recompensas Verificables (RLVR), se ha convertido en el paradigma central para entrenar Modelos de Lenguaje Grandes (LLMs) en tareas de razonamiento. Sin embargo, investigaciones recientes han puesto en duda la capacidad del RL para expandir la capacidad de razonamiento intrínseca de un modelo más allá de su conocimiento base.

Se han identificado dos problemas principales al aplicar RL en tareas de razonamiento complejo:

Entrenamiento en problemas fáciles: Si el modelo se entrena en problemas que ya puede resolver, tiende a sobreajustarse a patrones superficiales, colapsando la entropía de la salida y degradando la capacidad de explorar nuevas trayectorias de solución. Esto resulta en una disminución de la métrica pass@k (precisión al generar múltiples muestras) a medida que aumenta $k$ .
Entrenamiento en problemas difíciles: Aunque entrenar en problemas difíciles es necesario para expandir la capacidad, el proceso es extremadamente lento e ineficiente. Las señales de recompensa son escasas (sparse rewards) porque el modelo rara vez encuentra una solución correcta por azar, lo que impide que el algoritmo de RL reciba gradientes útiles para actualizarse.

Existe una tensión fundamental: los problemas fáciles diluyen la capacidad de razonamiento, mientras que los problemas difíciles detienen el aprendizaje debido a la ineficiencia muestral.

2. Metodología: QUESTA (Question Augmentation)

Para resolver esta tensión, los autores proponen QUESTA, una estrategia simple pero efectiva que utiliza el Aumento de Preguntas mediante la inyección de soluciones parciales durante el entrenamiento.

Mecanismo Central: En lugar de presentar la pregunta original, QUESTA adjunta un "hint" (pista) al prompt. Este hint consiste en los primeros $p\%$ de la solución completa (el esquema de la solución o solution sketch), extraído de datos de entrenamiento supervisado (SFT).
Curriculum Dinámico: El método utiliza un enfoque de dos etapas para ajustar la dificultad:
1. Fase 1 (Pista fuerte): Se entrena con una porción grande de la solución (ej. $p=50\%$ ). Esto reduce la dificultad del problema, proporcionando señales de recompensa más densas y permitiendo que el modelo aprenda rápidamente las primeras etapas del razonamiento.
2. Fase 2 (Pista reducida): Se reduce la porción de la pista (ej. $p=25\%$ ). Esto obliga al modelo a completar más del razonamiento por sí mismo, transicionando suavemente hacia la capacidad de razonamiento autónomo.
Integración: QUESTA es ortogonal a los algoritmos de RL subyacentes (como GRPO o DAPO). No modifica la función de recompensa ni la arquitectura del modelo, sino que transforma los datos de entrada (prompts) para hacer las tareas de alta dificultad más tratables.
Selección de Datos: Se aplica exclusivamente a problemas donde la tasa de éxito del modelo base es cercana a cero, filtrando un conjunto masivo (OpenR1-Math-220K) para identificar los casos más difíciles y luego augmentándolos.

3. Contribuciones Clave

Análisis Empírico de la Dificultad: Demuestran experimentalmente que el entrenamiento con RL en prompts fáciles reduce la capacidad de razonamiento (disminución de pass@k), mientras que el entrenamiento directo en problemas difíciles es demasiado lento.
Propuesta de QUESTA: Introducen un marco de aumento de datos que inyecta soluciones parciales para crear un "andamio" (scaffolding) en el entrenamiento. Esto permite que los modelos aprendan problemas que de otro modo serían inaccesibles.
Análisis Teórico: Proporcionan una justificación teórica que demuestra que el uso de pistas (hints) reduce la complejidad de la muestra necesaria. Teóricamente, si un modelo no puede intersectar el conjunto de soluciones con alta probabilidad, el RL se estanca. Al añadir una pista, la probabilidad de encontrar una trayectoria correcta aumenta cuadráticamente, acelerando la convergencia.
Rendimiento de Estado del Arte (SOTA): Logran resultados sin precedentes en modelos pequeños (1.5B parámetros), superando a modelos mucho más grandes en benchmarks de matemáticas.

4. Resultados Experimentales

Los experimentos se centraron en modelos de 1.5B parámetros (Nemotron-1.5B y DeepScaleR-1.5B) entrenados en tareas de razonamiento matemático.

Mejoras en Benchmarks: QUESTA-Nemotron-1.5B alcanzó nuevos récords en modelos de 1.5B:
- AIME24: 72.50% (+10.73% sobre la línea base).
- AIME25: 62.29% (+12.79% sobre la línea base).
- HMMT25: 41.67% (+10.11% sobre la línea base).
Comparación con Modelos Grandes: El modelo QUESTA de 1.5B superó consistentemente al DeepSeek-R1-Distill-32B (un modelo 20 veces más grande) en varios benchmarks, demostrando la eficacia del método para potenciar modelos pequeños.
Estabilidad de Pass@k: A diferencia del RL estándar que suele degradar el pass@k a valores altos de $k$ , QUESTA mantiene e incluso mejora la diversidad de soluciones, evitando el colapso de entropía.
Generalización: Las mejoras se mantienen incluso cuando las pistas se eliminan durante la evaluación (inferencia), lo que indica que el modelo ha internalizado la capacidad de razonamiento y no solo está memorizando las pistas.

5. Significado e Impacto

El trabajo de QUESTA es significativo por varias razones:

Eficiencia de Muestra: Resuelve el cuello de botella de la ineficiencia en el RL para tareas difíciles, permitiendo que modelos pequeños aprendan conceptos complejos con menos pasos de entrenamiento.
Paradigma de Entrenamiento: Sugiere que la clave para expandir la capacidad de razonamiento no es solo aumentar la dificultad, sino estructurarla dinámicamente mediante andamiaje (scaffolding) que se retira gradualmente.
Escalabilidad: Demuestra que no es necesario entrenar modelos masivos (decenas de miles de millones de parámetros) para alcanzar un alto rendimiento en razonamiento matemático si se utiliza una estrategia de datos y entrenamiento óptima.
Aplicabilidad General: Aunque se probó en matemáticas, los autores sugieren que el enfoque es generalizable a otras áreas como codificación competitiva, ingeniería de software y tareas de agentes.

En resumen, QUESTA demuestra que mediante una ingeniería de datos inteligente (aumento con soluciones parciales), es posible desbloquear y expandir significativamente las capacidades de razonamiento de modelos de lenguaje, superando las limitaciones actuales del entrenamiento por refuerzo puro.