Resumen Técnico: Plantear las Preguntas Correctas (ARQ)

Declaración del Problema

Aunque los Modelos de Lenguaje Grandes (LLM) han logrado avances significativos en la resolución de tareas de razonamiento complejo (matemáticas, programación) mediante el post-entrenamiento y el andamiaje en tiempo de prueba, los enfoques actuales se centran principalmente en generar largas cadenas de pensamiento (CoT) para resolver un problema directamente o verificar soluciones propuestas. La capacidad de plantear preguntas relevantes y generadoras de ideas que descompongan un problema difícil en pasos intermedios manejables —un componente central de la inteligencia humana— ha recibido menos atención. Los métodos existentes en tiempo de inferencia (por ejemplo, Auto-Pregunta, Razonadores Analógicos) a menudo dependen de la indicación (prompting) para elicitar preguntas auxiliares, pero estos métodos muestran rendimientos decrecientes cuando se aplican a LLMs de razonamiento modernos que ya producen largas CoT. Además, existe una falta de estudio sistemático sobre si los LLMs pueden generar "piedras de paso" (subproblemas más simples y relacionados) que mejoren genuinamente la tasa de éxito en la resolución de la tarea objetivo original, y si tales capacidades de generación pueden aprenderse mediante post-entrenamiento.

Metodología: El Marco ARQ

Los autores proponen ARQ (Plantear las Preguntas Correctas), un marco que comprende dos módulos distintos: un generador de preguntas ($\phi$) y un resolvedor de problemas ($\pi$).

1. Procedimiento de Inferencia

En lugar de resolver directamente un problema objetivo $x$ para producir una solución $y \sim \pi(x)$, ARQ introduce una tubería de inferencia de múltiples pasos:

1. Generación: El generador $\phi$ produce un problema de "piedra de paso" $z$ condicionado a $x$ ($z \sim \phi(x)$). Una piedra de paso se define como un problema relevante para $x$ pero más fácil de resolver (por ejemplo, un caso especial, una versión simplificada o un subproblema relacionado).
2. Resolución de la Piedra: El resolvedor $\pi$ genera una solución $y_z$ para la piedra de paso ($y_z \sim \pi(z)$).
3. Resolución del Objetivo: El resolvedor $\pi$ se indica con el problema original $x$, la piedra de paso $z$ y su solución $y_z$ para generar la solución final $y$ ($y \sim \pi(x; z, y_z)$).

El marco admite dos estrategias para múltiples piedras:

• Secuencial: Generar piedras $z_i$ condicionadas a $x$ y todas las piedras anteriores ($z_1, \dots, z_{i-1}$).
• Recursiva: Generar una nueva piedra $z_i$ para ayudar a resolver la piedra anterior $z_{i-1}$, construyendo efectivamente un currículo a la inversa.

2. Post-Entrenamiento y Curación de Datos

Reconociendo que los LLMs listos para usar generan una mezcla de piedras de paso útiles y perjudiciales, los autores proponen una tubería de post-entrenamiento para mejorar el generador $\phi$:

• Función de Puntuación: La calidad de una piedra de paso generada $z$ se evalúa mediante la recompensa esperada del resolvedor $\pi$ al resolver el objetivo $x$ condicionado a $z. Formalmente: $S(z, x) = \mathbb{E}_{y_z, y} [R(x, y)]$, estimada mediante simulaciones de Monte Carlo.
• Ajuste Fino Supervisado (SFT): El generador se ajusta finamente sobre las piedras de mayor puntuación generadas para un conjunto de datos de problemas objetivo.
• Optimización Directa de Preferencias (DPO): Se construye un conjunto de datos de preferencias emparejando piedras de alta puntuación con piedras de baja puntuación para el mismo objetivo. El generador se ajusta finamente adicionalmente utilizando DPO para maximizar la probabilidad de generar piedras de alta puntuación sobre las de baja puntuación.
• Datos Sintéticos: Toda la tubería depende de la generación de datos sintéticos utilizando modelos de vanguardia (por ejemplo, GPT-120B) para crear los pares de entrenamiento, evitando la necesidad de una costosa anotación humana de piedras de paso.

Contribuciones Clave

1. Existencia y Transferibilidad de Buenas Piedras de Paso: El artículo demuestra que existen piedras de paso "buenas" y que son transferibles. Piedras de alta calidad generadas por un modelo fuerte mejoran significativamente la tasa de éxito de resolvedores con capacidades variables (incluidos modelos más pequeños), lo que indica que el beneficio no se debe a un sobreajuste a los sesgos de un resolvedor específico.
2. Marco ARQ: Un nuevo andamiaje en tiempo de inferencia que separa la generación de preguntas de la resolución de problemas, permitiendo el estudio de la generación de piedras de paso de forma aislada.
3. Receta de Post-Entrenamiento: Un método para ajustar finamente LLMs para que se conviertan en mejores generadores de piedras de paso utilizando datos sintéticos y una señal de recompensa derivada del rendimiento del resolvedor. Esto demuestra que la capacidad de plantear las preguntas correctas puede aprenderse.
4. Extensión Multi-Piedra: El marco se extiende para generar múltiples piedras de paso de forma secuencial o recursiva, mostrando que la generación secuencial produce mayores ganancias de rendimiento.

Resultados Experimentales

Los autores evaluaron ARQ en tres benchmarks matemáticos desafiantes: AIME 2024, AIME 2025 y BeyondAIME.

• Rendimiento en Tiempo de Inferencia: Utilizando un modelo listo para usar fuerte (GPT-120B) como generador, ARQ mejoró la tasa de éxito del resolvedor en un promedio del 13% al seleccionar la mejor piedra de paso entre 20 candidatos. Sin embargo, el rendimiento promedio entre las 20 piedras fue menor debido a la presencia de piedras perjudiciales, lo que destaca la necesidad de una mejor generación.
• Transferibilidad: Las buenas piedras de paso seleccionadas por un resolvedor de referencia (GPT-120B) mejoraron el rendimiento de resolvedores más débiles (GPT-20B, Qwen3-4B) en un grado similar al de las piedras seleccionadas por los propios resolvedores.
• Impacto del Post-Entrenamiento: El ajuste fino de Qwen3-8B y Qwen2.5-32B en el conjunto de datos sintético de piedras de paso resultó en mejoras significativas. Los modelos ajustados finamente generaron piedras que mejoraron el rendimiento del resolvedor en un 3.1% y un 2.9% respectivamente en promedio, superando la línea base "Solo Resolvedor" y las versiones pre-entrenadas.
• Escalado Multi-Piedra: Extender ARQ para generar 3 piedras de paso secuenciales mejoró aún más el rendimiento. Para GPT-120B, la puntuación en el mejor caso mejoró un 5.2% y el promedio un 3.9% en comparación con el uso de una sola piedra. La generación recursiva mostró un rendimiento fluctuante o degradado en comparación con el enfoque secuencial.
• Comparación: ARQ superó a otros métodos de pasos intermedios como Razonamiento Analógico, De Menos a Más y Planificar y Resolver. Rindió ligeramente por debajo de Auto-Refinar (refinamiento iterativo de la solución) en LLMs existentes, probablemente porque Auto-Refinar se alinea más directamente con las tuberías de entrenamiento RLVR existentes, pero ARQ sigue siendo complementario y puede combinarse con Auto-Refinar para obtener mayores ganancias.

Significado y Afirmaciones

El artículo afirma que ARQ ofrece un paso alentador hacia una dirección de investigación poco explorada: identificar qué preguntas vale la pena plantear y entrenar LLMs para generarlas. Los autores enfatizan que:

• Las piedras de paso son una capacidad de razonamiento distinta: No son meramente CoT más largas, sino que implican la construcción de problemas relacionados y más fáciles para construir intuición y verificar estrategias.
• La capacidad generativa es aprendible: La capacidad de plantear las preguntas correctas no es una propiedad inherente de todos los modelos de razonamiento, sino que puede mejorarse significativamente mediante un post-entrenamiento dirigido sobre datos sintéticos.
• Escalabilidad: El enfoque es particularmente prometedor para dominios extremadamente desafiantes (por ejemplo, matemáticas a nivel de IMO, investigación científica) donde la generación directa de soluciones es difícil, y donde los humanos utilizan rutinariamente prototipos simplificados para validar ideas.

Los autores permanecen modestos sobre la escala actual de sus experimentos de post-entrenamiento (limitados por la capacidad de cómputo y las fuentes de datos) y sugieren trabajo futuro en la escalabilidad a conjuntos de datos más grandes, otros dominios como la programación, y la exploración de RL en línea para la generación de preguntas.