Resumen Técnico: Razonamiento Matemático Potenciado por LLM con Preplanificación (PPC)

1. Declaración del Problema

Los métodos actuales de razonamiento basados en planes para Modelos de Lenguaje Grande (LLM) han establecido un paradigma pregunta → plan → CoT. Aunque efectivos, los autores identifican una brecha fundamental a nivel de paradigma en este enfoque: tanto la etapa de planificación como la de ejecución se dedican a decidir cómo resolver un problema (organizar pasos y llevarlos a cabo), mientras que la pregunta previa de qué resolver permanece completamente implícita.

La etapa de "qué resolver" implica reconocer el tipo de problema, identificar herramientas y conceptos aplicables, señalar condiciones de contorno y anticipar trampas. Los métodos existentes asumen que esta comprensión emerge implícitamente durante la generación del plan. Sin embargo, el análisis de errores (Figura 1) revela que una parte significativa de los fallos en los métodos actuales basados en planes no se debe a errores de cálculo, sino a la incapacidad de comprender correctamente la naturaleza del problema (por ejemplo, identificar erróneamente una ecuación cuadrática homogénea, lo que conduce a una ruta de solución ineficiente).

2. Metodología: El Marco PPC

Para cerrar esta brecha, los autores proponen PPC (Preplanificación-Plan-CoT), un marco que introduce una etapa explícita de preplanificación, creando un nuevo paradigma pregunta → preplanificación → plan → cot. La preplanificación es un análisis integral no computacional que resuelve qué resolver, dejando cómo resolver para las etapas subsiguientes de planificación y ejecución.

El marco aborda dos desafíos principales mediante una tubería específica:

Desafío 1: Construcción de Datos (Prevención de Fugas y Spoilers)

Generar una supervisión de preplanificación limpia es difícil porque los modelos tienden a recurrir a comportamientos de "cómo resolver".

• Fallo por Fuga: La preplanificación ensaya la secuencia de pasos del plan subsiguiente.
• Fallo por Spoiler: La preplanificación realiza cálculos intermedios bajo la apariencia de análisis.

Solución: Los autores diseñan una tubería de síntesis de tres etapas protegida por un detector de puntuación de spoiler.

1. Generación de Tres Etapas: Las trayectorias se generan estrictamente de izquierda a derecha: $y_{pp} \sim \pi_{pp}(\cdot|q)$, $y_p \sim \pi_p(\cdot|q, y_{pp})$ y $y_e \sim \pi_e(\cdot|q, y_p)$. El prompt de preplanificación prohíbe explícitamente derivaciones, fórmulas extendidas y valores calculados.
2. Filtrado por Puntuación de Spoiler: Una puntuación basada en reglas $s(\cdot) \in \{0, \dots, 6\}$ agrupa señales de derivación y revelación de respuestas (por ejemplo, frases como "se simplifica a", alta densidad de ecuaciones, largos segmentos de matemáticas en línea, constantes de varios dígitos). Las trayectorias se retienen solo si $s(y_{pp}) \leq \tau_s$ (donde $\tau_s=2$) Y la respuesta final es correcta. Esto asegura que la preplanificación sea pura comprensión del problema, no una solución disfrazada.

Desafío 2: Adherencia en Tiempo de Entrenamiento (Garantizando Utilidad)

Incluso con datos limpios, un modelo podría aprender a generar una preplanificación superficialmente correcta mientras la ignora durante la etapa de planificación.

Solución: Los autores extienden la Optimización de Política Relativa de Grupo (GRPO) con una función de recompensa compuesta $R(y)$ que impone una alineación estructural y semántica:
$$R(y) = R_{out}(y) + \lambda_a R_{adh}(y) + \lambda_f R_{fmt}(y) - \lambda_s R_{sty}(y)$$

• $R_{out}$ (Recompensa de Resultado): Utiliza crédito parcial basado en la proximidad de la ruta de solución juzgada por un LLM (no solo la corrección binaria) para proporcionar gradientes para trayectorias cercanas al acierto.
• $R_{adh}$ (Recompensa de Adherencia): Un crítico LLM puntúa la alineación estratégica entre la preplanificación y el plan. Crucialmente, un plan de alta calidad que ignora la preplanificación recibe una puntuación baja, forzando al modelo a seguir genuinamente la guía de la preplanificación.
• $R_{fmt}$ (Guardia de Formato): Asegura que la salida contenga exactamente una instancia de cada etiqueta (<preplan>, <plan>, <execute>) en orden con una respuesta encajonada.
• $R_{sty}$ (Penalización de Estilo): Reutiliza la puntuación de spoiler $s(\cdot)$ como penalización durante el RL. Si la preplanificación se desvía hacia contenido computacional durante el entrenamiento, la recompensa se penaliza, manteniendo la integridad conceptual establecida durante la construcción de datos.

3. Contribuciones Clave

• Conceptual: El artículo formaliza una brecha a nivel de paradigma en los métodos de razonamiento existentes: el modelado explícito de cómo resolver frente al manejo implícito de qué resolver. Propone el paradigma pregunta → preplanificación → plan → cot para abordar esto.
• Metodológico:
  • Construcción del primer conjunto de datos de razonamiento con supervisión explícita de preplanificación, protegido por un detector de puntuación de spoiler contra fallos de fuga y spoilers.
  • Diseño de una recompensa GRPO compuesta que impone explícitamente la alineación plan-preplanificación, evitando que el modelo trate la preplanificación como un paso decorativo pero ignorado.
• Empírico: Evaluación exhaustiva en cuatro arquitecturas base (Qwen3-4B, Qwen2.5-7B, Qwen2.5-Math-7B, Llama-3.1-8B) y cinco benchmarks matemáticos (AIME25, Minerva-Math, OlympiadBench, MATH-500, GSM8K).

4. Resultados Experimentales

• Rendimiento: PPC logra los mejores resultados en 39 de 40 métricas a través de todos los benchmarks y arquitecturas base.
• Mejoras: Comparado con las líneas base más fuertes (Plan-Tuning, PTA-GRPO), PPC mejora maj@16 en +2.23 y pass@16 en +3.06.
• Eficiencia: A pesar de añadir una etapa extra, PPC genera menos tokens que el CoT completo y significativamente menos que PTA-GRPO. La preplanificación y el plan restringen la ejecución a una única ruta de solución, evitando las desviaciones redundantes comunes en el CoT sin restricciones.
• Fidelidad: Las intervenciones en tiempo de inferencia (mezclar oraciones de la preplanificación, usar preplanificaciones incompatibles o marcadores genéricos) causan caídas severas de rendimiento (por ejemplo, maj@16 cayendo de 97.2 a 46.8 en Qwen3-4B con preplanificaciones incompatibles). Esto confirma que el modelo depende genuinamente del contenido de la preplanificación en lugar de simplemente producirlo.

5. Significado y Afirmaciones

El artículo afirma que la limitación principal del razonamiento basado en planes actual no es la falta de planificación, sino la falta de una etapa dedicada para la comprensión del problema. Al hacer explícito el "qué resolver" a través de la preplanificación, el modelo puede seleccionar herramientas y estrategias apropiadas antes de comprometerse con una ruta de solución.

Los autores enfatizan que esta mejora no se debe meramente a la ingeniería de prompts (como muestra la línea base "Solo Prompt" que tiene un rendimiento inferior), sino que requiere aprender el paradigma a través de la construcción específica de datos y el entrenamiento con recompensa compuesta. El marco demuestra que la comprensión explícita del problema produce mayor precisión y mayor eficiencia de inferencia simultáneamente, sin introducir sobrecarga adicional de tokens en comparación con el CoT estándar.