Strategy Executability in Mathematical Reasoning: Leveraging Human-Model Differences for Effective Guidance

1. El Problema: La Inestabilidad de la Guía Basada en Ejemplos

Aunque la guía basada en ejemplos (como soluciones trabajadas, pistas o sugerencias de razonamiento) se utiliza ampliamente para mejorar el razonamiento matemático de los Grandes Modelos de Lenguaje (LLM) en tiempo de inferencia, su efectividad es altamente inestable.

El artículo identifica una paradoja fundamental:

• Una estrategia de razonamiento puede aparecer en una solución correcta (humana o generada por un modelo) y ser semánticamente relevante para un problema.
• Sin embargo, cuando esa misma estrategia se transfiere como guía a un modelo objetivo, a menudo falla e incluso puede degradar el rendimiento.

La Causa Raíz: Los autores proponen que existe una brecha no explorada entre el uso de la estrategia (si aparece en soluciones exitosas) y la ejecutabilidad de la estrategia (si el modelo objetivo puede operar exitosamente con esa estrategia como guía bajo condiciones de inferencia fijas). Las soluciones humanas tienden a ser abstractas, estructurales y conceptuales, mientras que las soluciones de los modelos suelen ser procedimentales y algebraicas. Esta desconexión estructural hace que las estrategias humanas, aunque correctas, sean a menudo "no ejecutables" para modelos de razonamiento compactos si se les dan sin adaptación.

2. Metodología y Diagnóstico

Para abordar este problema, los autores desarrollaron un marco de diagnóstico a nivel de estrategia y una nueva arquitectura de recuperación.

A. Creación de HM-ReasoningBench

Se construyó un nuevo conjunto de datos que contiene 4,850 problemas matemáticos de alto nivel (extraídos de Omni-Math y HARP), donde cada problema tiene:

1. Una solución escrita por humanos.
2. Una solución generada por un modelo.
   Esto permite un análisis emparejado para estudiar cómo difieren las estrategias utilizadas por ambas fuentes.

B. Análisis de Diferencias Estratégicas

Mediante la abstracción de soluciones en un conjunto de estrategias de alto nivel (mapeadas a 30 plantillas canónicas), se descubrió:

• Divergencia Sistemática: Los humanos favorecen estrategias estructurales (construcciones auxiliares, simetría, invariantes), mientras que los modelos favorecen transformaciones procedimentales (manipulación algebraica, configuraciones de coordenadas).
• Disociación Uso-Ejecutabilidad: Las estrategias más frecuentes en las soluciones humanas no siempre son las más ejecutables por los modelos. Por ejemplo, en geometría, las estrategias procedimentales de los modelos son a menudo más ejecutables que las estructurales de los humanos, y viceversa en otros dominios.

C. Selective Strategy Retrieval (SSR)

Basándose en este diagnóstico, proponen SSR, un marco ligero que opera en tiempo de prueba (test-time) sin reentrenar el modelo. SSR no busca simplemente la estrategia más "correcta" o semánticamente similar, sino la más ejecutable.

Componentes de SSR:

1. Grafo de Conocimiento de Estrategias: Un grafo heterogéneo que conecta problemas, estrategias y categorías. Se entrena con aprendizaje contrastivo para aprender representaciones que capturen patrones de ejecutabilidad (qué pares problema-estrategia funcionaron en el pasado).
2. Recuperación Multi-Ruta: Para un nuevo problema, SSR recupera candidatos a través de tres rutas complementarias:
   • Ruta A (Condicionada por Categoría): Estrategias robustas para la categoría del problema.
   • Ruta B (Transferencia de Problema): Estrategias que fueron efectivas en problemas vecinos semánticamente.
   • Ruta C (Fallback Semántico): Estrategias similares por texto si la evidencia de ejecutabilidad es escasa.
3. Modelado de Ejecutabilidad: Un predictor supervisado estima la probabilidad de éxito ($U(s|x)$) de aplicar una estrategia $s$ a un problema $x$ para un modelo $m$ específico. Este predictor utiliza señales empíricas (resultados de intentos previos) y características estructurales del grafo.
4. Selección y Combinación: SSR selecciona y combina las estrategias con la mayor puntuación de ejecutabilidad estimada para guiar al modelo.

3. Contribuciones Clave

1. Identificación de la Brecha de Ejecutabilidad: Demostraron que la mera presencia de una estrategia en una solución correcta no garantiza su utilidad como guía, definiendo formalmente la "ejecutabilidad" como una propiedad operativa dependiente del modelo.
2. HM-ReasoningBench: Un benchmark de pares de soluciones (humano vs. modelo) diseñado específicamente para analizar estas diferencias estratégicas.
3. Framework SSR: Un método de inferencia que prioriza la ejecutabilidad empírica sobre la prevalencia o la similitud semántica, combinando señales de múltiples fuentes (humanas y de modelos) de manera selectiva.
4. Evidencia Empírica: Demostraron que la guía efectiva depende de la alineación operativa entre la estrategia y las fortalezas del modelo objetivo, no solo de la corrección lógica de la estrategia.

4. Resultados Experimentales

Los experimentos se realizaron en tres benchmarks (HM-ReasoningBench, AIME25 y Apex) utilizando modelos de razonamiento compactos (Qwen3-8B, Qwen3-14B, DeepSeek-R1-Distill-7B) y modelos cerrados (GPT-4.1, o3-mini).

• Mejoras de Precisión: SSR superó consistentemente a la resolución directa (Direct Solving), al aprendizaje en contexto (ICL) y a la guía de una sola fuente (solo humana o solo modelo).
  • En AIME25, SSR mejoró la precisión hasta en +13 puntos para modelos compactos.
  • En Apex (problemas extremadamente difíciles), mejoró en +5 puntos.
  • En modelos cerrados (GPT-4.1, o3-mini), se observaron mejoras de +2 a +13 puntos.
• Eficiencia: A diferencia de métodos que aumentan la carga computacional (como Tree-of-Thoughts o Self-Consistency que requieren múltiples muestras), SSR utiliza una sola generación guiada. Además, redujo el consumo de tokens de razonamiento al evitar exploraciones improductivas.
• Análisis de Fallos:
  • La guía humana redujo principalmente fallos estructurales (falta de descomposición global).
  • La guía de modelos redujo principalmente errores de manipulación algebraica.
  • SSR mitigó ambos tipos de errores al combinar estratégicamente ambas fuentes.

5. Significado e Impacto

Este trabajo cambia la perspectiva sobre cómo se debe evaluar y utilizar la guía en el razonamiento de IA:

• Evaluación Relativa al Modelo: Sugiere que la utilidad de una estrategia de razonamiento no es absoluta, sino que depende de si el modelo objetivo puede operacionalizarla. Esto implica que la "mejor" estrategia puede variar según el modelo y el contexto.
• Diseño de Entrenamiento: La desconexión sistemática entre estrategias humanas y de modelos sugiere que los datos de entrenamiento actuales podrían estar reforzando patrones procedimentales en detrimento de los estructurales. Esto podría guiar futuros esfuerzos en la creación de curricula de entrenamiento o objetivos de aprendizaje.
• Robustez en Razonamiento: SSR demuestra que la combinación inteligente de fuentes de conocimiento (humanas y sintéticas) basada en señales de ejecutabilidad empírica es una vía más robusta y eficiente para mejorar el razonamiento matemático que la simple imitación o la adición de más contexto.

En resumen, el artículo establece que para mejorar el razonamiento de los LLM, no basta con mostrarles la respuesta correcta; es crucial seleccionar y adaptar las estrategias de pensamiento que el modelo es capaz de ejecutar con éxito.