Resumen Técnico: MIRA-Math

Planteamiento del Problema

Los benchmarks actuales de razonamiento matemático (p. ej., GSM8K, MATH) típicamente proporcionan todos los hechos necesarios para resolver un problema, evaluando únicamente la capacidad del modelo para computar una respuesta final a partir de un estado completo. Por el contrario, los benchmarks interactivos amplios suelen confundir el razonamiento matemático con el uso de herramientas, la recuperación de información, la navegación web y la gestión de diálogos de largo horizonte. Esto crea una brecha diagnóstica: resulta difícil aislar si un modelo falla porque no puede identificar la información faltante, porque no puede solicitar esa información con precisión o porque no puede integrar la información adquirida en una solución correcta.

MIRA-Math aborda esto introduciendo un benchmark para la solicitud de información mínima. El problema central se define como la resolución de problemas matemáticos donde el estado latente completo tiene una respuesta única, pero la visión del resolutor es deliberadamente incompleta, careciendo exactamente de un hecho atómico necesario. El resolutor debe reconocer el hecho faltante, solicitarlo en lenguaje natural bajo un presupuesto estricto e integrar el hecho devuelto para producir una respuesta exacta final.

Metodología

Formalización de la Tarea

Cada instancia se genera a partir de un estado completo latente $z$ que determina una respuesta objetivo única $y = f(z)$. El resolutor recibe una vista privada $v_A = \phi_A(z)$ que omite exactamente un hecho atómico necesario. El benchmark impone dos condiciones:

1. Bien Definición Global: El estado completo (vista + hecho faltante) produce exactamente una respuesta consistente.
2. Subdeterminación Local: La vista privada del resolutor por sí sola produce múltiples respuestas consistentes.

Protocolo de Interacción

La evaluación involucra a dos agentes:

• Resolutor (Agente A): Recibe la vista privada y un presupuesto de solicitudes $B$. Emite solicitudes en lenguaje natural libre o proporciona una respuesta final.
• Poseedor de la Información (Agente B): Un LLM fijo y restringido (implementado como gpt-4o-mini en los experimentos) que posee únicamente el hecho atómico faltante. Opera bajo un protocolo de salida estructurada:
  • Oferta: Si la solicitud coincide semánticamente con el hecho contenido, devuelve el hecho con has_exact_match=true.
  • Rechazo: Si la solicitud no coincide, devuelve un mensaje de declinación fijo.
  • El poseedor no resuelve, no explica, no negocia ni ofrece pistas adicionales.

Construcción del Conjunto de Datos

MIRA-Math contiene 2,310 instancias derivadas de 22 familias matemáticas tipificadas (que cubren álgebra, probabilidad, sistemas lineales, procesamiento de señales, cadenas de Markov, etc.). El conjunto de datos se divide en dos tipos:

• Tipo A (Espacio de Pista Fijo): La información faltante está determinada estructuralmente (p. ej., una instancia de la regla de Bayes siempre omite la probabilidad a priori).
• Tipo B (Espacio de Pista Variable): La posición de la información faltante varía por instancia (p. ej., un coeficiente faltante en un sistema lineal o una resistencia faltante en un circuito), lo que requiere que el resolutor localice el espacio ausente antes de solicitarlo.

El lanzamiento incluye código generador, verificadores exactos, especificaciones canónicas de pistas y registros de interacción brutos para garantizar la reproducibilidad.

Métricas

El benchmark separa la adquisición de información de la integración matemática utilizando las siguientes métricas:

• Tasa de Acierto de Solicitud (Request Hit Rate): Proporción de solicitudes aceptadas respecto al total de mensajes.
• Éxito de la Primera Solicitud: Fracción de instancias donde la primera solicitud es aceptada.
• Descomposición a Nivel de Traza: Las instancias se clasifican en tres categorías disjuntas:
  1. No se Adquirió la Pista Canónica: El resolutor falló al solicitar el hecho correcto.
  2. Pista Adquirida, Integración Fallida: El resolutor obtuvo el hecho pero computó la respuesta incorrecta.
  3. Éxito: El resolutor adquirió el hecho y computó la respuesta correcta.

Resultados Clave

Los experimentos realizados en modelos de frontera y modelos pequeños (incluyendo gpt-5.1, Gemma-4, gemini-2.5-flash, Grok-4.20 y Llama-3.1-8B) revelan que solicitar y resolver son habilidades separables:

1. Divergencia de Habilidades: Un alto rendimiento en la solicitud no garantiza una alta precisión en la respuesta final. Por ejemplo, gemini-2.5-flash logró la mayor tasa de acierto de solicitud en configuraciones zero-shot, pero tuvo una precisión final menor que gpt-5.1 y Gemma-4. Por el contrario, Gemma-4 logró la mayor precisión final zero-shot sin haber alcanzado las métricas de solicitud más altas.
2. Modos de Fallo:
   • Fallos de Adquisición: Los modelos a menudo fallan al identificar el espacio específico faltante o preguntan de forma demasiado vaga, lo que conduce a rechazos repetidos.
   • Fallos de Integración: Los modelos más fuertes suelen adquirir con éxito la pista canónica pero fallan en la aritmética exacta descendente, la reconstrucción simbólica o la normalización de la respuesta.
3. Efectos del Prompting: El prompting de cuatro disparos (four-shot, proporcionando ejemplos de solicitudes mínimas) no mejoró el rendimiento de manera uniforme. En las familias de Tipo B, donde el espacio faltante varía, los ejemplos de pocos disparos (few-shot) a veces indujeron un "anclaje de ejemplar", causando que los modelos imitaran las formas de solicitud demostradas en lugar de adaptarse al espacio faltante específico, degradando potencialmente el rendimiento.
4. Tipo A vs. Tipo B: Las familias de Tipo B (espacios variables) no fueron uniformemente más difíciles en términos de precisión final; los modelos fuertes a menudo funcionaron mejor en el Tipo B que en el Tipo A. Sin embargo, las familias de Tipo A contenían tareas donde la solicitud era fácil pero la computación descendente era frágil (p. ej., la reconstrucción exacta del teorema del resto chino).

Significado y Reivindicaciones

El artículo posiciona a MIRA-Math no como un reemplazo para los benchmarks matemáticos de información completa, sino como una herramienta diagnóstica para exponer la estructura oculta y las brechas de evaluación. Su principal significancia radica en:

• Aislar un Cuello de Botella Específico: Mide explícitamente la capacidad de reconocer problemas subdeterminados, identificar el hecho atómico faltante y solicitarlo con precisión, separando esto de la capacidad de computar la respuesta final.
• Diseño Centrado en los Datos: Siguiendo las tendencias recientes de diseño de conjuntos de datos responsables, el lanzamiento prioriza la reproducibilidad al proporcionar generadores, verificadores y registros brutos, permitiendo a la comunidad auditar el flujo de "solicitud-a-resolución" en lugar de depender únicamente de la precisión agregada.
• Refinamiento de la Evaluación: Los resultados demuestran que el rendimiento de un modelo en los benchmarks matemáticos estándar no implica necesariamente competencia en la adquisición de información. Un modelo puede ser fuerte en matemáticas pero fallar en MIRA-Math si no puede identificar qué falta, o puede ser bueno preguntando pero fallar en la matemática.

Los autores concluyen que MIRA-Math sirve como una suite de base para futuros modelos y como una herramienta de análisis para estudiar cuándo los modelos de lenguaje solicitan información matemática faltante en lugar de adivinar, sin pretender medir la colaboración abierta, la comunicación humana o la toma de decisiones en el mundo real.