Resumen Técnico: Evaluación de Agentes de LLM Aumentados con SageMath para Matemáticas Computacionales y Experimentales

Declaración del Problema

Los avances recientes en la IA para las matemáticas se han centrado predominantemente en la autoformalización (traducción de lenguaje natural a lenguajes de prueba formales como Lean o Coq) y la demostración automática de teoremas. Si bien estos enfoques han logrado un rendimiento de medalla de oro en competiciones y han resuelto problemas abiertos específicos, pasan por alto en gran medida el papel de los Sistemas de Álgebra Computacional (CAS) en el flujo de trabajo general de la investigación matemática.

En las matemáticas computacionales y experimentales (por ejemplo, álgebra conmutativa combinatoria, teoría de grafos, teoría de grupos finitos), los investigadores utilizan rutinariamente herramientas CAS como SageMath para explorar hipótesis, validar candidatos y buscar contraejemplos. Sin embargo, la integración de estos motores simbólicos en los flujos de trabajo de agentes de Modelos de Lenguaje de Gran Escala (LLM) sigue siendo poco explorada. La pregunta central de este trabajo es: ¿Hasta qué punto la retroalimentación simbólica verificable de un CAS mejora el rendimiento de los LLM de frontera en matemáticas de nivel de investigación, y cómo moldea su comportamiento en una configuración agéntica?

Metodología

Configuración Experimental

Los autores proponen una configuración agéntica de estilo ReAct donde los LLM interactúan iterativamente con dos herramientas:

1. SageMath: Un CAS de código abierto que proporciona una interfaz de Python unificada a sistemas como GAP, Singular y PARI/GP. El agente genera código, lo ejecuta en un entorno aislado (sandbox) y recibe una salida verificable.
2. Context7: Una herramienta que proporciona documentación actualizada y ejemplos de código para mitigar las alucinaciones respecto a las firmas de las API y las rutas de los módulos.

El estudio evalúa 15 modelos de frontera (incluyendo GPT-5.5, Claude Opus 4.7/4.8, Qwen 3.7-Max, variantes de DeepSeek, entre otros) sobre un subconjunto curado de 133 problemas de nivel de investigación derivados del benchmark RealMath. El conjunto de datos fue refinado para incluir solo problemas con soluciones algorítmicamente verificables (numéricas o expresiones simbólicas) adecuadas para SageMath.

Protocolo de Evaluación

La evaluación compara dos condiciones para cada modelo:

1. Línea Base sin Herramientas (Tool-Free Baseline): Razonamiento directo sin herramientas externas.
2. Configuración Agéntica Aumentada con Herramientas: Razonamiento iterativo con acceso a SageMath y Context7 (limitado a 15 llamadas a herramientas por problema).

Pipeline de Validación:
Para manejar la complejidad de la equivalencia simbólica, se emplea un pipeline de validación híbrido:

• Validador Simbólico: Compara la salida del modelo con la verdad de referencia utilizando SymPy. Si la diferencia se simplifica a cero, la respuesta se acepta.
• LLM-como-Juez (LLM-as-a-Judge): Los casos rechazados por el validador simbólico son reevaluados por tres LLM de frontera (Claude Opus 4.7, GPT-5.5, Gemini 3.5 Flash) mediante votación por mayoría para detectar expresiones matemáticamente equivalentes pero estructuralmente diferentes.

Contribuciones Clave

1. Evaluación Agéntica de Uso de Herramientas: Un estudio empírico que demuestra que el acceso a un CAS mejora significativamente el rendimiento en problemas de nivel de investigación. El estudio aísla el efecto de la retroalimentación simbólica verificable mediante una ablación controlada.
2. Refinamiento del Benchmark: Un refinamiento del benchmark RealMath, introduciendo un pipeline de post-procesamiento de múltiples etapas para filtrar problemas computables y un proceso de normalización asistido por LLM para la verificación simbólica ejecutable.
3. Análisis de Errores y Comportamiento: Un análisis granular de los fallos de ejecución, la dinámica de recuperación y las trazas de llamadas a herramientas, revelando distintos patrones de comportamiento entre agentes efectivos e inefectivos.

Resultados

Ganancias de Rendimiento

• Mejora General: El acceso a herramientas mejoró la tasa de resolución de cada modelo evaluado, con una ganancia promedio de +9.7 puntos porcentuales (pp).
• Rango de Ganancias: Las ganancias variaron significamente, desde +1.5 pp (Kimi K2.7) hasta +27.8 pp (Qwen 3.7-Max, subiendo de 42.1% a 69.9%).
• Modelos Abiertos vs. Cerrados: Los modelos de pesos abiertos ganaron significativamente más en promedio (+15.3 pp) en comparación con los modelos de frontera cerrados (+6.5 pp), debido principalmente a líneas base sin herramientas más débiles. Sin embargo, el acceso al CAS redujo la brecha de rendimiento entre modelos abiertos y cerrados.
• Top Performers: GPT-5.5 alcanzó la mayor tasa de resolución del 75.2% con el menor uso de tokens entre las configuraciones habilitadas para herramientas. Opus 4.8 le siguió con 73.7%.

Eficiencia y Uso de Tokens

• Ineficiencia de Tokens: Un mayor gasto de tokens no se correlacionó con una mayor precisión. Las configuraciones habilitadas para herramientas oscilaron entre ~34k y ~556k tokens por problema.
• Inversión de Eficiencia: En problemas resolubles por todos los modelos en la configuración sin herramientas, los modelos de pesos abiertos fueron los más eficientes en tokens. Sin embargo, en problemas resolubles solo con herramientas, los modelos cerrados (GPT-5.5, Opus 4.7/4.8) se volvieron los más eficientes, mientras que los modelos de pesos abiertos cayeron al fondo de la clasificación.

Patrones de Comportamiento

• Longitudes de Traza Bimodales: Las ejecuciones agénticas son fuertemente bimodales. Los modelos fuertes (Opus 4.7, GPT-5.5) suelen resolver problemas dentro de las primeras 3–4 interacciones con herramientas, utilizando las herramientas principalmente para verificación. Los modelos más débiles suelen agotar el presupuesto total de 15 llamadas, buscando soluciones mediante la computación.
• Dinámicas de Recuperación: La capacidad de recuperarse de llamadas fallidas varió más que las tasas de fallo brutas. Los modelos fuertes se recuperaron de los fallos el 69–77% de las veces, mientras que los modelos más débiles (ej. Sonnet 5) se recuperaron solo el 16% de las veces.
• Tipos de Error: El modo de fallo dominante fue TypeError (786 instancias), lo que refleja un manejo incorrecto del sistema de objetos de Sage en lugar de errores de sintaxis. NameError fue común en modelos que fallaron al mantener el estado del intérprete entre llamadas.

Hallazgos Específicos del Dominio

• Combinatoria: Registró la mayor ganancia media (+18.7 pp), consistente con el soporte maduro de SageMath.
• Teoría de Grupos: Sigue siendo la categoría más difícil; aunque se observaron ganancias, ningún modelo superó una tasa de resolución del 44%, y el acceso a herramientas a veces redujo las puntuaciones para modelos específicos (ej. GPT-5.5).
• Tipos de Respuesta: Los modelos generalmente funcionaron mejor en problemas numéricos que en expresiones simbólicas. El acceso a herramientas redujo significativamente esta brecha para modelos débiles en manipulación simbólica (ej. Qwen ganó +36 pp en expresiones).

Significado y Reivindicaciones

Los autores afirman que los agentes aumentados con CAS representan una dirección prometedora para asistir a los matemáticos en la exploración computacional. El estudio demuestra que:

1. La Retroalimentación Verificable es Crítica: El acceso a un CAS permite a los agentes refinar el razonamiento mediante la experimentación iterativa, emulando efectivamente un ciclo de investigación de matemáticas computacionales.
2. Descubrimiento de Conjeturas: El caso de estudio de un problema de nudo de toro retorcido ilustra cómo los agentes pueden reproducir elementos clave del flujo de trabajo de un matemático: computar objetos intermedios, identificar patrones, formular conjeturas y validarlas a través de parámetros.
3. Paso hacia la Automatización: Este trabajo se presenta como un paso hacia el descubrimiento automatizado de conjeturas, sugiriendo que la computación simbólica ejecutable puede extender sustancialmente las capacidades de razonamiento práctico de los modelos de frontera más allá de la pura demostración de teoremas.

El artículo concluye que, si bien los sistemas actuales están limitados en problemas que requieren una profunda visión teórica o conocimiento especializado contemporáneo, las ganancias observadas indican que integrar los LLM con motores simbólicos es un camino viable para avanzar en la matemática experimental.