🤖 AI

Learning to Coordinate Symbolic Tools: LLM Agents for Verified Sum-of-Squares Certificates

Este artículo presenta un agente de LLM que logra un alto éxito en la generación de certificados de suma de cuadrados ponderados verificados mediante la combinación de ajuste fino supervisado sobre 1.35 millones de ejemplos sintéticos de polinomios, optimización de política relativa de grupo con recompensas simbólicas y el uso nativo de la herramienta SymPy para la verificación exacta.

Autores originales: Bohan Chen, Shivam N. Patel, Richard Hoffmann, Sam Looi, Tony Yue Yu

Publicado 2026-08-04

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bohan Chen, Shivam N. Patel, Richard Hoffmann, Sam Looi, Tony Yue Yu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras son brillantes siguiendo instrucciones pero terribles para determinar qué instrucciones seguir. Esta es la frontera actual de la Inteligencia Artificial, específicamente para los Modelos de Lenguaje Extensos (LLM)—los chatbots superinteligentes que pueden escribir historias, código y resolver acertijos. Aunque estos modelos son excelentes adivinando la siguiente palabra en una oración, suelen tropezar cuando un problema requiere una larga cadena de pasos lógicos, como una demostración matemática compleja. Para solucionar esto, los científicos están enseñando a estos agentes de IA a usar "herramientas", de forma muy similar a como un matemático humano toma una calculadora, una regla o un programa especializado. La gran pregunta no es solo si la IA puede usar la herramienta, sino si puede aprender a coordinar todo un conjunto de herramientas para resolver un rompecabezas que ningún instrumento por sí solo puede descifrar. Es la diferencia entre tener un martillo y saber exactamente cuándo martillar, cuándo atornillar y cuándo detenerse antes de romper la pared.

Este artículo profundiza en ese desafío exacto utilizando un tipo específico de acertijo matemático llamado descomposición de "Suma de Cuadrados" (SOS). Piensa en esto como intentar demostrar que una ecuación polinómica complicada y desordenada es siempre positiva (nunca negativa), sin importar qué números introduzcas en ella. El "truco" para demostrarlo es reorganizar la ecuación para que parezca una suma de cuadrados perfectos (como $x^2 + y^2$ ), porque los cuadrados siempre son positivos. Sin embargo, encontrar la forma correcta de reorganizar la ecuación es como intentar resolver un Cubo de Rubik con los ojos vendados: hay millones de formas de girar las piezas, pero solo unas pocas conducen a una solución. Los autores construyeron un agente de IA especial que aprende a usar una herramienta de matemática simbólica (SymPy) para verificar su trabajo instantáneamente. Entrenaron a este agente no solo en el rompecabezas final, sino también en una biblioteca masiva de 1.35 millones de problemas algebraicos más pequeños y simples primero.

Los resultados muestran que simplemente darle una herramienta a una IA no es suficiente; la IA necesita estar "fundamentada en el álgebra", lo que significa que debe comprender profundamente la matemática detrás de la herramienta antes de poder usarla de manera efectiva. Cuando los investigadores probaron su agente totalmente entrenado (que había aprendido la matemática y cómo usar la herramienta), resolvió con éxito el 78.96% de los complejos acertijos. En contraste, una versión de la IA que tenía la misma herramienta pero no había sido entrenada en la matemática subyacente, solo resolvió el 44.73% de ellos. Aún más impresionante, el agente totalmente entrenado tuvo una precisión del 91.75% a través de nueve tipos diferentes de tareas algebraicas. El estudio sugiere que para que la IA se convierta en un verdadero solucionador de problemas, debe aprender el "oficio" del oficio, no solo los "botones" que presionar.

La historia del detective matemático

Imagina que eres un detective tratando de resolver un caso donde el sospechoso es una ecuación algebraica gigante y desordenada. Tu trabajo es demostrar que esta ecuación es siempre "buena" (positiva) y nunca "mala" (negativa). La única forma de demostrarlo es descomponer la ecuación en una pila de cuadrados perfectos, como apilar ladrillos que son todos positivos. Si puedes demostrar que la ecuación es solo una pila de estos ladrillos, habrás resuelto el caso.

Pero aquí está el truco: la ecuación está escrita de una manera desordenada y confusa. Para desenredarla, necesitas una especial "Varita Mágica Matemática" (un programa de computadora llamado SymPy) que puede expandir, encoger o reorganizar partes de la ecuación instantáneamente. El problema es que la varita no te dice qué hacer; simplemente hace lo que le pidas. Si le pides que expanda la parte equivocada, podrías empeorar el desastre. Tienes que decidir qué parte girar, cuándo detenerte y cómo volver a unir las piezas.

Los investigadores de Caltech y OpenAI querían ver si podían enseñar a una IA a ser este detective. No solo le dieron la varita a la IA; construyeron un campamento de entrenamiento. Crearon 1.35 millones de problemas de práctica. Primero, la IA practicó tareas simples como ordenar letras, agrupar elementos similares y factorizar números. Luego, le enseñaron cómo usar la varita en un entorno simulado, mostrándole qué sucede cuando le pides a la varita que haga algo. Finalmente, dejaron que la IA intentara resolver los grandes acertijos de "Suma de Cuadrados" usando la varita real.

Los grandes hallazgos: El entrenamiento vence a las herramientas

El experimento comparó cuatro versiones diferentes del detective de IA:

El Novato (Base): Una IA que nunca ha visto el campamento de entrenamiento y no tiene la varita.
El Estudiante (SFT): Una IA que ha estudiado el campamento de entrenamiento pero no tiene la varita durante la prueba.
El Usuario de Herramientas (Base+Tools): El Novato al que de repente se le entrega la varita pero no ha estudiado.
El Maestro (Full): El Estudiante que había estudiado el campamento y recibió la varita.

Los resultados fueron una clara victoria para el Maestro. Cuando se enfrentaron a los complejos acertijos:

El Novato con la varita solo resolvió aproximadamente el 44.73% de ellos.
El Maestro (que conocía la matemática y tenía la varita) resolvió el 78.96% de ellos.

Esto demuestra un punto crucial: simplemente entregar una herramienta poderosa a una IA inteligente no es suficiente. La IA necesita entender la lógica detrás de la herramienta. Es como darle a un maestro chef un horno de alta tecnología; si no saben cocinar, el horno no les servirá de nada. Pero si conocen las recetas, el horno los hace imparables.

El estudio también comprobó si este intenso entrenamiento matemático hacía que la IA fuera peor en otras cosas, como problemas matemáticos generales. No fue así. El Maestro de la IA incluso mejoró ligeramente en problemas matemáticos generales, obteniendo un 96.29% en una prueba estándar, lo que muestra que aprender a coordinar herramientas no dañó sus otras habilidades.

Lo que la IA aprendió (y lo que no)

El artículo es muy cuidadoso con lo que afirma. No dice que la IA sea ahora un genio que pueda resolver cualquier problema matemático del mundo. Los acertijos utilizados fueron sintéticos (creados por una computadora) y relativamente pequeños, involucrando solo de uno a tres elementos. La IA no "descubrió" nueva matemática; aprendió a coordinar herramientas existentes para encontrar un tipo específico de demostración.

Sin embargo, el estudio también descarta una suposición común: que puedes simplemente colocar una interfaz de herramienta sobre un modelo y esperar que funcione. La versión "Usuario de Herramientas" (Base+Tools) funcionó peor que la versión "Estudiante" (SFT) que no tenía herramienta alguna pero había estudiado la matemática. Esto sugiere que, sin la comprensión profunda del álgebra, la herramienta en realidad confundió a la IA, llevándola a tomar malas decisiones.

Los investigadores también observaron que la IA a veces fallaba de tres maneras específicas: se rendía demasiado pronto, construía una solución que parecía correcta pero era estructuralmente errónea, o construía una solución que era estructuralmente correcta pero que en realidad no coincidía con la ecuación original. El "verificador exacto" en su sistema detectó todos estos errores, asegurando que solo se contaran las soluciones perfectas.

La conclusión

Este artículo ofrece un plano para construir agentes de IA más inteligentes. Sugiere que el futuro de la IA en campos como las matemáticas y la ciencia no se trata solo de modelos más grandes o herramientas más sofisticadas. Se trata de coordinación. Al entrenar a una IA en las habilidades fundamentales de un dominio (como el álgebra) y luego enseñarle cómo usar herramientas para verificar su propio trabajo, podemos crear agentes que sean mucho más confiables. El Maestro de la IA no solo adivinó; planeó, ejecutó, verificó y corrigió, tal como lo hace un experto humano. Aunque este estudio específico estuvo limitado a un entorno matemático controlado, ilumina un camino a seguir sobre cómo podríamos enseñar a la IA a abordar problemas más difíciles y reales en el futuro.

Resumen Técnico: Aprendizaje para la Coordinación de Herramientas Simbólicas para Certificados de Suma de Cuadrados Verificados

Planteamiento del Problema
El artículo aborda el desafío de permitir que los Modelos de Lenguaje de Gran Escala (LLM) coordinen operaciones simbólicas exactas durante una búsqueda de múltiples pasos, en lugar de simplemente ejecutar transformaciones algebraicas aisladas. Aunque los agentes que utilizan herramientas pueden invocar computación externa, aún deben decidir qué operaciones son útiles, construir argumentos, interpretar observaciones, recuperarse de resultados no útiles y determinar cuándo detenerse. Los autores se centran en la descomposición de Suma de Cuadrados (SOS) ponderada como un banco de pruebas controlado. Un certificado SOS prueba la no negatividad de un polinomio $f$ mediante una identidad $f = \sum c_j p_j^2$ con $c_j \in \mathbb{Q}_{>0}$ . Si bien verificar tal identidad es exacto y económico (mediante expansión), encontrar una no es único y es estratégico; la corrección algebraica local no garantiza una descomposición globalmente válida, y el espacio de búsqueda requiere elegir entre reagrupaciones no únicas.

Metodología
Los autores proponen un flujo de trabajo de post-entrenamiento basado en el álgebra aplicado al modelo base Phi-4-reasoning-plus. El enfoque combina el entrenamiento de habilidades específicas de dominio, herramientas simbólicas ejecutables y optimización basada en verificadores.

Currículo Sintético: Los autores construyeron un conjunto de datos de 1.35 millones de ejemplos sintéticos que cubren nueve tareas:
- Ocho tareas de apoyo: Cuatro operaciones "locales" (orden lexicográfico, recolección, expansión, factorización) y cuatro tareas "estructurales" (forma de Horner, reducción simétrica, cociente/resto, GCD extendido). Estas se resuelven mediante predicción directa sin acceso nativo a herramientas durante el entrenamiento y la evaluación.
- Tarea compuesta: Búsqueda de SOS ponderada, que requiere la coordinación secuencial de las capacidades anteriores.
- Generación: Las instancias de SOS se generan hacia atrás mediante el muestreo de polinomios base y pesos enteros, expandiéndolos y desordenando el resultado. La descomposición oculta nunca se le revela al modelo.
Ajuste Fino Supervisado (SFT):
- El modelo se somete a un SFT mediante QLoRA (rank 32, escala 16) sobre los 1.35 millones de ejemplos.
- Diseño Crucial: El corpus de SFT no contiene mensajes de llamada a funciones nativas. En su lugar, los registros de SOS incluyen trazas simbólicas simuladas (fragmentos tipo Python y resultados observados) para enseñar la lógica algebraica y las representaciones. Las tareas directas usan pares de problema-respuesta.
Optimización de Política de Grupo Relativa Basada en Verificador (GRPO):
- La segunda etapa optimiza el modelo SFT utilizando recompensas simbólicas específicas de la tarea.
- Estructura de Recompensa: Las recompensas se basan en el estado algebraico exacto alcanzado (por ejemplo, identidad de coeficientes, validez estructural) en lugar de la coincidencia de cadenas superficial. Para SOS, la recompensa está condicionada por la capacidad de parsear una estructura de cuadrados ponderados con pesos racales positivos y un residuo de coeficiente exacto.
- Esto permite al modelo aprender de múltiples rutas de descomposición válidas en lugar de imitar una única trayectoria de referencia.
Despliegue y Evaluación:
- Interfaz Nativa: Durante la evaluación de weighted-SOS, el sistema "Full" (SFT + GRPO) y "Base+Tools" (Base + Tools) interactúan con una interfaz nativa de SymPy que contiene cuatro funciones: expand_polynomial, collect_terms, reorder_polynomial y factorize_polynomial.
- Verificación: Cada respuesta final de SOS es comprobada por un verificador exacto que expande la identidad candidata y compara los coeficientes.
- Entorno Controlado: La evaluación utiliza 90,000 instancias de prueba generadas por separado (10,000 por tarea). El estudio compara cuatro configuraciones: Base, SFT, Base+Tools y Full.

Contribuciones Clave

Un Banco de Pruebas de Agente Exactamente Verificable: El trabajo instancia la coordinación de herramientas simbólicas como una búsqueda de certificados de SOS ponderados, apoyada por un currículo sintético a gran escala y un verificador exacto estricto.
Una Receta de Post-Entrenamiento Basada en el Álgebra: El flujo de trabajo integra el entrenamiento algebraico directo, trazas simbólicas simuladas, GRPO basado en verificadores y una interfaz de herramienta nativa, demostrando que entrenar en las operaciones detrás de una herramienta complementa el aprendizaje de la interfaz de la herramienta.
Evidencia de Sistema Completo: El estudio proporciona evidencia empírica comparando sistemas completos (Base, SFT, Base+Tools, Full) en una tarea controlada, distinguiendo entre la habilidad algebraica a nivel de checkpoint y la coordinación de herramientas a nivel de sistema.

Resultos

Desempeño Algebraico Directo: En las ocho tareas de apoyo (evaluadas sin herramientas), el sistema Full logra una precisión promedio macro de 93.35%, superando significativamente al SFT (78.08%) y al modelo Base (42.01%).
Desempeño de Weighted-SOS: En la tarea de llamada a herramientas nativas, el sistema Full alcanza un 78.96% de éxito verificado. Esto se compara favorablemente con:
- Base+Tools: 44.73% (mismo esqueleto base, mismas herramientas, sin SFT/GRPO).
- SFT: 51.82% (entrenado en trazas simuladas pero sin herramientas nativas en la evaluación).
- Base: 7.63%.
Desempeño de Nivel de Sistema: Incluyendo la tarea SOS, el sistema Full logra un promedio macro de 9 tareas de 91.75%.
Retención: El sistema Full no muestra una pérdida obvia en el desempeño matemático general en las pruebas de retención AIME-90 (38.89%) y GSM-8K (96.29%) en comparación con SFT.
Análisis de Fallos: La verificación exacta separa los fallos de búsqueda en tres clases: finalización prematura/abstención, fallo estructural (forma SOS inválida) e fallo de identidad (forma correcta pero polinomio incorrecto).

Significado y Reivindicaciones
El artículo afirma que el fundamento algebraico (entrenar en las operaciones y representaciones detrás de una herramienta) es un complemento plausible al acceso a herramientas. La brecha significativa entre Base+Tools (44.73%) y Full (78.96%) sugiere que aprender la lógica algebraica subyacente permite al agente coordinar mejor las operaciones simbólicas exactas durante la búsqueda de múltiples pasos.

Los autores posicionan este trabajo como un estudio de caso en la combinación de entrenamiento de habilidades específicas de dominio, herramientas ejecutables y retroalimentación de verificadores. Declaran explícitamente que el objetivo no es alcanzar el estado del arte en la demostración de desigualdades o la clasificación general de no negatividad de polinomios, sino estudiar la coordinación secuencial de herramientas exactas en un entorno controlado donde los resultados son verificables por máquina. Los resultados apoyan el tratamiento de la habilidad algebraica aprendida, la interacción con herramientas y la verificación exacta como componentes distintos pero necesarios de un sistema completo.

Limitaciones
Los autores señalan que la evidencia es limitada a problemas sintéticos del mismo generador con 1–3 variables, un único esqueleto y una sola ejecución por etapa. El diseño experimental compara configuraciones completas y no aísla causalmente los efectos de los componentes individuales (por ejemplo, SFT vs. GRPO vs. herramientas) o de tareas de apoyo específicas. El estudio no cubre benchmarks naturales, polinomios más grandes o transferencia entre diferentes esqueletos.

La historia del detective matemático

Los grandes hallazgos: El entrenamiento vence a las herramientas

Lo que la IA aprendió (y lo que no)

La conclusión

Más como este