Code2Math: Can Your Code Agent Effectively Evolve Math Problems Through Exploration?

Este trabajo presenta un marco multiagente basado en código que demuestra cómo los agentes de lenguaje pueden evolucionar problemas matemáticos existentes hacia variantes más complejas y resolubles, abordando así la escasez de datos de entrenamiento de alta calidad.

Lo esencial

¡Claro que sí! Imagina que los modelos de inteligencia artificial (como los chatbots avanzados) son como estudiantes geniales que han estudiado muchísimo matemáticas. Pueden resolver problemas difíciles, pero para que sigan mejorando y lleguen a ser verdaderos "campeones olímpicos", necesitan más ejercicios nuevos y retadores.

El problema es que crear esos ejercicios nuevos es muy difícil. Normalmente, se necesita un matemático experto humano para inventar un problema nuevo que sea justo lo suficientemente difícil para desafiar al estudiante, pero que tenga solución. Es como intentar inventar un nuevo nivel de un videojuego que sea perfecto: si es muy fácil, aburre; si es imposible, frustra.

Aquí es donde entra el trabajo de este paper, llamado "Code2Math".

La Gran Idea: El "Entrenador de Videojuegos" Automático

En lugar de que un humano invente el problema, los autores crearon un sistema de agentes de IA (una especie de equipo de robots) que actúa como un entrenador de videojuegos.

Su misión es tomar un problema matemático existente (el "nivel actual") y usar código de computadora para modificarlo, hacerlo más difícil y verificar que siga siendo posible de resolver.

¿Cómo funciona este equipo de robots?

Imagina que tienes un equipo de tres especialistas trabajando juntos:

1. El Arquitecto (Agente de Evolución):

   • Su trabajo: Toma el problema original y dice: "¿Cómo podemos hacer esto más difícil?".
   • Su herramienta mágica: En lugar de solo pensar, escribe y ejecuta código (como un programador).
   • La analogía: Imagina que el Arquitecto tiene una caja de juguetes de matemáticas. En lugar de solo mirar el juguete, empieza a desarmarlo, cambiarle las piezas, probar qué pasa si le pone un motor más grande o si cambia la forma de la rueda. Usa el código para simular miles de versiones del problema en segundos para ver cuáles funcionan y cuáles son demasiado locas.
   • Su objetivo: Crear un "momento Eureka". Quiere que el problema tenga un truco oculto que no sea obvio, obligando al estudiante a pensar de forma creativa, no solo a aplicar una fórmula aburrida.

2. El Inspector de Seguridad (Agente de Verificación de Solvabilidad):

   • Su trabajo: Revisa el nuevo problema creado por el Arquitecto.
   • La analogía: Es como un inspector de puentes. Si el Arquitecto construyó un puente (el problema) que parece bonito pero se va a caer, el Inspector lo detecta.
   • Su método: Intenta resolver el problema paso a paso. Si el Inspector ve un error lógico o si el problema no tiene solución, lo tira a la basura. Solo deja pasar los problemas que son matemáticamente sólidos.

3. El Juez de Dificultad (Agente de Verificación de Dificultad):

   • Su trabajo: Compara el problema original con el nuevo.
   • La analogía: Es como un entrenador de gimnasia que mide si el nuevo ejercicio es realmente más duro.
   • Su criterio: No quiere problemas que sean difíciles solo porque tienen números gigantes o cálculos aburridos (eso es "trabajo pesado", no "inteligencia"). Busca problemas que requieran un salto mental. Si el nuevo problema obliga a pensar de una forma totalmente nueva, le da la aprobación.

El Secreto: Usar el Código como un Laboratorio

Lo más interesante de este papel es que los robots no solo "adivinan" cómo hacer el problema más difícil. Escriben código para explorar.

• Analogía: Imagina que quieres saber si un nuevo diseño de coche es rápido. Podrías imaginarlo, pero es mejor construir un prototipo y probarlo en una pista.
• En este caso, el "prototipo" es el código. El agente escribe un programa para probar miles de combinaciones de números y reglas. Si el código muestra que una versión del problema tiene una solución oculta o un patrón interesante, el agente lo usa para crear el nuevo problema.

¿Qué descubrieron?

1. Funciona: Los robots pudieron crear problemas nuevos que eran más difíciles que los originales. De hecho, muchos modelos de IA que resolvían el problema original fallaron en la versión nueva.
2. Capacidad de "Auto-entrenamiento": Los robots a veces crearon problemas que eran más difíciles de lo que ellos mismos podían resolver. ¡Es como un entrenador que inventa un ejercicio tan difícil que ni él puede hacerlo, pero que sirve para entrenar a otros!
3. No es perfecto (y cuesta trabajo): A veces, el proceso fallaba. Tenían que intentar muchas veces (como lanzar un dado varias veces) hasta que el Arquitecto, el Inspector y el Juez estuvieran de acuerdo. A veces, el Arquitecto creaba algo que parecía genial pero que el Inspector descubría que tenía un error lógico.

En resumen

Este paper nos dice que podemos usar a las computadoras para crear mejores ejercicios de matemáticas para las computadoras.

Es como tener un laboratorio infinito donde, en lugar de que un profesor humano se sienta a escribir un problema nuevo en una pizarra, un equipo de robots prueba miles de ideas, descarta las malas y nos entrega un problema nuevo, elegante y desafiante, listo para poner a prueba la inteligencia artificial del futuro.

La moraleja: La exploración guiada por código es una herramienta poderosa para empujar los límites de lo que podemos aprender y enseñar a las máquinas.

Resumen técnico

Resumen Técnico: Code2Math

1. Planteamiento del Problema

A medida que los Modelos de Lenguaje Grandes (LLMs) alcanzan niveles de razonamiento matemático comparables a la Olimpiada Internacional de Matemáticas (IMO), surge un cuello de botella crítico: la escasez de problemas desafiantes y de alta calidad para el entrenamiento y la evaluación. La creación manual de tales problemas es lenta, costosa y difícil de escalar.

El artículo investiga si los agentes de código (LLMs con capacidad de ejecutar código) pueden evolucionar autónomamente problemas matemáticos existentes hacia variaciones más complejas. El objetivo es determinar si estos agentes pueden:

1. Generar problemas matemáticamente sólidos y resolubles.
2. Aumentar genuinamente la dificultad (más allá de la complejidad computacional superficial).
3. Hacerlo de manera eficiente mediante la exploración computacional.

2. Metodología: Marco de Agentes Múltiples

Los autores proponen un sistema de agentes múltiples diseñado para la evolución de problemas, operando bajo el paradigma de test-time scaling (escalado en tiempo de ejecución). El sistema se divide en tres fases gestionadas por agentes distintos:

• Agente de Evolución (Evolution Agent):

  • Entrada: Un problema "semilla" y su solución.
  • Función: Analiza el "cuello de botella cognitivo" del problema original. Utiliza la Teoría de la Mente para anticipar cómo un solucionador experto abordaría el problema y, deliberadamente, oculta o modifica los puntos de entrada para crear un nuevo "momento Aha" (insight) difícil de descubrir.
  • Herramienta Clave: Ejecuta código Python (usando bibliotecas como SymPy, NetworkX, itertools, Z3) para realizar exploración empírica, verificar hipótesis, buscar contraejemplos y validar restricciones estructurales antes de formular el nuevo problema.

• Agente de Verificación de Solvabilidad (Solvability Verification Agent):

  • Función: Actúa como un auditor riguroso. Revisa la declaración del nuevo problema y la solución propuesta.
  • Mecanismo: Utiliza la ejecución de código para verificar la consistencia lógica y la existencia de soluciones. Si la solución propuesta contiene errores lógicos o inconsistencias, el problema se rechaza. La premisa es que una cadena lógica impecable demuestra la solvabilidad.

• Agente de Verificación de Dificultad (Difficulty Verification Agent):

  • Función: Evalúa si el nuevo problema representa un aumento real en la dificultad cognitiva (definido como la "Carga de Descubrimiento" o Burden of Discovery).
  • Criterio: Distingue entre Complejidad Artificial (cálculos tediosos, números más grandes) y Profundidad Cognitiva (nuevos insights, ruptura de plantillas estándar). Utiliza una escala de 1 a 5, donde solo las adaptaciones que requieren un salto intelectual significativo obtienen una puntuación de aprobación (3-5).

Flujo de Trabajo: El Agente de Evolución genera múltiples intentos (rollouts). Solo aquellos que superan la doble verificación (Solvabilidad y Dificultad) se consideran éxitos.

3. Contribuciones Clave

1. Marco de Evolución Automatizada: Propone un sistema novedoso que descompone la adaptación de problemas en agentes especializados, utilizando la ejecución de código como motor principal para la exploración estructural y la validación simbólica.
2. Generación de Datos de Alta Dificultad: Demuestra empíricamente que los agentes pueden sintetizar problemas que superan su propia capacidad de resolución, creando una asimetría de capacidades donde el generador puede plantear desafíos que el solucionador no puede resolver.
3. Validación de la Exploración Guiada por Código: Proporciona evidencia de que la exploración computacional sistemática (búsqueda de patrones, verificación de límites) es superior a la simple manipulación de texto para generar problemas matemáticos profundos y estructuralmente distintos.
4. Dataset y Benchmark: Liberan un conjunto de datos de problemas evolucionados y un marco de evaluación para medir la "Carga de Descubrimiento" y la eficiencia de la generación.

4. Resultados Experimentales

Los experimentos se realizaron utilizando varios LLMs (DeepSeek-Reasoner, Gemini-3-Pro, Kimi-K2, etc.) como agentes evolutivos y seis modelos diferentes como solucionadores.

• Tasa de Solvabilidad: El sistema es altamente fiable. Por ejemplo, cuando DeepSeek-Reasoner actúa como agente evolutivo, logra una tasa de acuerdo del 96% (94/98) con un juez externo de estado avanzado (GPT-5.2-High) sobre la solvabilidad de los problemas generados.
• Aumento de Dificultad: Se observa una reducción significativa en las tasas de acierto (Solve Rates) de los modelos solucionadores al pasar de los problemas semilla a los evolucionados.
  • Ejemplo: El solucionador Gemini-3-Flash-Thinking vio su precisión caer del 56% al 35% en problemas evolucionados por DeepSeek-Reasoner.
  • Incluso los modelos más potentes (GPT-5.2-High) sufrieron caídas de precisión (de 70% a 64%), indicando que los problemas evolucionados rompen las plantillas de solución habituales.
• Consumo de Tokens: Los problemas evolucionados requieren un consumo de tokens significativamente mayor (más cadenas de razonamiento) para ser resueltos, lo que confirma un aumento en la complejidad cognitiva y no solo computacional.
• Eficiencia y Costo: El proceso es computacionalmente intensivo. Se requiere un promedio de 1.56 a 6.55 intentos fallidos por problema exitoso. La mayoría de los fallos ocurren en la fase de verificación de solvabilidad, lo que indica que garantizar la consistencia lógica es el principal cuello de botella.

5. Significado e Impacto

El trabajo Code2Math demuestra que los agentes impulsados por código pueden servir como un mecanismo viable y escalable para la síntesis de datos matemáticos de alto nivel.

• Superación de Límites: Los agentes pueden "ingenierar" dificultades que exceden su propia capacidad de razonamiento inmediata, sugiriendo un potencial para el auto-mejoramiento iterativo de sistemas de IA.
• Nueva Metodología de Evaluación: Introduce la métrica de "Carga de Descubrimiento" y el uso de la ejecución de código como herramienta de validación, desplazándose de la mera generación de texto a la exploración de espacios matemáticos estructurados.
• Futuro: Abre la puerta a la creación automática de benchmarks dinámicos y curricula de entrenamiento que evolucionan junto con las capacidades de los modelos, abordando la escasez de datos de entrenamiento de alta calidad en matemáticas avanzadas.

En conclusión, el estudio valida que la combinación de razonamiento agéntico y entornos de ejecución de código permite no solo resolver problemas matemáticos, sino también rediseñarlos para empujar los límites del razonamiento artificial.