💬 NLP

GeoMathCode: Understanding Interleaved Math-Code Reasoning for Geometry Problem Solving

Este artículo presenta GeoMathCode, un marco que mejora la resolución de problemas de geometría mediante el uso de código programático como salidas visuales intermedias, revelando que el ajuste fino supervisado desentraña el razonamiento y la generación de código, mientras que las estructuras sintácticas jerárquicas capturan información matemática más rica que las representaciones visuales.

Autores originales: Yingji Zhang, Yong Dai, André Freitas

Publicado 2026-05-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yingji Zhang, Yong Dai, André Freitas

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un acertijo de geometría complicado, como averiguar cómo interactúan dos líneas curvas en un gráfico. Por lo general, cuando una computadora intenta resolver esto, podría simplemente "pensar" en palabras o intentar dibujar una imagen píxel por píxel. Pero este artículo introduce una nueva forma para que las computadoras piensen: GeoMathCode.

Aquí está el desglose de lo que hicieron los investigadores, usando analogías simples:

1. El Problema: Dibujar con Píxeles vs. Escribir Instrucciones

Imagina que quieres enseñarle a un robot a dibujar un círculo perfecto.

La Vieja Forma (Basada en Píxeles): Le dices al robot: "Colorea este punto específico de rojo, luego este otro, luego este otro...". Es como intentar pintar una obra maestra diciéndole a alguien exactamente qué trazo de pincel hacer en cada segundo. Es desordenado, difícil de verificar errores, y si el robot comete un pequeño error, toda la imagen se ve mal.
La Nueva Forma (GeoMathCode): En lugar de pintar puntos, le das al robot un conjunto de instrucciones (código). Dices: "Dibuja un círculo con un radio de 5". El robot escribe un programa corto para hacerlo. Esto es como dar una receta en lugar de una pintura. Es preciso, fácil de verificar (¿se ejecutó el código?), y si hay un error, puedes ver exactamente dónde falló la receta.

Los investigadores construyeron una biblioteca masiva de problemas matemáticos donde la "solución" no es solo una respuesta final, sino una mezcla de palabras (explicando la lógica) y código (las instrucciones para dibujar la forma).

2. El Gran Descubrimiento: Dos "Habitaciones Cerebrales" Diferentes

La parte más interesante del artículo es lo que encontraron dentro de la "mente" de la computadora (su espacio de memoria interno) mientras resolvía estos problemas.

Descubrieron que la computadora tiene dos "habitaciones" separadas para pensar:

Habitación A (La Habitación de la Lógica): Aquí es donde la computadora descubre las reglas matemáticas (por ejemplo, "Dado que la curva se abre hacia abajo, los valores aumentan a medida que nos movemos a la izquierda").
Habitación B (La Habitación del Dibujo): Aquí es donde la computadora escribe el código para dibujar realmente las líneas.

La Analogía: Imagina a un chef cocinando una comida compleja.

En la Habitación A, el chef está pensando: "Necesito saltear las cebollas primero, luego añadir las especias". (El razonamiento).
En la Habitación B, el chef está físicamente picando las verduras y encendiendo la estufa (El código).

El artículo encontró que estas dos actividades ocurren en partes completamente diferentes del cerebro de la computadora. No se mezclan. La computadora no usa la parte de "dibujo" para ayudarle a "pensar" sobre las matemáticas; usa la parte de "pensamiento" para decidir qué dibujar, y luego cambia a la parte de "dibujo" para ejecutar el plan.

3. El Efecto de "Entrenamiento": Organizando el Desorden

Los investigadores también probaron qué sucede cuando "entrenan" a la computadora (un proceso llamado Ajuste Fino Supervisado o SFT) usando su nueva biblioteca de problemas.

Antes del Entrenamiento: El "pensamiento" de la computadora era un poco caótico. Era como una biblioteca donde los libros estaban tirados en el suelo en una pila. Tenía mucha información, pero estaba desordenada y difícil de navegar.
Después del Entrenamiento: El "pensamiento" de la computadora se convirtió en una biblioteca bien organizada. Los libros (ideas) seguían ahí, pero ahora estaban ordenados en filas ordenadas. La computadora no se volvió "más inteligente" simplemente añadiendo más libros; se volvió más inteligente organizando los libros que ya tenía. Esto hizo que sus caminos de razonamiento fueran más claros y estructurados.

4. El Código es Mejor para "Símbolos Matemáticos" que las Imágenes

Finalmente, compararon la comprensión de la computadora sobre los símbolos matemáticos (como $\sqrt{}$ para raíz cuadrada o $\pi$ para pi) cuando usaba código versus cuando usaba imágenes.

El Hallazgo: La computadora entendió el significado de los símbolos matemáticos mucho mejor cuando estaba escribiendo código que cuando solo estaba mirando o generando una imagen.
La Analogía: Es como la diferencia entre leer una partitura musical (código) y escuchar una grabación (imagen). La partitura te dice exactamente qué son las notas y cómo se relacionan entre sí. La grabación simplemente suena bien. La computadora encontró que la "partitura" (código) contenía el secreto de la lógica matemática mucho mejor que la "grabación" (imagen visual).

Resumen

En resumen, este artículo dice:

Deja de hacer que las computadoras dibujen imágenes píxel por píxel para resolver matemáticas; haz que escriban código en su lugar. Es más limpio y fácil de verificar.
Las computadoras separan el "pensamiento" del "dibujo". Usan diferentes espacios mentales para la lógica y para generar código.
El entrenamiento organiza el cerebro. Enseñar a una computadora con este método no solo añade hechos; organiza su proceso de pensamiento en una estructura ordenada y eficiente.
El código es el mejor traductor. Cuando se trata de entender símbolos matemáticos complejos, escribir código es una herramienta más poderosa para la computadora que mirar imágenes.

Resumen Técnico: GeoMathCode

Enunciado del Problema

El razonamiento matemático en Modelos de Lenguaje Multimodales Grandes (MLLM) a menudo depende de la generación de soluciones de múltiples pasos para problemas de geometría. Aunque enfoques recientes como MathCanvas intentan emular el razonamiento humano incorporando construcciones visuales auxiliares (por ejemplo, dibujar líneas o puntos), generalmente dependen de la generación de imágenes basadas en píxeles. Los autores identifican dos limitaciones principales en este paradigma:

Alineación y Verificación: La generación cruzada de modalidades de alta granularidad (de texto a imágenes basadas en píxeles) es inherentemente difícil de alinear y verificar, lo que aumenta la posibilidad de propagación de errores.
Complejidad del Sistema: Los enfoques basados en píxeles a menudo requieren generadores específicos adicionales para visión, complicando la arquitectura del sistema.

El artículo postula que, si bien las representaciones programáticas (código) son precisas y verificables, sigue sin estar claro si el razonamiento entrelazado de matemáticas y código remodela fundamentalmente la geometría latente del razonamiento multimodal o si simplemente sirve como una salida auxiliar. Específicamente, los autores buscan comprender cómo evolucionan las trayectorias de razonamiento a través de las capas y si las representaciones de código simbólico capturan conceptos geométricos de manera diferente a las visuales.

Metodología

1. Construcción del Conjunto de Datos: GeoMathCode

Los autores presentan GeoMathCode, un conjunto de datos multimodal público diseñado para el razonamiento entrelazado de matemáticas y código. El proceso de construcción implica:

Fuente: Utilizar MathCanvas como recurso principal, abarcando ocho dominios matemáticos (Álgebra, Geometría Analítica, Cálculo, etc.).
Generación: Emplear Gemini 3-Flash para generar soluciones entrelazadas que contengan razonamiento textual, código Python ejecutable y visualizaciones correspondientes.
Verificación: Una tubería de verificación automatizada multinivel asegura la calidad:
- Motor Basado en Reglas (GPT-5.1): Extrae pasos clave de razonamiento ("pick-points") y reglas matemáticas.
- Verificador (Gemini 3-Pro): Valida la corrección de la respuesta final, la lógica del razonamiento textual y la ejecución del código.
- Entorno Aislado (Sandbox): Filtra muestras con ejecución de código errónea, desencadenando una regeneración iterativa.
Escala: El conjunto de datos final comprende 10.000 muestras de entrenamiento y 1.000 de prueba, equilibradas con una relación 1:1 de preguntas con y sin diagramas.

2. Marco de Análisis Empírico

El estudio evalúa MLLMs representativos (Qwen3/3.5, LLaVA-Next, InternVL3.5) utilizando tanto el Ajuste Fino Supervisado (SFT) de parámetros completos como LoRA. El análisis se centra en dos perspectivas:

Rendimiento Post-Entrenamiento: Evaluación de métricas que incluyen Precisión de Respuesta (Ans Acc), corrección del razonamiento textual, Precisión del Código, Corrección Matemática del Código y Consistencia Texto-Código.
Análisis de Geometría Latente: Investigación del espacio de representación interna de los modelos mediante:
- Análisis de Trayectoria: Medición de las distancias euclidianas entre pasos de razonamiento y pasos de código a través de las capas del transformador.
- Regularización de Variedad: Cuantificación de la capacidad de información y la complejidad geométrica utilizando Rango Efectivo (ERank) y Dimensión Intrínseca (ID).
- Estructura del Espacio de Código: Análisis de la representación latente de la sintaxis del código (flujo de control, llamadas a funciones, flujo de datos) utilizando KNN y SVM lineal para evaluar el agrupamiento local y la separabilidad lineal global.
- Sondeo Simbólico: Comparación de la capacidad de las incrustaciones de código frente a las incrustaciones visuales para capturar símbolos matemáticos de alta granularidad (por ejemplo, $\sqrt{}$ , $\triangle$ , $\angle$ ).

Resultados Clave

1. Rendimiento y Desentrelazamiento

El SFT Mejora el Rendimiento: El Ajuste Fino Supervisado mejora significativamente el rendimiento en todos los modelos. Qwen3.5-9B-SFT logra los mejores resultados generales (puntuación promedio 0.73), superando a las líneas base y a las variantes LoRA.
Desentrelazamiento Razonamiento-Código: Las visualizaciones de PCA y el análisis de trayectoria revelan que los pasos de razonamiento y los pasos de generación de código forman subespacios latentes desentrelazados.
- El modelo depende principalmente de las trayectorias de razonamiento textual para la predicción de la respuesta final.
- La generación intermedia de código actúa como una representación ejecutable auxiliar en lugar de una modalidad de razonamiento activa que guíe directamente la respuesta final.
- Esto sugiere una separación funcional entre el razonamiento matemático y la ejecución programática en el espacio latente.

2. Regularización de Variedad mediante SFT

Razonamiento Estructurado: El SFT aumenta el Rango Efectivo (ERank) de las representaciones de razonamiento (indicando una mayor diversidad de información) mientras reduce simultáneamente la Dimensión Intrínseca (ID) (indicando una menor complejidad geométrica local).
Interpretación: Esto sugiere que el SFT no solo comprime representaciones, sino que reorganiza las trayectorias de razonamiento en rutas computacionales más estructuradas, canónicas y reutilizables, equilibrando la diversidad de información con la regularidad geométrica.

3. Espacio Jerárquico de Código

Subespacios Sintácticos: Las estructuras sintácticas jerárquicas (por ejemplo, flujo de control, llamadas a funciones) emergen como subespacios latentes estructurados.
Dinámicas de Abstracción: Si bien las categorías semánticas de alto nivel se mantienen preservadas, el agrupamiento léxico de alta granularidad se vuelve mezclado en capas más profundas. El modelo reorganiza las API en variedades de ejecución-semántica compartidas basadas en roles funcionales.
Superioridad del Código sobre lo Visual: Las representaciones latentes de código capturan conceptos simbólicos matemáticos de alta granularidad (por ejemplo, operadores específicos y formas geométricas) de manera más efectiva que las representaciones visuales, como lo demuestra una mayor precisión de clasificación en tareas de sondeo.

Significado y Afirmaciones

El artículo afirma proporcionar un nuevo conjunto de datos y un análisis sistemático de la estructura geométrica latente subyacente al razonamiento entrelazado de matemáticas y código. Las contribuciones principales son:

Conjunto de Datos: La introducción de GeoMathCode, que facilita el estudio de salidas intermedias programáticas en la resolución de problemas de geometría.
Perspectivas de Geometría Latente: La demostración de que los pasos de razonamiento y código están desentrelazados en el espacio latente, desafiando la noción de que la generación de código es una modalidad de razonamiento activa de la misma manera que podrían serlo las modalidades visuales.
Efectos del SFT: El hallazgo de que el SFT regulariza la variedad de razonamiento, haciéndola más informativa y geométricamente regular, en lugar de simplemente aumentar la complejidad.
Código vs. Visuales: La evidencia de que las representaciones simbólicas de código son superiores a las representaciones visuales para capturar conceptos matemáticos de alta granularidad.

Los autores concluyen que estos hallazgos motivan futuras investigaciones sobre la interpretabilidad mecánica en los LLM, específicamente en lo que respecta a la ejecución de código, y el potencial del aprendizaje por refuerzo basado en pick-point para mejorar la fiabilidad del razonamiento. Reconocen limitaciones relacionadas con la dependencia de evaluadores basados en LLM y la precisión relativamente baja de la respuesta final, sugiriendo que el trabajo futuro debe centrarse en la evaluación simbólica automática y enfoques de aprendizaje por refuerzo (por ejemplo, GRPO, DAPO).