Synthesizing Multimodal Geometry Datasets from Scratch and Enabling Visual Alignment via Plotting Code

Los autores presentan GeoCode, un nuevo conjunto de datos multimodal de geometría generado sintéticamente que utiliza código de trazado para alinear la comprensión visual con el razonamiento simbólico, logrando mejoras significativas en el rendimiento de los modelos en diversas tareas de geometría.

Lo esencial

¡Claro que sí! Imagina que quieres enseñar a un robot a resolver problemas de geometría, como los que veías en el colegio con triángulos, círculos y líneas. El problema es que estos robots (los modelos de Inteligencia Artificial) suelen ser muy buenos leyendo texto, pero muy torpes "viendo" los dibujos. A menudo, adivinan la respuesta basándose en palabras clave en lugar de entender realmente la figura.

Este paper, titulado "GeoCode", es como un manual para construir una escuela de geometría perfecta para robots, desde cero. Aquí te lo explico con analogías sencillas:

1. El Problema: El Robot que "Lee" pero no "Ve"

Imagina que le das a un robot un dibujo de un triángulo y le preguntas: "¿Cuánto mide este lado?".

• Lo que hace el robot hoy: Lee la pregunta, busca en su memoria patrones de palabras (como "triángulo" y "lado") y adivina un número. No realmente "mira" el dibujo. Es como si alguien te pidiera que adivinara el contenido de un libro cerrado solo por el título.
• El resultado: Si el dibujo es complejo, el robot se pierde.

2. La Solución: Construir una "Fábrica de Problemas" (GeoCode)

Los autores dicen: "En lugar de buscar problemas difíciles en libros viejos, ¡vamos a fabricar los nuestros!". Pero no pueden hacerlos a mano (sería demasiado lento), así que crearon una fábrica automatizada con tres pasos mágicos:

• Paso 1: El Arquitecto (Semillas Simbólicas):
  Imagina un arquitecto que dibuja solo los planos teóricos de una casa. Decide dónde van las paredes y las puertas, pero sin poner ladrillos ni pintar. En la fábrica, un sistema matemático crea la "estructura lógica" del problema (ej: "el punto A está conectado al B, y el B es perpendicular al C").
• Paso 2: El Constructor (Instanciación):
  Ahora, un "constructor" (una IA avanzada) toma esos planos y les da números reales. "Bien, si la pared A mide 5 metros, entonces la B debe medir 12". También escribe la historia del problema en lenguaje humano.
• Paso 3: El Pintor (Código de Dibujo):
  Aquí está la magia. En lugar de solo tener el texto y la respuesta, la fábrica genera un código de computadora (como un recetario de dibujo) que, si lo ejecutas, pinta el dibujo exacto en la pantalla.
  • Analogía: Es como si, en lugar de darte una foto de un pastel, te dieran la receta exacta y las instrucciones paso a paso para hornearlo. Si sigues la receta, obtienes el pastel perfecto.

3. La Innovación: Enseñar al Robot a "Dibujar" (Alineación Visual)

Esta es la parte más brillante del paper. Normalmente, entrenan a los robots para que den la respuesta final. Pero aquí, les piden algo más difícil: "Antes de responder, escribe el código que dibuja la figura".

• La analogía del "Código de Dibujo":
  Imagina que le das al robot un dibujo de un triángulo y le dices: "Dime cuánto mide el lado".
  • Método antiguo: El robot mira y adivina.
  • Método GeoCode: El robot debe decirte: "Primero, trazo un punto en (0,0). Luego, dibujo una línea de 5cm hacia la derecha. Luego, trazo un ángulo de 90 grados...".
  • ¿Por qué es genial? Para escribir ese código, el robot está obligado a entender la estructura geométrica. No puede adivinar. Tiene que "ver" las relaciones espaciales y traducirlas a instrucciones precisas. Es como obligar a un estudiante a explicar cómo construyó la respuesta, no solo dar la respuesta.

4. El Resultado: Un Robot que Realmente Entiende

Al entrenar a los robots con esta "fábrica" y obligándolos a escribir el código de dibujo:

1. Aprenden de verdad: Ya no solo memorizan palabras; entienden cómo se relacionan las líneas y los puntos.
2. Son más fuertes: Cuando les ponen problemas nuevos y difíciles (como en olimpiadas de matemáticas), resuelven mucho mejor que antes.
3. Son honestos: No pueden "hacer trampa" usando trucos de texto, porque tienen que demostrar que entienden la figura escribiendo el código.

En Resumen

Este paper es como decir: "Para enseñar a un robot a ver, no le des solo fotos y preguntas. Dale la receta exacta de cómo se construyó la foto y pídele que la escriba él mismo. Así, aprenderá a ver la estructura real detrás de la imagen".

Han creado un dataset (una base de datos) llamado GeoCode con 18,000 problemas generados por esta máquina, donde cada problema tiene:

1. El dibujo.
2. La pregunta.
3. La solución.
4. El código secreto que dibuja la figura.

Esto ha logrado que los robots de IA sean mucho más inteligentes resolviendo problemas de geometría, acercándose más a la forma en que los humanos entendemos el mundo visual.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Synthesizing Multimodal Geometry Datasets from Scratch and Enabling Visual Alignment via Plotting Code" (Síntesis de Conjuntos de Datos de Geometría Multimodal desde Cero y Habilitación de la Alineación Visual mediante Código de Dibujo), presentado en español.

---

1. El Problema

El razonamiento geométrico multimodal es una prueba fundamental para la inteligencia artificial, ya que requiere la comprensión conjunta de diagramas visuales y la inferencia simbólica estructurada. Sin embargo, los Modelos de Lenguaje y Visión (VLM) actuales enfrentan limitaciones críticas:

• Falta de datos de alta calidad: Los conjuntos de datos existentes suelen ser generados manualmente o mediante plantillas simples, careciendo de complejidad estructural y profundidad en el razonamiento de cadenas largas.
• Alineación visual-simbólica débil: Los modelos actuales tienden a depender de correlaciones lingüísticas o sesgos del conjunto de datos en lugar de recuperar la estructura geométrica real a partir de los diagramas. La alineación suele ser implícita (basada en respuestas o texto), lo que deja la recuperación de la estructura geométrica débilmente restringida.
• Inconsistencia: A menudo existe una desconexión entre la descripción textual, el razonamiento y la representación visual, lo que dificulta el aprendizaje de relaciones geométricas precisas.

2. Metodología

Los autores proponen una tubería (pipeline) automatizada para sintetizar problemas de geometría multimodal desde cero, garantizando la consistencia entre la estructura simbólica, el texto, el razonamiento y la imagen. El proceso se divide en tres etapas principales y una estrategia de alineación novedosa:

A. Tubería de Generación de Datos (GeoCode)

El proceso se factoriza en tres etapas modulares y verificables:

1. Generación de Semillas Simbólicas:
   • Se utilizan sistemas como AlphaGeometry para realizar muestreo aleatorio de predicados geométricos (incidencia, paralelismo, perpendicularidad, etc.).
   • Se construyen grafos de dependencia para identificar objetivos deductivos no triviales.
   • Se filtran las semillas para retener solo aquellas con alta complejidad estructural y profundidad deductiva, descartando configuraciones triviales o degeneradas.
2. Instanciación Fundamentada (Grounded Instantiation):
   • Un modelo de lenguaje (Instructor) asigna valores numéricos concretos a las semillas simbólicas, generando enunciados de problemas, trazas de razonamiento (CoT) y respuestas finales.
   • Un módulo codificador (Coder) genera código meta (Python) que construye las coordenadas exactas de todos los elementos geométricos basándose únicamente en el enunciado del problema (sin ver la solución).
   • Verificación en dos etapas: Se realiza una validación semántica (coherencia lógica del texto) y una validación geométrica (verificación numérica de coordenadas, longitudes, ángulos y consistencia de la respuesta).
3. Visualización y Desviación Textual (Debiasing):
   • Se renderizan diagramas limpios y claros utilizando el código de dibujo generado.
   • Desviación Textual: Se eliminan del enunciado del problema todas las informaciones que pueden inferirse directamente del diagrama (como posiciones relativas o intersecciones visibles). Esto fuerza al modelo a depender de la información visual en lugar de pistas textuales redundantes.

B. Alineación Explícita mediante Código de Dibujo (Plotting Code)

Esta es la contribución metodológica central. En lugar de supervisar al modelo solo con la respuesta final o el razonamiento en texto natural, los autores introducen la predicción del código de dibujo como un objetivo de alineación explícito.

• Representación Intermedia: El código de dibujo (un formato JSON estructurado que define puntos, segmentos, círculos y anotaciones) actúa como una representación intermedia determinista de la escena geométrica.
• Objetivo de Aprendizaje: El modelo debe predecir primero el código de dibujo a partir de la imagen y el problema, y luego realizar el razonamiento basado en esa estructura recuperada.
• Ventaja: Esto convierte la comprensión visual en una tarea de predicción estructurada y verificable, obligando al modelo a reconstruir explícitamente las relaciones geométricas subyacentes en lugar de aprender representaciones latentes vagas.

3. Contribuciones Clave

1. GeoCode: Un nuevo conjunto de datos multimodal de 18,000 problemas de geometría que incluye diagramas, soluciones y, crucialmente, código de dibujo estructurado. Los problemas presentan una complejidad estructural y dificultad de razonamiento significativamente mayores que los benchmarks existentes.
2. Pipeline de Síntesis Verificable: Un marco de trabajo que desacopla la generación de la estructura simbólica, la instanciación numérica y la visualización, asegurando la consistencia cruzada (texto-imagen-lógica) mediante validación rigurosa.
3. Alineación Supervisada por Código: La propuesta de utilizar el código de dibujo como objetivo de supervisión explícita para mejorar la alineación visual-simbólica, demostrando que es superior a la alineación basada solo en texto o descripciones (captions).
4. Validación Empírica: Evidencia de que el entrenamiento con este enfoque mejora el rendimiento en múltiples benchmarks de geometría, incluso en configuraciones fuera de la distribución (OOD).

4. Resultados

Los experimentos se realizaron utilizando modelos base como Qwen2.5-VL y Qwen3-VL, entrenados con Ajuste Fino Supervisado (SFT) y Refuerzo (GRPO).

• Rendimiento en Benchmarks: Los modelos entrenados en GeoCode mostraron mejoras consistentes en varios conjuntos de datos públicos:
  • OlympiadBench: Mejora significativa (+11.52% en Qwen3-VL), indicando una mayor robustez en razonamiento de múltiples pasos.
  • Geometry3K, GeoQA, MathVerse: Mejoras notables en la precisión general.
• Análisis de Ablación:
  • La supervisión basada en código de dibujo superó ampliamente a la supervisión basada en subtítulos (captions) o la ausencia de alineación.
  • Se demostró que la mejora no proviene solo de aprender un formato de salida rígido, sino de una mejor recuperación de la estructura geométrica. Existe una correlación directa entre la precisión en la recuperación de segmentos (medida por F1 a nivel de segmento) y la precisión en la resolución del problema.
  • La corrección de las anotaciones estructurales (ángulos rectos, longitudes) en el código predicho fue el factor determinante para el éxito en el razonamiento.

5. Significado e Impacto

Este trabajo aborda una brecha fundamental en la inteligencia multimodal: la dificultad de los modelos para "ver" y estructurar la geometría a partir de imágenes.

• Cambio de Paradigma: Propone que el razonamiento geométrico efectivo debe basarse en representaciones estructurales explícitas (como el código) en lugar de depender únicamente de la supervisión lingüística, que es inherentemente ambigua y con pérdida de información.
• Escalabilidad: Demuestra que es posible sintetizar datos de entrenamiento de alta calidad y complejidad ilimitada mediante métodos simbólicos y de verificación automática, superando las limitaciones de la anotación manual.
• Aplicaciones Futuras: La metodología de alineación basada en código podría extenderse a otros dominios de razonamiento visual donde la estructura subyacente es crítica, facilitando el desarrollo de modelos más interpretables y robustos para la educación y la investigación científica.

En resumen, GeoCode y la estrategia de alineación mediante código de dibujo establecen un nuevo estándar para el entrenamiento de VLMs en tareas de razonamiento geométrico complejo, logrando una comprensión visual más profunda y una generalización superior.