Resumen Técnico: GeoBuildBench

Enunciado del Problema

Aunque los Modelos de Lenguaje Grandes (LLM) y los LLM Multimodales (MLLM) han demostrado un rendimiento sólido en benchmarks de geometría como GeoQA y Geometry3K, estas evaluaciones se centran principalmente en la corrección de la respuesta o en la interpretación de diagramas estáticos. Los enfoques existentes a menudo asumen representaciones formalizadas o diagramas preexistentes, dejando una brecha fundamental: la capacidad de los modelos para transformar descripciones informales en lenguaje natural en estructuras geométricas consistentes y ejecutables.

Los métodos actuales de "texto a diagrama" suelen depender de métricas de similitud visual o verificaciones dependientes de analizadores sintácticos que no logran verificar si las relaciones geométricas (por ejemplo, paralelismo, tangencia) se satisfacen semánticamente. Además, los marcos de trabajo de agentes probados en entornos textuales no han sido evaluados rigurosamente en dominios donde cada acción debe cumplir estrictas restricciones espaciales, y los fallos (como líneas paralelas que se intersecan) son inmediatamente observables. El artículo postula que la geometría proporciona un campo de pruebas excepcionalmente riguroso para el razonamiento fundamentado, donde los errores en la construcción conducen a diagramas inválidos visibles, lo que la hace ideal para estudiar alucinaciones estructurales.

Metodología

El Entorno GeoBuildBench

Los autores introducen GeoBuildBench, un benchmark interactivo diseñado para evaluar agentes que traducen problemas de geometría plana en lenguaje natural a construcciones ejecutables. El entorno opera en un bucle cerrado agente-entorno:

1. Definición de la Tarea: Cada tarea consiste en un problema en lenguaje natural, un conjunto de objetos geométricos requeridos y una lista de condiciones de verificación. El benchmark no asume un único diagrama "de oro"; múltiples construcciones son válidas si son ejecutables y semánticamente precisas.
2. Lenguaje de Dominio Específico (DSL): Se define un DSL de geometría compacto y orientado a la ejecución. Es un lenguaje de construcción en lugar de un lenguaje de restricciones declarativo. Los agentes deben construir explícitamente objetos (puntos, líneas, círculos) y relaciones (intersecciones, paralelas) en lugar de simplemente afirmarlos. El DSL soporta primitivas para entidades geométricas y operadores para construcciones comunes.
3. Ejecución y Verificación: Los programas DSL generados son ejecutados por un núcleo de geometría. Un módulo de verificación evalúa el resultado en tres dimensiones:
   • Ejecutabilidad: ¿Se ejecuta el programa sin errores?
   • Cobertura de Objetos: ¿Están presentes todos los objetos requeridos?
   • Satisfacción de Restricciones: ¿Se cumplen las condiciones verificables (incidencia, paralelismo, restricciones métricas, ángulos)?
4. Protocolo de Interacción: Los agentes operan en un entorno iterativo acotado (máximo 5 pasos). Reciben representaciones visuales y retroalimentación estructurada sobre errores, objetos faltantes o restricciones violadas, lo que permite una reparación iterativa.

Curación del Conjunto de Datos

El benchmark comprende 489 problemas de geometría estilo libro de texto chino curados a partir de GeoQA y repositorios en línea. Para garantizar la resolubilidad solo a partir del texto, se empleó un pipeline de curación de tres etapas:

1. Filtrado Basado en Texto: Los LLM (GPT-4.1) filtran problemas que dependen de pistas exclusivas del diagrama, referencias no definidas o restricciones incompletas.
2. Extracción de Representación de Tarea: Un segundo paso con LLM extrae representaciones de tarea estructuradas (objetos requeridos y condiciones de verificación) en un esquema fijo.
3. Verificación Humana: Anotadores de matemáticas a nivel de posgrado verifican la conformidad del esquema y la realizabilidad geométrica, asegurando que exista una construcción válida en principio.

Configuración de la Evaluación

Los autores evaluaron cuatro modelos multimodales de última generación (GPT-5.1, Gemini-3-Flash, Qwen3-VL-235B, LLaMA-3.2-90B-Vision) utilizando prompting de cero o pocos ejemplos. Los modelos se evaluaron en tasa de éxito, pasos de iteración, frecuencia de alucinaciones, objetos faltantes y restricciones fallidas.

Contribuciones Clave

1. Un Entorno Iterativo: Un nuevo entorno de construcción geométrica ejecutable con un DSL mínimo y renderizado determinista, que permite la interacción fundamentada del agente y bucles de retroalimentación.
2. El Conjunto de Datos GeoBuildBench: Un benchmark curado de 489 problemas anotados con restricciones para apoyar la evaluación sin asumir una única construcción de oro, permitiendo construcciones auxiliares (por ejemplo, puntos auxiliares) como en la práctica humana.
3. Análisis Empírico: Una evaluación exhaustiva que revela que, aunque los MLLM actuales tienen buen rendimiento en preguntas y respuestas de geometría tradicionales, luchan con la corrección estructural y la autorreparación iterativa en tareas de construcción ejecutables.

Resultados

La evaluación destaca disparidades significativas en el rendimiento de los modelos:

• Tasas de Éxito: Los modelos de vanguardia GPT-5.1 (78.9%) y Gemini-3-Flash (75.3%) lograron las tasas de éxito más altas. Por el contrario, Qwen3-VL-235B (42.2%) y LLaMA-3.2-90B-Vision (21.3%) tuvieron un rendimiento significativamente peor.
• Alucinaciones Estructurales: Un modo de fallo primario en todos los modelos fue la "referencia no definida", donde los agentes referenciaban objetos geométricos aún no instanciados. Los modelos más débiles exhibieron tasas de alucinación superiores a dos por problema, en comparación con ~0.3–0.4 para los modelos de vanguardia.
• Utilización de la Retroalimentación: Los modelos de vanguardia demostraron una recuperación más rápida de errores (Gemini-3-Flash: 1.17 pasos/alucinación) en comparación con modelos más débiles (~1.75 pasos).
• Ablación de Visión: Habilitar las entradas de visión produjo resultados mixtos. Para Qwen3-VL, la visión aumentó ligeramente el éxito pero desestabilizó la vinculación de símbolos (aumentando objetos faltantes y alucinaciones). Para LLaMA-3.2, la visión redujo errores estructurales pero no mejoró el éxito general, lo que indica que la planificación geométrica sigue siendo el cuello de botella dominante.
• Construcciones Auxiliares: Los modelos exitosos utilizaron frecuentemente construcciones auxiliares (por ejemplo, círculos auxiliares) para satisfacer restricciones, mientras que los modelos más débiles tendían a omitir relaciones requeridas o fallar al construir el soporte geométrico necesario.

Significado y Afirmaciones

El artículo afirma que GeoBuildBench sirve como un campo de pruebas riguroso para el razonamiento fundamentado y ejecutable que va más allá de la plausibilidad textual o la similitud visual. Los resultados sugieren que:

• Los MLLM actuales, a pesar de su fuerte rendimiento en preguntas y respuestas de geometría estándar, luchan por mantener un estado geométrico coherente y respetar las restricciones relacionales durante la construcción de múltiples pasos.
• Muchos modos de fallo (alucinaciones estructurales, construcciones inviables) pasarían desapercibidos por protocolos de evaluación que dependen únicamente de la plausibilidad visual o la corrección de la respuesta.
• La construcción geométrica efectiva requiere sensibilidad a la retroalimentación estructural explícita y la capacidad de actualizar las representaciones internas en consecuencia, en lugar de simplemente el tamaño bruto del modelo o la capacidad general de visión-lenguaje.

Los autores concluyen que GeoBuildBench ofrece un campo de pruebas controlado para diagnosticar estas limitaciones y apoya trabajos futuros sobre razonamiento agencial fundamentado estructuralmente para la geometría. Reconocen limitaciones, señalando que el benchmark está restringido a la geometría plana china y a un conjunto específico de tipos de condiciones, y que el rendimiento puede variar bajo diferentes protocolos de interacción o herramientas.