Resumo Técnico: GeoBuildBench

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) e os LLMs Multimodais (MLLMs) tenham demonstrado forte desempenho em benchmarks de geometria como GeoQA e Geometry3K, essas avaliações focam principalmente na correção da resposta ou na interpretação de diagramas estáticos. As abordagens existentes frequentemente assumem representações formalizadas ou diagramas pré-existentes, deixando uma lacuna fundamental: a capacidade dos modelos de transformar descrições informais em linguagem natural em estruturas geométricas consistentes e executáveis.

Os métodos atuais de "texto para diagrama" frequentemente dependem de métricas de similaridade visual ou verificações dependentes de analisadores sintáticos que falham em verificar se as relações geométricas (por exemplo, paralelismo, tangência) são semanticamente satisfeitas. Além disso, frameworks de agentes testados em ambientes textuais não foram rigorosamente avaliados em domínios onde cada ação deve satisfazer restrições espaciais estritas, e falhas (como linhas paralelas que se intersectam) são imediatamente observáveis. O artigo postula que a geometria fornece um ambiente de teste único e rigoroso para raciocínio fundamentado, onde erros na construção levam a diagramas visivelmente inválidos, tornando-a ideal para estudar alucinações estruturais.

Metodologia

O Ambiente GeoBuildBench

Os autores introduzem o GeoBuildBench, um benchmark interativo projetado para avaliar agentes que traduzem problemas de geometria plana em linguagem natural em construções executáveis. O ambiente opera em um ciclo fechado agente-ambiente:

1. Definição da Tarefa: Cada tarefa consiste em um problema em linguagem natural, um conjunto de objetos geométricos necessários e uma lista de condições de verificação. O benchmark não assume um único diagrama "ouro"; múltiplas construções são válidas se forem executáveis e semanticamente precisas.
2. Linguagem de Domínio Específico (DSL): É definida uma DSL de geometria compacta e orientada à execução. Trata-se de uma linguagem de construção, e não de uma linguagem declarativa de restrições. Os agentes devem construir explicitamente objetos (pontos, linhas, círculos) e relações (interseções, paralelas), em vez de apenas afirmá-los. A DSL suporta primitivas para entidades geométricas e operadores para construções comuns.
3. Execução e Verificação: Os programas DSL gerados são executados por um kernel de geometria. Um módulo de verificação avalia o resultado em três dimensões:
   • Executabilidade: O programa é executado sem erros?
   • Cobertura de Objetos: Todos os objetos necessários estão presentes?
   • Satisfação de Restrições: As condições verificáveis (incidência, paralelismo, restrições métricas, ângulos) são atendidas?
4. Protocolo de Interação: Os agentes operam em um setting iterativo limitado (máximo de 5 etapas). Eles recebem renderizações visuais e feedback estruturado sobre erros, objetos ausentes ou restrições violadas, permitindo reparo iterativo.

Curadoria do Conjunto de Dados

O benchmark compreende 489 problemas de geometria no estilo de livros didáticos chineses, curados a partir do GeoQA e repositórios online. Para garantir a solvabilidade apenas a partir do texto, foi empregado um pipeline de curadoria em três etapas:

1. Filtragem Baseada em Texto: LLMs (GPT-4.1) filtram problemas dependentes de pistas apenas do diagrama, referências indefinidas ou restrições incompletas.
2. Extração de Representação da Tarefa: Uma segunda passagem do LLM extrai representações estruturadas da tarefa (objetos necessários e condições de verificação) em um esquema fixo.
3. Verificação Humana: Anotadores de matemática em nível de pós-graduação verificam a conformidade com o esquema e a realizabilidade geométrica, garantindo que uma construção válida exista em princípio.

Configuração de Avaliação

Os autores avaliaram quatro modelos multimodais de última geração (GPT-5.1, Gemini-3-Flash, Qwen3-VL-235B, LLaMA-3.2-90B-Vision) usando prompting zero-shot ou few-shot. Os modelos foram avaliados quanto à taxa de sucesso, etapas de iteração, frequência de alucinações, objetos ausentes e restrições falhadas.

Principais Contribuições

1. Um Ambiente Iterativo: Um novo ambiente executável de construção geométrica com uma DSL mínima e renderização determinística, permitindo interação fundamentada do agente e ciclos de feedback.
2. O Conjunto de Dados GeoBuildBench: Um benchmark curado de 489 problemas anotados com restrições para suportar avaliação sem assumir uma única construção "ouro", permitindo construções auxiliares (por exemplo, pontos auxiliares) como na prática humana.
3. Análise Empírica: Uma avaliação abrangente revelando que, embora os MLLMs atuais performem bem em QA de geometria tradicional, eles lutam com a correção estrutural e a auto-reparação iterativa em tarefas de construção executável.

Resultados

A avaliação destaca disparidades significativas no desempenho dos modelos:

• Taxas de Sucesso: Modelos de ponta GPT-5.1 (78,9%) e Gemini-3-Flash (75,3%) alcançaram as maiores taxas de sucesso. Em contraste, Qwen3-VL-235B (42,2%) e LLaMA-3.2-90B-Vision (21,3%) performaram significativamente pior.
• Alucinações Estruturais: Um modo de falha primário em todos os modelos foi a "referência indefinida", onde agentes referenciavam objetos geométricos ainda não instanciados. Modelos mais fracos exibiram taxas de alucinação superiores a duas por problema, comparado a ~0,3–0,4 para modelos de ponta.
• Utilização de Feedback: Modelos de ponta demonstraram recuperação mais rápida de erros (Gemini-3-Flash: 1,17 etapas/alucinação) em comparação com modelos mais fracos (~1,75 etapas).
• Ablação de Visão: Habilitar entradas de visão produziu resultados mistos. Para o Qwen3-VL, a visão aumentou ligeiramente o sucesso, mas desestabilizou a vinculação de símbolos (aumentando objetos ausentes e alucinações). Para o LLaMA-3.2, a visão reduziu erros estruturais, mas não melhorou o sucesso geral, indicando que o planejamento geométrico permanece o gargalo dominante.
• Construções Auxiliares: Modelos bem-sucedidos utilizaram frequentemente construções auxiliares (por exemplo, círculos auxiliares) para satisfazer restrições, enquanto modelos mais fracos tendiam a omitir relações necessárias ou falhar na construção de suporte geométrico necessário.

Significado e Alegações

O artigo alega que o GeoBuildBench serve como um ambiente de teste rigoroso para raciocínio fundamentado e executável que vai além da plausibilidade textual ou similaridade visual. Os resultados sugerem que:

• Os MLLMs atuais, apesar do forte desempenho em QA de geometria padrão, lutam para manter um estado geométrico coerente e respeitar restrições relacionais durante construções multi-etapa.
• Muitos modos de falha (alucinações estruturais, construções inviáveis) seriam ignorados por protocolos de avaliação que dependem apenas de plausibilidade visual ou correção da resposta.
• A construção geométrica eficaz requer sensibilidade a feedback estrutural explícito e a capacidade de atualizar representações internas de acordo, em vez de apenas o tamanho bruto do modelo ou capacidade geral de visão-linguagem.

Os autores concluem que o GeoBuildBench oferece um ambiente de teste controlado para diagnosticar essas limitações e apoia trabalhos futuros sobre raciocínio agencial fundamentado estruturalmente para geometria. Eles reconhecem limitações, observando que o benchmark está restrito à geometria plana chinesa e a um conjunto específico de tipos de condições, e que o desempenho pode variar sob diferentes protocolos de interação ou ferramentas.