Riepilogo Tecnico: GeoBuildBench

Enunciato del Problema

Sebbene i Modelli Linguistici di Grande Dimensione (LLM) e i Modelli Linguistici Multimodali (MLLM) abbiano dimostrato prestazioni elevate su benchmark geometrici come GeoQA e Geometry3K, queste valutazioni si concentrano principalmente sulla correttezza della risposta o sull'interpretazione di diagrammi statici. Gli approcci esistenti spesso presuppongono rappresentazioni formalizzate o diagrammi preesistenti, lasciando un divario fondamentale: la capacità dei modelli di trasformare descrizioni informali in linguaggio naturale in strutture geometriche coerenti ed eseguibili.

I metodi attuali "da testo a diagramma" si affidano spesso a metriche di similarità visiva o a controlli dipendenti dal parser che non riescono a verificare se le relazioni geometriche (ad esempio, parallelismo, tangenza) siano soddisfatte semanticamente. Inoltre, i framework agentic testati in ambienti testuali non sono stati valutati rigorosamente in domini in cui ogni azione deve soddisfare vincoli spaziali rigorosi e i fallimenti (come linee parallele che si intersecano) sono immediatamente osservabili. Il lavoro ipotizza che la geometria offra un banco di prova unico per il ragionamento fondato, dove gli errori di costruzione portano a diagrammi visivamente invalidi, rendendola ideale per lo studio delle allucinazioni strutturali.

Metodologia

L'Ambiente GeoBuildBench

Gli autori introducono GeoBuildBench, un benchmark interattivo progettato per valutare agenti che traducono problemi di geometria piana in linguaggio naturale in costruzioni eseguibili. L'ambiente opera su un ciclo chiuso agente-ambiente:

1. Definizione del Compito: Ogni compito consiste in un problema in linguaggio naturale, un insieme di oggetti geometrici richiesti e un elenco di condizioni di verifica. Il benchmark non assume un singolo diagramma "gold"; sono valide molteplici costruzioni se sono eseguibili e semanticamente accurate.
2. Linguaggio Specifico di Dominio (DSL): È definito un DSL geometrico compatto e orientato all'esecuzione. È un linguaggio di costruzione piuttosto che un linguaggio di vincoli dichiarativo. Gli agenti devono costruire esplicitamente oggetti (punti, linee, cerchi) e relazioni (intersezioni, paralleli) piuttosto che affermarli. Il DSL supporta primitive per entità geometriche e operatori per costruzioni comuni.
3. Esecuzione e Verifica: I programmi DSL generati sono eseguiti da un kernel geometrico. Un modulo di verifica valuta il risultato su tre dimensioni:
   • Eseguibilità: Il programma viene eseguito senza errori?
   • Copertura degli Oggetti: Sono presenti tutti gli oggetti richiesti?
   • Soddisfazione dei Vincoli: Sono soddisfatte le condizioni verificabili (incidenza, parallelismo, vincoli metrici, angoli)?
4. Protocollo di Interazione: Gli agenti operano in un contesto iterativo limitato (massimo 5 passaggi). Ricevono rendering visivi e feedback strutturato riguardo a errori, oggetti mancanti o vincoli violati, consentendo riparazioni iterative.

Curatela del Dataset

Il benchmark comprende 489 problemi di geometria in stile libro di testo cinese selezionati da GeoQA e repository online. Per garantire la risolvibilità dal solo testo, è stata adottata una pipeline di curatela in tre fasi:

1. Filtraggio basato sul Testo: Gli LLM (GPT-4.1) filtrano i problemi dipendenti da indici presenti solo nel diagramma, riferimenti indefiniti o vincoli incompleti.
2. Estrazione della Rappresentazione del Compito: Un secondo passaggio con LLM estrae rappresentazioni strutturate del compito (oggetti richiesti e condizioni di verifica) in uno schema fisso.
3. Verifica Umana: Annotatori di livello universitario in matematica verificano la conformità allo schema e la realizzabilità geometrica, assicurando che esista in linea di principio una costruzione valida.

Configurazione della Valutazione

Gli autori hanno valutato quattro modelli multimodali all'avanguardia (GPT-5.1, Gemini-3-Flash, Qwen3-VL-235B, LLaMA-3.2-90B-Vision) utilizzando prompt zero-shot o few-shot. I modelli sono stati valutati su tasso di successo, passaggi iterativi, frequenza di allucinazioni, oggetti mancanti e vincoli falliti.

Contributi Chiave

1. Un Ambiente Iterativo: Un nuovo ambiente di costruzione geometrica eseguibile con un DSL minimale e rendering deterministico, che consente interazioni agentiche fondate e loop di feedback.
2. Il Dataset GeoBuildBench: Un benchmark curato di 489 problemi annotati con vincoli per supportare la valutazione senza assumere una singola costruzione gold, permettendo costruzioni ausiliarie (ad esempio, punti ausiliari) come nella pratica umana.
3. Analisi Empirica: Una valutazione completa che rivela che, sebbene gli attuali MLLM performino bene sulla QA geometrica tradizionale, faticano con la correttezza strutturale e l'autoriparazione iterativa in compiti di costruzione eseguibili.

Risultati

La valutazione evidenzia significative disparità nelle prestazioni dei modelli:

• Tassi di Successo: I modelli all'avanguardia GPT-5.1 (78,9%) e Gemini-3-Flash (75,3%) hanno raggiunto i tassi di successo più alti. Al contrario, Qwen3-VL-235B (42,2%) e LLaMA-3.2-90B-Vision (21,3%) hanno performato significativamente peggio.
• Allucinazioni Strutturali: Una modalità di fallimento primaria per tutti i modelli è stata il "riferimento indefinito", in cui gli agenti facevano riferimento a oggetti geometrici non ancora istanziati. I modelli più deboli hanno mostrato tassi di allucinazione superiori a due per problema, rispetto a ~0,3–0,4 per i modelli all'avanguardia.
• Utilizzo del Feedback: I modelli all'avanguardia hanno dimostrato un recupero più rapido dagli errori (Gemini-3-Flash: 1,17 passaggi/allucinazione) rispetto ai modelli più deboli (~1,75 passaggi).
• Ablazione Visiva: L'abilitazione degli input visivi ha prodotto risultati misti. Per Qwen3-VL, la visione ha aumentato leggermente il successo ma ha destabilizzato il legame dei simboli (aumentando oggetti mancanti e allucinazioni). Per LLaMA-3.2, la visione ha ridotto gli errori strutturali ma non ha migliorato il successo complessivo, indicando che la pianificazione geometrica rimane il collo di bottiglia dominante.
• Costruzioni Ausiliarie: I modelli di successo hanno frequentemente utilizzato costruzioni ausiliarie (ad esempio, cerchi ausiliari) per soddisfare i vincoli, mentre i modelli più deboli tendevano a omettere relazioni richieste o a non costruire il supporto geometrico necessario.

Significato e Affermazioni

Il lavoro afferma che GeoBuildBench funge da banco di prova rigoroso per il ragionamento fondato ed eseguibile che va oltre la plausibilità testuale o la similarità visiva. I risultati suggeriscono che:

• Gli attuali MLLM, nonostante le forti prestazioni sulla QA geometrica standard, faticano a mantenere uno stato geometrico coerente e a rispettare i vincoli relazionali durante costruzioni multi-passaggio.
• Molte modalità di fallimento (allucinazioni strutturali, costruzioni non fattibili) verrebbero perse da protocolli di valutazione che si basano esclusivamente sulla plausibilità visiva o sulla correttezza della risposta.
• Una costruzione geometrica efficace richiede sensibilità al feedback strutturale esplicito e la capacità di aggiornare le rappresentazioni interne di conseguenza, piuttosto che basarsi solo sulla dimensione grezza del modello o sulla capacità generale visione-linguaggio.

Gli autori concludono che GeoBuildBench offre un banco di prova controllato per diagnosticare queste limitazioni e supporta lavori futuri sul ragionamento agenziale fondato strutturalmente per la geometria. Riconoscono le limitazioni, notando che il benchmark è vincolato alla geometria piana cinese e a un insieme specifico di tipi di condizioni, e che le prestazioni possono variare sotto diversi protocolli di interazione o strumentazione.