Synthesizing Multimodal Geometry Datasets from Scratch and Enabling Visual Alignment via Plotting Code

Il paper presenta GeoCode, un nuovo dataset sintetico per il ragionamento geometrico multimodale che genera problemi complessi con codice di rendering verificato e introduce la previsione del codice come obiettivo di allineamento visivo-simbolico, migliorando significativamente le prestazioni dei modelli su diversi benchmark.

L'essenziale

Immagina di voler insegnare a un robot a risolvere problemi di geometria complessi, come quelli che trovi nei libri di matematica delle superiori o nelle olimpiadi. Il problema è che i robot attuali (le Intelligenze Artificiali) sono bravi a "leggere" le parole, ma spesso si perdono quando devono guardare un disegno e capire come le linee e gli angoli sono collegati tra loro. È come se avessero un occhio che vede i colori, ma un cervello che non capisce la struttura.

Gli autori di questo studio hanno deciso di risolvere il problema costruendo una scuola di geometria artificiale da zero. Ecco come funziona, passo dopo passo, con qualche analogia:

1. Il Problema: "Il Robot che indovina"

Attualmente, molti modelli di IA cercano di risolvere i problemi di geometria basandosi su quello che hanno letto prima (i libri di testo) o su indizi nascosti nel testo. È come se un detective risolvesse un crimine leggendo solo il nome del colpevole nel giornale, senza mai guardare le prove sulla scena del crimine. Spesso, il robot indovina la risposta giusta per caso, ma non capisce perché è giusta.

2. La Soluzione: Costruire una "Fabbrica di Problemi" (GeoCode)

Gli autori hanno creato un processo in tre fasi per generare migliaia di nuovi problemi di geometria, assicurandosi che ogni singolo problema sia perfetto e coerente. Immagina questa fabbrica come un architetto, un muratore e un pittore che lavorano insieme:

• Fase 1: L'Architetto (I Semi Simbolici)
  Prima di disegnare qualsiasi cosa, l'architetto disegna lo "scheletro" logico del problema. Usa regole matematiche pure (come "se due linee sono perpendicolari, allora...") per creare una struttura solida. Non ci sono numeri o disegni ancora, solo la logica pura. È come scrivere la trama di un film prima di girarlo.
• Fase 2: Il Muratore (L'Istante Numerico)
  Una volta che la struttura logica è pronta, un "muratore" (un'intelligenza artificiale) prende quella trama e le dà vita. Assegna numeri reali (es. "questo lato misura 5 cm"), scrive la domanda in italiano e crea la soluzione passo-passo. Ma c'è un trucco: il muratore non si fida solo delle parole.
• Fase 3: Il Pittore e il Controllore (Il Codice di Disegno)
  Qui sta la magia. Invece di disegnare a mano libera, il sistema scrive un codice di programmazione (uno script) che dice esattamente: "Disegna un punto qui, collega questo punto a quello, fai un cerchio con raggio 5".
  • Perché è importante? Perché il computer esegue questo codice e genera il disegno finale. Se il codice dice che due linee sono parallele, il disegno deve mostrarle parallele. Se c'è un errore, il disegno non corrisponde al codice e il problema viene scartato.
  • Questo garantisce che il testo, la logica e l'immagine siano perfettamente allineati. Niente più disegni sbagliati o contraddittori.

3. L'Innovazione Magica: "Imparare a Disegnare per Capire"

Questa è la parte più geniale del paper. Di solito, si insegna all'IA a guardare un'immagine e rispondere alla domanda. Qui, gli autori hanno detto: "Aspetta, prima di rispondere, devi scrivere il codice che ha creato quell'immagine!"

Immagina di voler insegnare a uno studente a capire un quadro. Invece di chiedergli solo "Chi è il protagonista?", gli chiedi: "Descrivi esattamente come hai disegnato ogni linea e ogni cerchio per creare questo quadro."

• L'Analogia: È come se, per imparare a suonare il piano, non ti chiedessero solo di suonare una canzone, ma di scrivere la partitura musicale esatta mentre guardi il musicista.
• Il Risultato: Costringendo l'IA a "scrivere il codice" (il piano di costruzione) basandosi sull'immagine, l'IA è costretta a capire davvero la struttura geometrica. Non può più fare l'indovino o leggere solo le parole; deve "vedere" le relazioni spaziali.

4. I Risultati: Una Scuola di Eccellenza

Hanno creato un dataset chiamato GeoCode con 18.000 problemi di questo tipo. Quando hanno addestrato i robot su questi problemi:

• I robot sono diventati molto più bravi a risolvere problemi difficili (tipo Olimpiadi Matematiche).
• Hanno imparato a non farsi ingannare dalle parole, ma a guardare davvero il disegno.
• Hanno mostrato miglioramenti anche su test che non avevano mai visto prima.

In Sintesi

Gli autori hanno costruito una palestra di geometria perfetta dove ogni esercizio è verificato matematicamente. Invece di far guardare al robot solo il disegno e la domanda, gli hanno detto: "Guarda il disegno, e dimmi esattamente come è stato costruito, come se stessi dando le istruzioni a un robot disegnatore".

Questo metodo ha trasformato la visione del robot da una semplice "osservazione passiva" a una ricostruzione attiva e precisa, rendendo l'intelligenza artificiale molto più intelligente quando si tratta di capire il mondo visivo e matematico.

Sommario tecnico

1. Il Problema

Il ragionamento geometrico multimodale richiede che i modelli comprendano simultaneamente diagrammi visivi e eseguano inferenze simboliche strutturate. Tuttavia, i modelli Vision-Language (VLM) attuali mostrano limitazioni significative quando affrontano problemi geometrici complessi a causa di:

• Dati di addestramento insufficienti: La mancanza di dataset su larga scala con alta complessità strutturale e coerenza cross-modale.
• Allineamento visivo-simbolico debole: I modelli faticano a recuperare la struttura geometrica dai diagrammi. L'allineamento attuale è spesso supervisionato solo tramite risposte finali o ragionamenti testuali, lasciando la ricostruzione della struttura geometrica implicita e soggetta a bias linguistici.
• Ambiguità del linguaggio: La descrizione testuale di un problema geometrico è spesso "lossy" (perdita di informazioni) e ambigua rispetto alla rappresentazione completa e precisa offerta dal diagramma.

2. Metodologia

Gli autori propongono una pipeline end-to-end per sintetizzare problemi geometrici multimodali da zero, garantendo la coerenza tra struttura simbolica, testo, ragionamento e immagine. Il processo si articola in tre fasi principali:

A. Pipeline di Generazione (GeoCode)

1. Generazione di Semi Simbolici (Seed Generation):
   • Utilizzando un motore di ragionamento simbolico (basato su AlphaGeometry e GenesisGeo), vengono campionati insiemi di predicati geometrici astratti (es. perpendicolarità, parallelismo, collinearità).
   • Viene costruito un grafo di dipendenze per identificare target deduttivi non banali.
   • Vengono filtrati i casi triviali o degeneri, selezionando solo le strutture simboliche con alta complessità e profondità deduttiva.
2. Istanteizzazione (Instantiation):
   • Un modello linguistico (LLM) funge da "Istruttore" per assegnare valori numerici concreti, generare enunciati del problema in linguaggio naturale e produrre tracce di ragionamento (Chain-of-Thought) e risposte.
   • Un modulo "Coder" genera codice di plotting (meta-code) che calcola le coordinate esatte di tutti gli enti geometrici basandosi solo sulla descrizione testuale del problema, senza "barare" con la soluzione.
   • Verifica a due stadi:
     • Semantica: Verifica la coerenza logica tra testo, ragionamento e risposta.
     • Geometrica: Esegue il codice per verificare numericamente che tutte le vincoli (lunghezze, angoli, parallelismi) siano soddisfatti dalle coordinate generate.
3. Visualizzazione e De-biasing:
   • Il codice di plotting viene eseguito per renderizzare diagrammi puliti (usando OpenCV).
   • De-biasing Testuale: Vengono rimossi dall'enunciato del problema tutti i dettagli che possono essere dedotti direttamente dal diagramma (es. posizioni relative, intersezioni), costringendo il modello a fare affidamento sulla visione per recuperare queste informazioni.

B. Allineamento Esplicito tramite Codice di Plotting

Il contributo metodologico chiave è l'introduzione del codice di plotting come obiettivo di supervisione esplicito.

• Invece di addestrare il modello solo a prevedere la risposta o un testo descrittivo, il modello deve prima ricostruire il codice di plotting (JSON strutturato con coordinate, segmenti, cerchi e annotazioni) partendo dal diagramma.
• Questo trasforma la comprensione visiva in un compito di previsione strutturata e verificabile, costringendo il modello a recuperare esplicitamente le relazioni geometriche sottostanti prima di procedere al ragionamento.

3. Contributi Chiave

1. GeoCode: Un nuovo dataset multimodale di 18.000 problemi geometrici, contenente diagrammi, soluzioni, tracce di ragionamento e, crucialmente, codice di plotting strutturato. Il dataset presenta una complessità strutturale e una difficoltà di ragionamento superiori rispetto ai benchmark esistenti.
2. Pipeline di Sintesi Verificata: Un metodo scalabile per generare problemi geometrici con garanzie di correttezza matematica attraverso validazione multi-stadio (simbolica, numerica e visiva).
3. Strategia di Allineamento tramite Codice: Dimostrazione che l'uso del codice di plotting come target di supervisione migliora significativamente l'allineamento visivo-simbolico rispetto alla sola supervisione testuale, rendendo la percezione geometrica un processo esplicito.
4. Miglioramenti Generalizzabili: I modelli addestrati su GeoCode mostrano miglioramenti consistenti su molteplici benchmark pubblici, anche in scenari fuori distribuzione (OOD).

4. Risultati Sperimentali

• Performance su Benchmark: I modelli (basati su Qwen2.5-VL e Qwen3-VL) addestrati su GeoCode hanno superato i rispettivi baseline su diversi dataset (Geometry3K, GeoQA, OlympiadBench, MathVerse).
  • Ad esempio, su OlympiadBench (uno dei benchmark più difficili), il modello Qwen3-VL ha mostrato un miglioramento del +11.52%.
  • Su Test-mini (un subset interno ad alta difficoltà), l'accuratezza è passata dal 17.91% al 26.49% dopo il fine-tuning supervisionato (SFT) e ulteriormente al 37.68% dopo l'ottimizzazione con Reinforcement Learning (GRPO).
• Ablation Study:
  • L'uso del codice di plotting come obiettivo di supervisione ha portato a guadagni significativi rispetto all'uso di didascalie (caption) testuali o all'assenza di allineamento.
  • L'analisi mostra che la capacità di recuperare la struttura geometrica (misurata tramite F1 a livello di segmenti nel codice predetto) è fortemente correlata con l'accuratezza nella risoluzione del problema.
  • Il de-biasing testuale ha migliorato le prestazioni solo quando combinato con la supervisione tramite codice, confermando che la previsione strutturale esplicita è necessaria per un grounding visivo efficace.

5. Significato e Impatto

Questo lavoro affronta una delle principali colli di bottiglia nell'intelligenza artificiale multimodale: la difficoltà dei modelli a "vedere" e interpretare la struttura logica dei diagrammi geometrici.

• Superamento dei limiti dei dati: Fornisce un metodo robusto per generare dati di addestramento di alta qualità e complessità senza dipendere da annotazioni umane costose.
• Nuovo Paradigma di Allineamento: Sposta il focus dall'allineamento implicito (testo-risposta) a un allineamento esplicito e strutturato (immagine-codice), dimostrando che la rappresentazione intermedia sotto forma di codice è superiore per l'apprendimento di relazioni geometriche.
• Applicazioni Educative e di Ricerca: Il dataset e la metodologia offrono risorse preziose per lo sviluppo di sistemi di tutoring intelligenti e per la ricerca su modelli di ragionamento interpretabili e robusti in ambito STEM.

In sintesi, il paper dimostra che la sintesi di dati geometrici da zero, combinata con la supervisione tramite codice di rendering, è una strategia efficace per potenziare le capacità di ragionamento visivo-simbolico dei modelli di intelligenza artificiale.