💬 NLP

GeoMathCode: Understanding Interleaved Math-Code Reasoning for Geometry Problem Solving

Questo articolo introduce GeoMathCode, un framework che migliora la risoluzione di problemi geometrici utilizzando codice programmatico come output visivo intermedio, rivelando che il fine-tuning supervisionato disaccoppia il ragionamento dalla generazione di codice, mentre le strutture sintattiche gerarchiche catturano informazioni matematiche più ricche rispetto alle rappresentazioni visive.

Autori originali: Yingji Zhang, Yong Dai, André Freitas

Pubblicato 2026-05-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yingji Zhang, Yong Dai, André Freitas

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un rompicapo geometrico complicato, come capire come due linee curve interagiscono su un grafico. Di solito, quando un computer tenta di risolvere questo problema, potrebbe semplicemente "pensare" a parole o cercare di disegnare un'immagine pixel per pixel. Ma questo articolo introduce un nuovo modo per i computer di pensare: GeoMathCode.

Ecco la spiegazione di ciò che hanno fatto i ricercatori, utilizzando semplici analogie:

1. Il Problema: Disegnare con i Pixel vs. Scrivere Istruzioni

Immagina di voler insegnare a un robot a disegnare un cerchio perfetto.

Il Vecchio Modo (Basato sui Pixel): Dici al robot: "Colora questo punto specifico di rosso, poi questo, poi questo...". È come cercare di dipingere un capolavoro dicendo a qualcuno esattamente quale pennellata fare in ogni singolo secondo. È disordinato, difficile da controllare per errori e, se il robot commette un piccolo errore, l'intera immagine risulta sbagliata.
Il Nuovo Modo (GeoMathCode): Invece di dipingere punti, dai al robot un insieme di istruzioni (codice). Dici: "Disegna un cerchio con un raggio di 5". Il robot scrive un breve programma per farlo. È come dare una ricetta invece di un dipinto. È preciso, facile da verificare (il codice è stato eseguito?), e se c'è un errore, puoi vedere esattamente dove la ricetta è andata storta.

I ricercatori hanno costruito una vasta libreria di problemi matematici in cui la "soluzione" non è solo una risposta finale, ma un mix di parole (che spiegano la logica) e codice (le istruzioni per disegnare la forma).

2. La Grande Scoperta: Due Diverse "Stanze del Cervello"

La parte più interessante dell'articolo è ciò che hanno trovato all'interno del "cervello" del computer (il suo spazio di memoria interno) mentre risolveva questi problemi.

Hanno scoperto che il computer ha due "stanze" separate per pensare:

Stanza A (La Stanza della Logica): È qui che il computer capisce le regole matematiche (ad esempio, "Poiché la curva si apre verso il basso, i valori aumentano mentre ci spostiamo a sinistra").
Stanza B (La Stanza del Disegno): È qui che il computer scrive il codice per disegnare effettivamente le linee.

L'Analogia: Immagina uno chef che prepara un pasto complesso.

Nella Stanza A, lo chef sta pensando: "Devo soffriggere prima le cipolle, poi aggiungere le spezie". (Il ragionamento).
Nella Stanza B, lo chef sta fisicamente tritando le verdure e accendendo il fornello (il codice).

L'articolo ha scoperto che queste due attività avvengono in parti completamente diverse del cervello del computer. Non si mescolano. Il computer non usa la parte "disegno" per aiutarlo a "pensare" alla matematica; usa la parte "pensiero" per decidere cosa disegnare, e poi passa alla parte "disegno" per eseguire il piano.

3. L'Effetto "Addestramento": Organizzare il Caos

I ricercatori hanno anche testato cosa succede quando "addestrano" il computer (un processo chiamato Sintonizzazione Fine Supervisionata o SFT) utilizzando la loro nuova libreria di problemi.

Prima dell'Addestramento: Il "pensiero" del computer era un po' caotico. Era come una biblioteca in cui i libri erano gettati sul pavimento in un mucchio. Aveva molte informazioni, ma era disordinato e difficile da navigare.
Dopo l'Addestramento: Il "pensiero" del computer è diventato come una biblioteca ben organizzata. I libri (le idee) erano ancora lì, ma ora erano ordinati in file ordinati. Il computer non è diventato "più intelligente" aggiungendo più libri; è diventato più intelligente organizzando i libri che aveva già. Questo ha reso i suoi percorsi di ragionamento più chiari e strutturati.

4. Il Codice è Migliore dei "Simboli Matematici" delle Immagini

Infine, hanno confrontato la comprensione del computer dei simboli matematici (come $\sqrt{}$ per la radice quadrata o $\pi$ per pi greco) quando usava il codice rispetto a quando usava le immagini.

La Scoperta: Il computer ha compreso il significato dei simboli matematici molto meglio quando scriveva codice rispetto a quando guardava o generava semplicemente un'immagine.
L'Analogia: È come la differenza tra leggere uno spartito musicale (codice) e ascoltare una registrazione (immagine). Lo spartito ti dice esattamente quali sono le note e come si relazionano tra loro. La registrazione suona solo bene. Il computer ha scoperto che lo "spartito" (codice) conteneva il segreto della logica matematica molto meglio della "registrazione" (immagine visiva).

Riepilogo

In breve, questo articolo dice:

Smetti di far disegnare ai computer immagini pixel per pixel per risolvere la matematica; lasciali scrivere codice invece. È più pulito e più facile da verificare.
I computer separano il "pensiero" dal "disegno". Usano spazi mentali diversi per la logica e per la generazione del codice.
L'addestramento organizza il cervello. Insegnare a un computer con questo metodo non aggiunge solo fatti; organizza il suo processo di pensiero in una struttura ordinata ed efficiente.
Il codice è il traduttore migliore. Quando si tratta di comprendere simboli matematici complessi, scrivere codice è uno strumento più potente per il computer rispetto al guardare le immagini.

Riepilogo Tecnico: GeoMathCode

Enunciato del Problema

Il ragionamento matematico nei Modelli Linguistici Multimodali di grandi dimensioni (MLLM) spesso si basa sulla generazione di soluzioni multistep per problemi di geometria. Sebbene approcci recenti come MathCanvas tentino di emulare il ragionamento umano incorporando costruzioni visive ausiliarie (ad esempio, disegnare linee o punti), essi fanno tipicamente affidamento sulla generazione di immagini basate su pixel. Gli autori identificano due limitazioni primarie in questo paradigma:

Allineamento e Verifica: La generazione cross-modale fine-granulare (da testo a immagini basate su pixel) è intrinsecamente difficile da allineare e verificare, aumentando il potenziale di propagazione degli errori.
Complessità del Sistema: Gli approcci basati su pixel richiedono spesso generatori specifici per la visione aggiuntivi, complicando l'architettura del sistema.

Il documento ipotizza che, sebbene le rappresentazioni programmatiche (codice) siano precise e verificabili, non è ancora chiaro se il ragionamento matematico-codice intercalato ridisegni fondamentalmente la geometria latente del ragionamento multimodale o se serva meramente come output ausiliario. Nello specifico, gli autori cercano di comprendere come le traiettorie di ragionamento evolvano attraverso i livelli e se le rappresentazioni simboliche del codice catturino i concetti geometrici in modo diverso rispetto a quelli visivi.

Metodologia

1. Costruzione del Dataset: GeoMathCode

Gli autori introducono GeoMathCode, un dataset multimodale pubblico progettato per il ragionamento matematico-codice intercalato. La pipeline di costruzione prevede:

Fonte: Utilizzo di MathCanvas come risorsa primaria, coprendo otto domini matematici (Algebra, Geometria Analitica, Calcolo, ecc.).
Generazione: Impiego di Gemini 3-Flash per generare soluzioni intercalate contenenti ragionamento testuale, codice Python eseguibile e visualizzazioni corrispondenti.
Verifica: Una pipeline di verifica automatizzata multilivello garantisce la qualità:
- Motore basato su Regole (GPT-5.1): Estrae i passaggi chiave del ragionamento ("pick-points") e le regole matematiche.
- Verificatore (Gemini 3-Pro): Convalida la correttezza della risposta finale, la logica del ragionamento testuale e l'esecuzione del codice.
- Sandbox: Filtra i campioni con esecuzione errata del codice, attivando una rigenerazione iterativa.
Scala: Il dataset finale comprende 10.000 campioni di addestramento e 1.000 campioni di test, bilanciati con un rapporto 1:1 tra domande con e senza diagrammi.

2. Framework di Analisi Empirica

Lo studio valuta MLLM rappresentativi (Qwen3/3.5, LLaVA-Next, InternVL3.5) utilizzando sia il Fine-Tuning Supervisionato (SFT) a parametri completi che LoRA. L'analisi si concentra su due prospettive:

Prestazioni Post-Addestramento: Valutazione di metriche tra cui Accuratezza della Risposta (Ans Acc), correttezza del ragionamento testuale, Accuratezza del Codice, Correttezza Matematica del Codice e Coerenza Testo-Codice.
Analisi della Geometria Latente: Indagine dello spazio di rappresentazione interno dei modelli attraverso:
- Analisi delle Traiettorie: Misura delle distanze euclidee tra i passaggi del ragionamento e i passaggi del codice attraverso i livelli del transformer.
- Regolarizzazione della Varietà: Quantificazione della capacità informativa e della complessità geometrica utilizzando il Rank Effettivo (ERank) e la Dimensionalità Intrinseca (ID).
- Struttura dello Spazio del Codice: Analisi della rappresentazione latente della sintassi del codice (flusso di controllo, chiamate di funzione, flusso di dati) utilizzando KNN e SVM lineare per valutare il raggruppamento locale e la separabilità lineare globale.
- Sondaggio Simbolico: Confronto della capacità degli embedding del codice rispetto a quelli visivi di catturare simboli matematici fine-granulari (ad esempio, $\sqrt{}$ , $\triangle$ , $\angle$ ).

Risultati Chiave

1. Prestazioni e Disaccoppiamento

SFT Migliora le Prestazioni: Il Fine-Tuning Supervisionato migliora significativamente le prestazioni in tutti i modelli. Qwen3.5-9B-SFT ottiene i migliori risultati complessivi (punteggio medio 0,73), superando i baseline e le varianti LoRA.
Disaccoppiamento Ragionamento-Codice: Le visualizzazioni PCA e l'analisi delle traiettorie rivelano che i passaggi del ragionamento e i passaggi di generazione del codice formano sottospazi latenti disaccoppiati.
- Il modello si basa principalmente sulle traiettorie del ragionamento testuale per la previsione della risposta finale.
- La generazione intermedia del codice funge da rappresentazione eseguibile ausiliaria piuttosto che da modalità di ragionamento attiva che guida direttamente la risposta finale.
- Ciò suggerisce una separazione funzionale tra ragionamento matematico ed esecuzione programmatica nello spazio latente.

2. Regolarizzazione della Varietà tramite SFT

Ragionamento Strutturato: L'SFT aumenta il Rank Effettivo (ERank) delle rappresentazioni di ragionamento (indicando una maggiore diversità informativa) riducendo simultaneamente la Dimensionalità Intrinseca (ID) (indicando una minore complessità geometrica locale).
Interpretazione: Ciò suggerisce che l'SFT non comprime semplicemente le rappresentazioni, ma riorganizza le traiettorie di ragionamento in percorsi computazionali più strutturati, canonici e riutilizzabili, bilanciando la diversità informativa con la regolarità geometrica.

3. Spazio Gerarchico del Codice

Sottospazi Sintattici: Le strutture sintattiche gerarchiche (ad esempio, flusso di controllo, chiamate di funzione) emergono come sottospazi latenti strutturati.
Dinamiche di Astrazione: Mentre le categorie semantiche di alto livello rimangono preservate, il raggruppamento lessicale fine-granulare diventa misto negli strati più profondi. Il modello riorganizza le API in varietà di esecuzione-semantica condivise basate sui ruoli funzionali.
Superiorità del Codice rispetto alle Immagini: Le rappresentazioni latenti del codice catturano concetti simbolici matematici fine-granulari (ad esempio, operatori specifici e forme geometriche) in modo più efficace rispetto alle rappresentazioni visive, come dimostrato da una maggiore accuratezza di classificazione nei compiti di sondaggio.

Significato e Affermazioni

Il documento afferma di fornire un nuovo dataset e un'analisi sistematica della struttura geometrica latente sottostante al ragionamento matematico-codice intercalato. I contributi principali sono:

Dataset: L'introduzione di GeoMathCode, che facilita lo studio degli output intermedi programmatici nella risoluzione di problemi di geometria.
Approfondimenti sulla Geometria Latente: La dimostrazione che i passaggi di ragionamento e codice sono disaccoppiati nello spazio latente, sfidando l'idea che la generazione di codice sia una modalità di ragionamento attiva allo stesso modo in cui potrebbero esserlo le modalità visive.
Effetti dell'SFT: La constatazione che l'SFT regolarizza la varietà di ragionamento, rendendola più informativa ma geometricamente regolare, piuttosto che semplicemente aumentando la complessità.
Codice vs Immagini: L'evidenza che le rappresentazioni simboliche del codice sono superiori alle rappresentazioni visive per la cattura di concetti matematici fine-granulari.

Gli autori concludono che queste scoperte motivano ricerche future sull'interpretabilità meccanicistica negli LLM, specificamente riguardo all'esecuzione del codice, e sul potenziale del rinforzo basato su pick-point per migliorare l'affidabilità del ragionamento. Riconoscono limitazioni riguardanti la dipendenza da valutatori basati su LLM e la relativamente bassa accuratezza della risposta finale, suggerendo che il lavoro futuro dovrebbe concentrarsi sulla valutazione simbolica automatica e su approcci di apprendimento per rinforzo (ad esempio, GRPO, DAPO).