💬 NLP

Measuring Representation Robustness in Large Language Models for Geometry

Il paper introduce GeoRepEval, un framework di valutazione che rivela come la scelta della rappresentazione (euclidea, cartesiana o vettoriale) influenzi significativamente l'accuratezza e la robustezza dei modelli linguistici nella geometria, evidenziando che le attuali prestazioni dipendono spesso da euristiche specifiche piuttosto che da un ragionamento geometrico astratto.

Autori originali: Vedant Jawandhia, Yash Sinha, Murari Mandal, Ankan Pal, Dhruv Kumar

Pubblicato 2026-04-21

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Vedant Jawandhia, Yash Sinha, Murari Mandal, Ankan Pal, Dhruv Kumar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🧠 Il Problema: L'Intelligenza Artificiale che "fa il muso" alla matematica

Immagina di avere un genio matematico molto intelligente, ma un po' capriccioso. Questo genio (l'Intelligenza Artificiale) è bravissimo a risolvere i problemi di geometria, ma c'è un grosso "ma": se gli cambi il modo in cui gli chiedi la cosa, si confonde.

È come se tu chiedessi a questo genio: "Quanto fa 2 più 2?". Lui ti risponde subito: "4!".
Ma se gli chiedi: "Se hai due mele e ne aggiungi altre due, quante mele hai?", lui potrebbe impappinarsi e dirti "5".
O peggio, se gli chiedi di usare un linguaggio diverso, tipo il "linguaggio degli alieni" (che in questo caso è la matematica vettoriale), lui potrebbe andare in tilt.

Gli scienziati di questo studio (Vedant, Yash e il loro team) hanno scoperto che le Intelligenze Artificiali moderne (chiamate LLM) sono spesso fragili. Non ragionano davvero in modo astratto; sembrano invece imparare a memoria delle "ricette" specifiche per ogni tipo di domanda. Se cambi la ricetta, la cucina brucia.

🔍 Cosa hanno fatto? (Il "GeoRepEval")

Hanno creato un laboratorio di prova chiamato GeoRepEval. Immaginalo come una palestra per i cervelli delle macchine.

Hanno preso 158 problemi di geometria (tipo quelli che si fanno al liceo) e li hanno scritti in tre lingue diverse, ma che significano esattamente la stessa cosa:

Geometria Euclidea: La classica, con figure, linee e angoli descritti a parole (es. "Un triangolo con base 5 e altezza 12").
Geometria Cartesiana: Usando le coordinate (es. "Un punto in (0,0) e un altro in (3,4)").
Geometria Vettoriale: Usando frecce e formule complesse (es. "Il prodotto vettoriale di due vettori").

Hanno dato questi problemi a 11 diverse Intelligenze Artificiali (dalle più piccole alle più potenti) e hanno visto cosa succedeva.

📉 Cosa hanno scoperto? (I risultati sconcertanti)

Ecco le scoperte principali, spiegate con metafore:

Il "Muro dei Vettori": Tutte le intelligenze artificiali hanno fatto benissimo con la geometria classica (Euclidea) e abbastanza bene con quella cartesiana. Ma quando sono arrivate alla geometria vettoriale, sono crollate. È come se avessero un muro invisibile: riescono a saltare la staccionata bassa (Euclidea), ma quando vedono un muro alto (Vettori), si fermano.
Il divario è enorme: Per alcune intelligenze, la differenza di successo tra il metodo classico e quello vettoriale è stata del 14%. Significa che su 100 problemi, ne risolvevano 14 in più solo perché erano scritti in modo più semplice.
La "Fragilità" (Invariance@3): Hanno inventato un punteggio chiamato "Invariance@3". È come un esame di guida: se guidi bene solo quando c'è il sole, ma non quando piove, non sei un vero guidatore. La maggior parte delle AI ha superato questo test con un voto bassissimo (spesso sotto il 50%). Significa che risolvono il problema solo se glielo danno nel modo "giusto" per loro, non perché capiscono la matematica vera.
Il colpevole: I modelli più piccoli e meno potenti (come LLaMA-3.1-8B) sono andati in crisi totale sui vettori (punteggio di 0.044! Quasi zero). I modelli più grandi sono andati meglio, ma comunque non erano perfetti.

💡 La Soluzione Magica? (Converti e Risolvi)

Gli scienziati hanno provato un trucco: invece di chiedere all'AI di risolvere il problema vettoriale direttamente, gli hanno detto:
"Prima traduci questo problema vettoriale in geometria classica, e poi risolvilo."

Il risultato è stato incredibile per le AI potenti:

Le intelligenze più grandi hanno visto la loro precisione schizzare dal 45% al 97%.
Cosa significa? Che il problema non era che l'AI "non sapeva fare matematica". Il problema era che si spaventava della forma della domanda. Una volta che le hanno dato una "scala" per tradurre la domanda difficile in una facile, ha risolto tutto.

Ma c'è un "ma":
Le intelligenze artificiali più piccole e deboli non hanno beneficiato di questo trucco. Per loro, il problema era più profondo: non avevano la capacità logica per risolvere il problema, nemmeno dopo la traduzione.

🎯 La Morale della Favola

Non fidarti ciecamente: Se un'AI risolve bene un problema di matematica, non significa che "capisce" la matematica. Potrebbe solo aver imparato a memoria come rispondere a quella specifica forma di domanda.
La forma conta: Cambiare il modo in cui chiedi una cosa può far fallire anche i modelli più intelligenti.
Il futuro: Per rendere le AI davvero affidabili (specialmente in cose importanti come la medicina o l'ingegneria), dobbiamo testarle non solo su una forma di domanda, ma su tutte le possibili varianti, per assicurarci che non stiano solo "indovinando" basandosi su schemi superficiali.

In sintesi: Le attuali Intelligenze Artificiali sono bravissime a seguire le istruzioni, ma spesso non hanno la vera comprensione profonda della materia. Sono come attori che recitano bene una scena, ma se cambi il copione, dimenticano tutto.

1. Il Problema

I Large Language Models (LLM) stanno mostrando capacità crescenti nel ragionamento matematico, ma la loro robustezza rispetto alle diverse rappresentazioni dello stesso problema rimane poco compresa. In geometria, un singolo problema può essere formulato in tre modi semanticamente equivalenti ma strutturalmente distinti:

Geometria Euclidea: Descrizione verbale e relazionale.
Geometria Analitica (Coordinate): Utilizzo del piano cartesiano.
Geometria Vettoriale: Utilizzo di prodotti scalari, vettoriali e notazione vettoriale.

I benchmark esistenti valutano l'accuratezza su formati fissi, assumendo implicitamente l'invarianza della rappresentazione. Questo approccio maschera i fallimenti causati esclusivamente dal cambiamento di formato. Il paper si pone la domanda fondamentale: i modelli moderni di LLM possiedono un ragionamento geometrico astratto e invariante, o si basano su euristiche specifiche per la rappresentazione?

2. Metodologia: GeoRepEval

Gli autori propongono GeoRepEval, un framework di valutazione consapevole della rappresentazione, strutturato in quattro fasi principali:

Costruzione del Dataset:
- Sono stati selezionati 158 problemi geometrici di livello scolastico (tratti da manuali indiani come NCERT, RD Sharma, RS Aggarwal).
- Ogni problema è stato generato in tre varianti parallele (Euclidea, Coordinate, Vettoriale) mantenendo identici vincoli e percorsi di soluzione.
- Il dataset finale comprende 474 istanze (158 problemi $\times$ 3 rappresentazioni), verificate manualmente da esperti matematici per garantire l'equivalenza semantica.
Inferenza Controllata:
- 11 LLM (sia open-weight come LLaMA, Gemma, Mistral, Qwen, sia proprietari come GPT, Claude, Gemini) sono stati testati su tutte le varianti in modalità zero-shot.
- Le risposte sono state estratte e normalizzate rigorosamente per il confronto.
Metriche di Valutazione:
Oltre all'accuratezza standard per rappresentazione, il framework introduce metriche di ordine superiore:
- Invariance@3: La frazione di problemi risolti correttamente in tutte e tre le rappresentazioni.
- Consistency@3: La frazione di problemi in cui il modello produce lo stesso output (corretto o errato) in tutte e tre le forme.
- Analisi dei Pattern di Fallimento: Classificazione dei problemi in categorie come CCC (corretto ovunque), CCW (corretto in Euclidea/Coordinate, errato in Vettoriale), ecc.
Analisi Statistica:
- Utilizzo di intervalli di confidenza bootstrap e test di McNemar appaiati per verificare la significatività statistica delle differenze.
- Regressione per controllare fattori di superficie (lunghezza del prompt, densità simbolica).
Intervento di Prompting (Convert-then-Solve):
- Un esperimento in cui si chiede al modello di convertire prima il problema vettoriale/analitico in forma euclidea, per poi risolverlo.

3. Contributi Chiave

Framework GeoRepEval: Un framework statisticamente fondato con metriche formalmente giustificate (Proprietà 1-3) che collegano accuratezza, invarianza e coerenza.
Benchmark Parallelo: Il primo dataset che offre 158 problemi core in tre rappresentazioni semanticamente equivalenti, permettendo un'analisi a livello di singolo problema.
Analisi Empirica e Spiegativa: Identificazione di gap di accuratezza fino a 14 punti percentuali e di un'invarianza estremamente bassa (fino a 0.044).
Intervento di Prompting: Dimostrazione che la strategia "converti poi risolvi" può migliorare drasticamente le prestazioni, suggerendo che i fallimenti sono legati alla sensibilità alla rappresentazione e non all'incapacità concettuale.

4. Risultati Principali

Gap di Accuratezza: L'accuratezza varia significativamente in base alla rappresentazione. La geometria Euclidea è quasi sempre la più performante, mentre quella Vettoriale è la più debole.
- Esempio: Per Claude-Haiku, l'accuratezza scende da 0.60 (Euclidea) a 0.46 (Vettoriale), un gap di 14 punti percentuali.
Bassa Invarianza: La maggior parte dei modelli fallisce nel risolvere correttamente lo stesso problema in tutte e tre le forme.
- LLaMA-3.1-8B ha un Invariance@3 di soli 0.044 (meno del 5% dei problemi risolti correttamente in tutte e tre le forme).
- Anche i modelli più capaci (es. GPT-OSS-20B) raggiungono solo 0.665.
Il Vettore come Punto debole: L'analisi dei pattern di errore rivela che il pattern CCW (Corretto in Euclidea e Coordinate, Errato in Vettoriale) è 2-5 volte più frequente del pattern inverso. Questo indica che i modelli applicano fluentemente "template" euclidei ma falliscono nelle procedure vettoriali.
Intervento Convert-then-Solve:
- Per modelli ad alta capacità (es. Gemini-2.5-Flash), convertire il problema in forma euclidea prima di risolverlo ha aumentato l'accuratezza vettoriale di 52 punti percentuali (da 0.45 a 0.97).
- Questo suggerisce che i modelli potenti possiedono la comprensione concettuale ma mancano di procedure vettoriali ben praticate.
- I modelli a bassa capacità (es. LLaMA-8B) non hanno mostrato miglioramenti significativi, indicando limiti di capacità più profondi.

5. Significato e Implicazioni

Ragionamento vs. Euristiche: I risultati suggeriscono che gli attuali LLM non eseguono un ragionamento geometrico completamente astratto, ma si affidano a euristiche specifiche per la rappresentazione apprese dai dati di addestramento.
Fragilità Nascosta: Un'alta accuratezza su un singolo formato (es. Euclidea) non garantisce competenza di ragionamento. I benchmark attuali potrebbero sovrastimare le capacità dei modelli ignorando la sensibilità alla rappresentazione.
Spiegazioni del Fallimento Vettoriale: Gli autori ipotizzano che la fragilità vettoriale sia dovuta a:
1. Maggiore complessità superficiale e lunghezza della sequenza.
2. Catene procedurali più lunghe che aumentano la probabilità di errori di calcolo.
3. Distribuzione dei dati di addestramento (meno esempi vettoriali rispetto a quelli euclidei).
4. Errori algebrici cumulativi (es. gestione dei segni).
Implicazioni per la Sicurezza: Per applicazioni critiche, la scelta della rappresentazione del problema influisce materialmente sull'affidabilità del modello. GeoRepEval offre un metodo per diagnosticare sistematicamente questi rischi.

In conclusione, il paper dimostra che la robustezza nella rappresentazione è un collo di bottiglia critico per il ragionamento matematico degli LLM e che interventi di prompting mirati possono mitigare questi fallimenti solo per modelli con sufficiente capacità computazionale.