💬 NLP

Arithmetic OOD Failure Unfolds in Stages in Minimal GPTs

Il paper dimostra che il fallimento nell'aritmética fuori distribuzione (OOD) nei modelli GPT minimi si svolge in quattro stadi distinti: una barriera di layout, una semantica errata del riporto, una ricomposizione condizionata e residui nelle cifre delle decine, fornendo una decomposizione sperimentale di questi errori.

Autori originali: Seine A. Shintani

Pubblicato 2026-03-31

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Seine A. Shintani

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un piccolo robot (un "GPT minimale") che è stato addestrato a fare somme di numeri a due cifre, come 49 + 07. Il robot ha visto tutte le possibili combinazioni di queste somme. È un esperto assoluto di queste operazioni.

Ora, proviamo a fargli fare una somma un po' più grande, con tre cifre, come 201 + 760. Sorprendentemente, il robot fallisce. Ma perché? Se conosce già tutte le regole per sommare le singole cifre, cosa gli manca?

Questo studio, scritto da Seine Shintani, ci dice che il robot non fallisce tutto in una volta. Il suo errore si "srotola" come una molla in quattro fasi distinte. È come se il robot avesse quattro "cancelli" da superare per diventare bravo, e fallisce su uno alla volta.

Ecco le quattro fasi, spiegate con delle metafore semplici:

1. Il Muro dell'Impaginazione (Il Layout)

La metafora: Immagina di aver imparato a leggere una ricetta scritta in un libro con caratteri grandi e spaziati. Poi, qualcuno ti dà la stessa identica ricetta, ma scritta in un foglio di giornale piccolo, con le righe strette e i margini diversi. Anche se conosci le parole, il tuo cervello va in tilt perché la forma del testo è cambiata.

Cosa succede al robot: Il robot ha imparato che il primo numero è sempre nella "prima casella". Quando gli mostriamo numeri a tre cifre, la posizione cambia. Il robot pensa: "Aspetta, questo numero è nella casella sbagliata!".
La soluzione: Non basta insegnargli nuove regole matematiche. Bisogna mostrargli le stesse somme (quelle che già sa fare) scritte in quel nuovo formato "strano". Solo vedendo la nuova "impaginazione" (layout), il robot smette di andare in panico.

2. Il Segnale di Allarme (Il "Carry" come Bandiera)

La metafora: Immagina di essere un vigile del fuoco. Il tuo compito è spegnere l'incendio (calcolare la cifra corretta). Ma il robot, invece di guardare il fuoco, guarda solo un campanello d'allarme. Se sente un rumore (un "riporto" o carry dalla colonna precedente), pensa: "Oh no, c'è un'emergenza! Devo alzare la bandiera rossa!" e scrive un numero a caso, ignorando il vero valore matematico.

Cosa succede al robot: Quando deve calcolare la cifra delle "centinaia" (la terza cifra), invece di fare il calcolo vero e proprio, usa quella posizione come un semplice interruttore: "C'è stato un riporto? Sì? Allora scrivo 1. No? Scrivo 0". Non capisce che quella cifra ha un valore reale (100, 200, ecc.).
La soluzione: Bisogna "riprogrammare" il robot per fargli capire che quella posizione non è un semplice semaforo, ma una cifra vera e propria che ha un peso.

3. Il Problema del "Coda" (La Ricomposizione)

La metafora: Ora il robot sa costruire il corpo di un'automobile (le prime due cifre sono corrette). Sa anche che il motore funziona. Ma quando prova ad attaccare le ruote posteriori (le ultime due cifre), le mette storte o le dimentica. Sa come fare il corpo, ma non sa come "incollare" la parte finale in modo che combaci perfettamente con la parte iniziale.

Cosa succede al robot: Il robot spesso calcola correttamente le centinaia, ma poi si perde quando deve aggiungere le decine e le unità finali. Non riesce a "ricomporre" l'intero numero partendo dalla parte superiore corretta.
La soluzione: Bisogna fargli vedere esempi dove la parte alta è corretta e la parte bassa è attaccata in modo giusto, insegnandogli a collegare le due parti come un puzzle.

4. L'Errore Finale: Il Segno del "Decimo"

La metafora: Siamo quasi alla fine. Il robot è diventato un maestro. Ma c'è un ultimo, minuscolo difetto. Quando deve calcolare le "decine", a volte le esagera un po' (scrive 15 invece di 14) o le sminuisce (scrive 12 invece di 14). È come un architetto che ha costruito un palazzo perfetto, ma ogni tanto sbaglia di un centimetro l'angolo di una finestra, e lo sbaglio dipende da quanto è "pesante" il tetto.

Cosa succede al robot: L'ultimo errore residuo è molto specifico: sbaglia il segno delle decine in base a se c'è stato un riporto precedente.
La soluzione: Un piccolo ritocco finale per correggere questa tendenza specifica a "sovrastimare" o "sottostimare" le decine.

In sintesi

Questo studio ci insegna una lezione importante: quando un'intelligenza artificiale fallisce in matematica, non è perché "non sa contare". È perché ha dei blocchi specifici che si manifestano in ordine:

Non riconosce il formato del numero.
Interpreta male il significato di una cifra (la usa come segnale d'allarme).
Non sa unire le parti del numero.
Fa un piccolo errore di precisione finale.

Se vogliamo migliorare le AI, non dobbiamo solo lanciarle più dati a caso. Dobbiamo capire quale di questi cancelli è chiuso e aprire proprio quello, passo dopo passo. È come riparare un'auto: prima sistemiamo le ruote, poi il motore, poi l'elettronica, e alla fine la vernice. Non ha senso verniciare l'auto se le ruote non girano!

1. Il Problema

I benchmark aritmetici per i modelli linguistici sono spesso ridotti a un singolo punteggio di "corrispondenza esatta" (exact match) su dati tenuti fuori dal training (OOD - Out-of-Distribution). Il paper identifica un limite fondamentale di questo approccio: un punteggio singolo può confliggere (conflate) fallimenti qualitativamente diversi.

Un modello potrebbe aver appreso tutte le regole locali necessarie per l'addizione (es. somma di due cifre), ma fallire quando i numeri vengono presentati con un layout diverso o quando devono gestire il riporto (carry) in posizioni più alte. Se questi errori vengono misurati come un unico blocco, diventa impossibile capire cosa fallisce e perché. L'obiettivo del lavoro è decomporre il fallimento generalizzato nell'aritmetica in fasi distinte e testabili sperimentalmente.

2. Metodologia

L'autore utilizza un ambiente di ricerca controllato ("sandbox") basato su un GPT minimale (un Transformer decoder-only ispirato a microGPT), addestrato su un dataset esaustivo di addizioni a 2 cifre (tutte le $100 \times 100 = 10.000$ coppie possibili).

Ipotesi di partenza: Poiché il training copre ogni possibile transizione locale di cifre, il fallimento su addizioni a 3 cifre non può essere attribuito alla mancanza di regole locali, ma a problemi di generalizzazione strutturale.
Struttura delle Suite di Valutazione: I dati di test sono organizzati in una "scala" (ladder) dove ogni nuova suite introduce un singolo tipo di difficoltà qualitativa:
1. Layout-only: Stesso range di valori (0-99), ma formattato come numero a 3 cifre (es. 049+007=0056).
2. True 3-digit (no carry): Addizioni reali a 3 cifre senza riporto verso la centinaia.
3. True 3-digit (with carry): Addizioni reali con riporto verso la centinaia.
4. Thousands-carry: Addizioni che generano un riporto verso la migliaia.
Interventi Controllati: Vengono testate diverse famiglie di modelli con modifiche specifiche (bias posizionali, esposizione a layout misti, sonde mirate per il riporto, dati di binding condizionale) confrontate con controlli "matched" (stesso volume di dati, ma contenuto diverso o duplicato) per isolare l'effetto causale di ogni intervento.
Architetture: Studi principali su modelli a 1 strato (width-16) e studi di conferma su modelli a 2 strati (width-32) per verificare la stabilità delle scoperte.

3. Contributi Chiave

Il paper propone una decomposizione sperimentale del fallimento OOD aritmetico in quattro stadi sequenziali. L'innovazione risiede nel dimostrare che questi stadi possono essere riparati individualmente e che l'ordine di riparazione è critico.

Barriera del Layout (Layout Barrier): Il primo ostacolo non è semantico, ma rappresentazionale. I modelli con bias posizionali appresi (absolute-position) falliscono completamente se il layout cambia (da 2 a 3 cifre), anche se le regole matematiche sono note. Solo l'esposizione al layout misto durante il training rompe questa barriera.
Errore Semantico del Riporto (Carry-Semantics Error): Una volta riparato il layout, la posizione delle "centinaia" non viene trattata come una cifra di valore posizionale, ma come un flag binario di riporto. Le sonde mirate (targeted probes) che insegnano specificamente la semantica del riporto invertono il margine dei logit, correggendo questo errore, mentre l'aggiunta generica di dati extra non funziona.
Collo di Bottiglia della Ricomposizione Condizionale (Conditional Recomposition): Dopo aver corretto la semantica del riporto, il modello sa calcolare le cifre superiori (centinaia/migliaia) correttamente, ma fallisce nel "legare" (bind) la coda inferiore corretta (decine/unità) a quello stato superiore. La soluzione è l'uso di dati di coda condizionata all'alto (high-conditioned tail data), che insegna a generare la parte bassa solo quando lo stato alto è corretto.
Residuo Tardivo Condizionato al Riporto (Late Tens-Residual): Una volta risolti i problemi precedenti, l'errore residuo è estremamente localizzato: un errore di segno nella cifra delle decine, condizionato dallo stato del riporto ( $c_2$ ). Se c'è un riporto, il modello tende a sovrastimare; se non c'è, a sottostimare. Interventi specifici sulla polarità delle decine risolvono questo ultimo errore.

4. Risultati Principali

Fase 1 (Layout): L'induzione posizionale strutturata da sola non basta. L'esposizione al layout a 3 cifre durante il training aumenta l'exact match sulla suite "layout-only" da ~0.0008 a ~0.44.
Fase 2 (Semantica del Riporto): Le sonde mirate riducono il margine logit a favore della cifra "flag" (da +288 a -109), trasformando la posizione delle centinaia in una cifra semantica. L'exact match sui casi con riporto aumenta significativamente rispetto ai controlli.
Fase 3 (Ricomposizione): La famiglia di dati "tailhigh" (coda condizionata all'alto) supera tutti gli altri approcci. La metrica $P(\text{exact} \mid \text{high2 correct})$ (probabilità che l'intera risposta sia corretta dato che le prime due cifre sono giuste) sale drasticamente (es. da ~0.48 a ~0.76), confermando che il problema non è più la parte alta, ma il collegamento con la parte bassa.
Fase 4 (Residuo Decine): Nel modello a 2 strati, l'approccio "tenspolarity" porta l'exact match sulla suite più difficile (thousands-carry) da 0.664 a 0.822, risolvendo l'errore sistematico di sovrastima/sottostima delle decine.

5. Significato e Implicazioni

Decomposizione del Fallimento: Il lavoro dimostra che la "generalizzazione aritmetica" non è un fenomeno monolitico. È una catena di fallimenti che si sbloccano in sequenza: prima il layout, poi la semantica, poi la composizione, infine i dettagli residui.
Valutazione OOD: Suggerisce che i benchmark aritmetici dovrebbero essere progettati come suite progressive che isolano singoli ostacoli, piuttosto che punteggi aggregati. Questo permette di diagnosticare esattamente quale capacità manca al modello.
Implicazioni per l'AI: Fornisce un vocabolario tecnico per descrivere la fragilità dei modelli (es. "confusione di layout", "mala assegnazione semantica", "fallimento di ricomposizione"). Questo approccio controllato e ispezionabile è cruciale per lo sviluppo di sistemi AI più robusti e interpretabili, specialmente in contesti dove la generalizzazione a lunghezze diverse (length generalization) è critica.

In sintesi, il paper trasforma l'analisi del fallimento aritmetico da una semplice misurazione di accuratezza in un processo diagnostico strutturato, rivelando che anche in compiti apparentemente semplici come l'addizione, i modelli neurali affrontano ostacoli cognitivi distinti e sequenziali.