💬 NLP

AI-rithmetic

Il paper analizza il fallimento dei modelli di IA avanzati nell'esecuzione di semplici addizioni intere, dimostrando che gli errori sono principalmente dovuti a problemi di tokenizzazione (disallineamento degli operandi) o a errori nel riporto, con una precisione che diminuisce all'aumentare del numero di cifre.

Autori originali: Alex Bie, Travis Dick, Alex Kulesza, Prabhakar Raghavan, Vinod Raman, Sergei Vassilvitskii

Pubblicato 2026-02-12

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Alex Bie, Travis Dick, Alex Kulesza, Prabhakar Raghavan, Vinod Raman, Sergei Vassilvitskii

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Paradosso del Genio Distratto: Perché l'IA sa risolvere equazioni ma sbaglia le addizioni

Immaginate di avere davanti a voi un professore universitario di fama mondiale. È capace di discutere di filosofia, scrivere poesie commoventi e risolvere problemi di fisica quantistica che farebbero esplodere il cervello di un normale mortale. Ma, se gli chiedete di fare una semplice somma di due numeri a tre cifre mentre è distratto, quel professore potrebbe rispondere "42" con la massima sicurezza.

Sembra assurdo, vero? Eppure, questo è esattamente il problema che i ricercatori di Google hanno scoperto nei modelli di Intelligenza Artificiale più avanzati (come GPT-5 o Claude).

1. Il Problema: Il Genio che non sa contare

Il paper spiega che, nonostante l'IA sembri "intelligente", quando si tratta di fare addizioni con numeri molto lunghi, la sua precisione crolla drasticamente. Più i numeri diventano grandi, più l'IA inizia a fare errori banali. È come se un atleta olimpico, capace di correre i 100 metri in pochi secondi, inciampasse improvvisamente su un tappeto in salotto.

2. Perché succede? I due "mostri" dell'errore

I ricercatori hanno scoperto che l'IA non sbaglia "a caso", ma cade quasi sempre in due trappole specifiche. Possiamo immaginarle così:

L'Errore di Allineamento (Il "Foglio Storto"):
Immaginate di dover fare un'addizione in colonna su un foglio di carta. Se scrivete il primo numero bene, ma il secondo lo scrivete leggermente spostato a destra o a sinistra, il risultato sarà un disastro. L'IA spesso fa proprio questo: "sposta" mentalmente le cifre e finisce per sommare le decine con le centinaia. È come cercare di incastrare i pezzi di un puzzle, ma decidere di iniziare a montarli fuori dai bordi.
Curiosità: Questo accade spesso a causa del modo in cui l'IA "legge" i numeri (un processo chiamato tokenizzazione). È come se l'IA non vedesse i numeri cifra per cifra, ma li vedesse come dei "blocchetti" di dimensioni diverse, e ogni volta che i blocchi non combaciano perfettamente, si perde l'orientamento.
L'Errore del "Riporto" (La "Memoria Corta"):
Tutti abbiamo imparato a scuola che quando sommiamo $7 + 5$ , facciamo $12$ e "portiamo avanti" l'uno. L'IA ha un problema proprio qui. È come se stesse seguendo una ricetta complicata e, proprio nel momento cruciale in cui deve aggiungere un ingrediente speciale (il riporto), si dimenticasse di farlo o lo aggiungesse due volte per errore. Non è un errore di logica profonda, è un piccolo "glitch" di attenzione che si ripete.

3. La conclusione: Non è questione di "cervello", ma di "metodo"

La cosa più sorprendente è che rendere l'IA "più grande" (cioè darle più dati o più potenza di calcolo) non sembra risolvere il problema. È come se cercassimo di curare un errore di ortografia in un libro aumentando semplicemente il numero di pagine: non serve a nulla se il metodo di scrittura rimane lo stesso.

In parole povere: L'IA attuale non "calcola" come una calcolatrice, ma "prevede" la risposta come se stesse scrivendo una storia. E se la storia che sta scrivendo è una sequenza di numeri, ogni piccolo inciampo (un riporto dimenticato o una cifra spostata) rovina l'intero castello di carte.

In sintesi

Il paper ci dice che l'intelligenza artificiale è come un incredibile artista che sa dipingere la Gioconda, ma che ogni tanto, quando deve contare quanti pennelli ha nel barattolo, si confonde e ne conta tre in meno. Per renderla davvero affidabile, non dobbiamo solo renderla "più intelligente", ma dobbiamo insegnarle a essere più precisa nei piccoli, fondamentali dettagli.

Riassunto Tecnico: AI-rithmetic*

1. Il Problema (Problem Statement)

Nonostante i recenti progressi dei Large Language Models (LLM) in ambiti matematici avanzati (dimostrazioni di teoremi, algebra, analisi), i modelli di frontiera mostrano una sorprendente e persistente incapacità di eseguire operazioni aritmetiche elementari, come l'addizione di interi. Il problema risiede nel fatto che, mentre l'intelligenza artificiale può superare gli esperti in compiti complessi, fallisce in compiti che per un bambino sono banali. Il paper mira a investigare sistematicamente la natura di questi errori, cercando di capire se siano dovuti a una mancanza di capacità algoritmica o a idiosincrasie del design dei modelli (come la tokenizzazione).

2. Metodologia (Methodology)

Gli autori hanno condotto esperimenti sistematici su una vasta gamma di modelli di frontiera, tra cui Claude Opus 4.1, GPT-4o, GPT-5, Gemini 2.5 (Flash e Pro), Gemma 3 27B e versioni con esecuzione di codice.

Dataset: Sono stati generati prompt del tipo "Qual è A + B?" dove A e B sono numeri scelti uniformemente in modo casuale con una lunghezza $d$ variabile (da 1 a 100 cifre).
Valutazione: Per estrarre la risposta, i ricercatori hanno rimosso le virgole e cercato la sottostringa di cifre con la minima distanza di edit (edit distance) rispetto alla somma corretta.
Classificazione degli Errori: Gli errori sono stati categorizzati in tre classi principali:
1. Misalignment (Disallineamento): Quando uno degli operandi viene spostato (offset) rispetto all'altro.
2. Close Carry Errors (Errori di riporto critico): Errori che avvengono in casi limite, come quando la somma di una colonna è 9 (ma il modello riporta 1) o è 10 (ma il modello non riporta).
3. Runaway Errors: Risposte che diventano eccessivamente lunghe (migliaia di cifre).

3. Contributi Chiave (Key Contributions)

Il paper introduce una tassonomia degli errori aritmetici negli LLM, dimostrando che la maggior parte dei fallimenti non è casuale ma altamente interpretabile:

Analisi della Tokenizzazione: Il lavoro collega gli errori di disallineamento alla struttura dei token. I modelli che utilizzano token multi-cifra (come GPT-5 e GPT-4o) mostrano una periodicità negli errori legata alla lunghezza dei token.
Modellazione Stocastica dei Riporti: Gli autori propongono un modello probabilistico per gli errori di riporto, suggerendo che questi avvengano in modo indipendente per ogni colonna critica.
Identificazione di Pattern Non-Monotoni: Dimostrano che l'accuratezza non diminuisce necessariamente in modo lineare con la lunghezza del numero, sfidando l'intuizione che la scala del problema influenzi l'errore in modo prevedibile.

4. Risultati (Results)

Degradazione dell'accuratezza: Quasi tutti i modelli (eccetto quelli con esecuzione di codice Python) mostrano un calo significativo dell'accuratezza all'aumentare del numero di cifre.
Spiegabilità degli errori: Gli errori di disallineamento e di riporto critico spiegano la stragrande maggioranza dei fallimenti: 87.9% per Claude Opus 4.1, 62.9% per GPT-5 e 92.4% per Gemini 2.5 Pro.
Effetto Tokenizzazione: Per GPT-5, l'accuratezza è significativamente più alta quando la lunghezza dell'argomento è un multiplo di 3, confermando che il tokenizer di OpenAI (che raggruppa le cifre in blocchi di 3) influenza la capacità di allineamento.
Indipendenza degli errori: I dati supportano il modello in cui il modello "lancia una moneta" ad ogni riporto critico: se il modello fallisce un riporto, l'intera operazione è errata, e la distribuzione degli errori segue una distribuzione geometrica.

5. Significato e Conclusioni (Significance)

Il paper conclude che l'aritmetica non è solo un test di calcolo, ma un "sonda" (probe) per comprendere i limiti strutturali degli LLM.
La significatività del lavoro risiede nella dimostrazione che scalare i modelli (scaling laws) non è sufficiente per risolvere l'aritmetica di base. Poiché gli errori sono legati a scelte di design come l'auto-regressione e la tokenizzazione, i ricercatori suggeriscono che per ottenere sistemi affidabili e generalisti non basti aggiungere parametri, ma occorra ripensare l'architettura, le strategie di addestramento o l'integrazione con strumenti simbolici. In sintesi, gli LLM attuali non implementano un vero algoritmo di addizione, ma strategie euristiche e fragili che falliscono non appena la complessità strutturale aumenta.