💬 NLP

Language Models are Symbolic Learners in Arithmetic

Questo articolo sostiene che i modelli linguistici non apprendano il vero algoritmo dell'aritmetica, ma funzionino invece come apprendisti simbolici avidi che padroneggiano i compiti acquisendo gerarchicamente una cascata di scorciatoie semplici e a basso numero di token, un meccanismo evidenziato da un modello di accuratezza a forma di U nella moltiplicazione multi-digitale che rispecchia la qualità delle più semplici mappature input-output.

Autori originali: Chunyuan Deng, Zhiqi Li, Roy Xie, Ruidi Chang, Hanjie Chen

Pubblicato 2026-01-28

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Chunyuan Deng, Zhiqi Li, Roy Xie, Ruidi Chang, Hanjie Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La Grande Domanda: Sono dei geni della matematica o dei riconoscitori di schemi?

Immaginate di vedere uno studente che riesce a dirvi istantaneamente l'ultima cifra di un enorme problema di moltiplicazione (come $12.345 \times 67.890$ ), ma che si blocca sulle cifre centrali. Potreste chiedervi: Capisce davvero come funziona la moltiplicazione o sta solo indovinando basandosi su schemi che ha già visto prima?

Questo articolo sostiene che i Large Language Models (LLM) siano la seconda opzione. Non stanno imparando l'"algoritmo" della matematica (le regole passo dopo passo che insegniamo a scuola). Invece, agiscono come prenditori di scorciatoie avidi. Cercano il modo più semplice e facile per ottenere la risposta giusta, memorizzando specifici trucchi da simbolo a simbolo piuttosto che apprendere la logica sottostante.

Lo Strumento Investigativo: "Subgroup Induction" (Induzione di Sottogruppi)

Per dimostrare questo, gli autori hanno creato un nuovo strumento investigativo chiamato Subgroup Induction.

Pensate a un problema di moltiplicazione come a un enorme puzzle. Per risolverlo, di solito è necessario guardare tutti i numeri coinvolti. Ma questo strumento pone una domanda più semplice: "Possiamo risolvere solo una parte della risposta guardando solo un pezzetto minuscolo e specifico dell'input?"

L'Analogia: Immaginate di cercare di indovinare il gusto di una torta.
- Il modo Algoritmico: Assaggiate tutta la torta, analizzate la farina, lo zucchero, le uova e il tempo di cottura, e calcolate il sapore.
- Il modo Scorciatoia: Vi basta annusare l'estratto di vaniglia. Se sentite odore di vaniglia, indovinate "Torta alla Vaniglia". Non avevate bisogno di conoscere le uova o la temperatura del forno; avete solo trovato una scorciatoia rapida e affidabile.

Il paper chiama queste scorciatoie "Sottogruppi". Un sottogruppo è una mappatura minuscola, come: "Se le ultime cifre sono 3 e 4, la risposta deve finire con 2".

La Scoperta della "Forma a U"

I ricercatori hanno testato questo addestrando i modelli su problemi di moltiplicazione. Hanno scoperto un modello strano e costante nel modo in cui i modelli performano, che assomiglia a una forma a U su un grafico:

Le Estremità (Alta Accuratezza): I modelli erano incredibili nel prevedere le prime e le ultime cifre della risposta.
Il Centro (Bassa Accuratezza): I modelli erano terribili nel prevedere le cifre nel mezzo.

Perché accade questo?

Le Estremità sono Scorciatoie Facili: L'ultima cifra di una moltiplicazione dipende solo dalle ultime cifre dei numeri che vengono moltiplicati. È una scorciatoia perfetta e semplice (come l'odore della vaniglia). I modelli imparano questo istantaneamente perché richiede di guardare pochissimi numeri.
Il Centro è Difficile: Le cifre centrali dipendono da un mix disordinato di tutti gli altri numeri e dai valori che "riportano" (il riporto). Non esiste una scorciatoia semplice e minuscola qui. Per ottenere il centro correttamente, bisogna guardare quasi tutto l'insieme contemporaneamente.

Il paper mostra che la curva delle prestazioni dei modelli corrisponde perfettamente alla "qualità" di queste scorciatoie. I modelli padroneggiano prima le scorciatoie facili e a basso sforzo. Iniziano ad apprendere le parti centrali, più complesse e disordinate, solo quando sono costretti dal maggiore addestramento.

L' "Albero" dell'Apprendimento

Gli autori visualizzano il processo di apprendimento come la scalata di un albero:

Base dell'albero: Scorciatoie semplici che usano pochissimi numeri (facili da imparare, alta accuratezza per le estremità).
Cima dell'albero: Scorciatoie complesse che usano molti numeri (difficili da imparare, necessarie per il centro).

I modelli partono dal basso. Prendono prima le vittorie facili. Solo man mano che ricevono più addestramento, iniziano lentamente a salire l'albero per affrontare i pattern più difficili e complessi. Non imparano l'intero "albero" in una volta sola; imparano ramo per ramo, partendo dai più semplici.

Il Misuratore di "Entropia": Misurare la Difficoltà

Il paper introduce anche un secondo strumento chiamato Subgroup Entropy (Entropia di Sottogruppo). Pensatelo come a un "Misuratore di Confusione".

Se una scorciatoia ha una bassa entropia, significa che la risposta è molto prevedibile (es. "3 per 4 fa sempre 12").
Se una scorciatoia ha un'alta entropia, significa che la risposta è caotica e difficile da prevedere senza vedere tutti i dettagli.

I ricercatori hanno scoperto che, quando hanno scomposto compiti di ragionamento complesso (come il Chain-of-Thought, dove un modello pensa passo dopo passo), i percorsi con la minore confusione (entropia) erano quelli che i modelli completavano con maggior successo. Questo conferma che i modelli preferiscono la via della minor resistenza: vogliono i passaggi più facili e prevedibili per arrivare alla risposta.

Conclusione

Il paper conclude che i Modelli di Linguaggio non stanno imparando a "computare" nel senso umano del termine. Sono Learners Simbolici che costruiscono una gerarchia di scorciatoie.

Non imparano la "ricetta" della moltiplicazione.
Imparano una vasta libreria di trucchi "se-allora", partendo da quelli più semplici (come l'ultima cifra) e aggiungendo gradualmente quelli più complessi (come le cifre centrali) man mano che acquisiscono esperienza.

In breve: Gli LLM sono maestri nel riconoscimento di schemi che amano le scorciatoie, non pensatori algoritmici. Risolvono la matematica trovando il percorso più facile attraverso i simboli, non facendo la matematica come facciamo noi.

Sintesi Tecnica: I Modelli Linguistici sono Apprendenti Simbolici in Aritmetica

Definizione del Problema

Il dibattito prevalente riguardante la capacità dei Modelli Linguistici (LM) di eseguire operazioni aritmetiche si concentra sulla questione se questi modelli apprendano realmente algoritmi di calcolo o se si limitino a padroneggiare un superficiale riconoscimento di pattern. Sebbene i modelli all'avanguardia abbiano raggiunto la saturazione su benchmark come GSM8K, rimane incerto se possiedano un vero ragionamento numerico o se il loro successo sia un "illusorio elaborato" tessuto da pattern statistici nei dati di addestramento. Questo articolo sostiene la seconda ipotesi, postulando che gli LM agiscano come "apprendenti simbolici avidi" che danno priorità alle scorciatoie più semplici possibili per adattarsi alla statistica del dataset, piuttosto che apprendere l'algoritmo astratto della moltiplicazione.

Metodologia: Induzione di Sottogruppo

Per investigare questa ipotesi, gli autori introducono l'Induzione di Sottogruppo, un framework pratico adattato dall'Induzione di Solomonoff (SI). La SI è un framework teorico per la predizione ottimale che combina principi di computabilità e bayesiani, favorendo ipotesi più semplici (Rasoio di Occam) tramite la complessità di Kolmogorov.

Gli autori adattano i principi della SI al contesto concreto dell'apprendimento aritmetico definendo il sottogruppo come l'unità di analisi fondamentale. Un sottogruppo $s$ è una mappatura minima da un sottoinsieme di cifre di input ( $A, B$ ) a una singola cifra di output ( $C$ ). Il framework analizza i problemi aritmetici scomponendoli in questi sottogruppi per identificare le "scorciatoie" utilizzate dagli LM.

Vengono proposti due metriche complementari per misurare la complessità del sottogruppo:

Qualità del Sottogruppo ( $Q(s)$ ): Misura la fattibilità di una scorciatoia calcolando l'accuratezza della predizione di una cifra di output utilizzando solo un sottoinsieme specifico di token di input (mascherando gli altri a zero). Un alto $Q(s)$ indica una scorciatoia affidabile e con pochi token.
Entropia del Sottogruppo ( $H(s)$ ): Misura l'ambiguità o la variabilità intrinseca delle etichette di output all'interno dello spazio delle etichette di un sottogruppo. Funge da strumento computazionalmente efficiente per la stima dell'errore e l'analisi dei percorsi di ragionamento.

Gli autori trattano la scelta dei token di input dell'LM come un processo di selezione delle ipotesi. Ipotizzano che gli LM seguano una ricerca in un "albero del budget di token", apprendendo inizialmente scorciatoie ad alta qualità che richiedono pochi token e incorporando progressivamente pattern più complessi e multi-token solo quando forzati dall'obiettivo di apprendimento.

Risultati Chiave

1. Il Modello di Accuratezza a Forma di U

Esperimenti sulla moltiplicazione a più cifre (da 3 a 5 cifre) utilizzando Gemma-2-2B e Llama-3.1-8B rivelano una distinta curva di accuratezza a forma di U.

Osservazione: I modelli padroneggiano rapidamente la prima (più significativa) e l'ultima (meno significativa) cifra di output, raggiungendo un'accuratezza >95%. Al contrario, l'accuratezza crolla drasticamente (circa al 10%) per le cifre nel mezzo della sequenza.
Correlazione: Questa forma a U non è casuale; rispecchia perfettamente la Qualità del Sottogruppo ( $Q(s)$ ) delle scorciatoie più semplici possibili.
- Bordi: La cifra meno significativa dipende solo dalle ultime cifre di input (es. $A_2 \times B_2$ ), e la cifra più significativa è vincolata da stime di grandezza basate sulle cifre iniziali. Queste richiedono pochi token (basso $k$ ) e un alto $Q(s)$ .
- Centro: Le cifre centrali richiedono l'integrazione di termini incrociati e operazioni di riporto da molte cifre di input. I sottogruppi a basso numero di token per queste posizioni hanno un basso $Q(s)$ , costringendo il modello ad apprendere mappature più complesse e con più token in una fase successiva dell'addestramento.

2. Dinamiche di Apprendimento come Ricerca in un Albero

Gli autori interpretano le dinamiche di addestramento come una ricerca risalendo un "albero del budget di token".

Fase 1: Il modello adatta rapidamente le "foglie" facili dell'albero (cifre di bordo) usando il minimo numero di token.
Fase 2-n: Man mano che gli errori residui persistono nelle posizioni centrali, i gradienti spingono il modello a incorporare sottogruppi più ampi (più token) per risolvere l'ambiguità.
Conclusione: Gli LM non apprendono l'algoritmo della moltiplicazione nel suo insieme; apprendono una gerarchia di mappature simbolo-simbolo, partendo dal percorso di minor resistenza.

3. Entropia del Sottogruppo e Chain-of-Thought (CoT)

Il paper estende il framework al ragionamento Chain-of-Thought (CoT):

Stima dell'Errore: L'entropia del sottogruppo ( $H(s)$ ) correla fortemente con le prestazioni del modello. I compiti con minore entropia aggregata (es. aritmetica modulare con moduli più piccoli) producono un'accuratezza maggiore.
Ottimizzazione CoT: In un contesto CoT, la scomposizione di un problema di moltiplicazione in passaggi (es. Moltiplicazione Egizia vs. Moltiplicazione Standard) influenza le prestazioni. Lo studio trova che i percorsi CoT con la minore entropia di sottogruppo aggregata ottengono costantemente l'accuratezza migliore. Ciò suggerisce che gli LM preferiscono strategie di ragionamento composte dalla sequenza più facile di scorciatoie simboliche.

Contributi Chiave

Framework di Induzione di Sottogruppo: Un nuovo framework pratico derivato dall'Induzione di Solomonoff per analizzare i meccanismi di apprendimento degli LM nell'aritmetica, scomponendo i problemi in mappature minimali input-output.
Scoperta dell'Accuratezza a Forma di U: Identificazione di un consistente modello di accuratezza a forma di U nella moltiplicazione a più cifre, fornendo prova empirica del fatto che gli LM faticano con le interdipendenze complesse delle cifre centrali mentre padroneggiano le cifre di bordo tramite scorciatoie semplici.
Spiegazione del Meccanismo: Dimostrazione che la forma a U è una diretta conseguenza della gerarchia del "budget di token", dove i modelli danno priorità a scorciatoie a basso numero di token e alta qualità (Rasoio di Occam) prima di apprendere pattern più complessi.
L'Entropia come Metrica: Introduzione dell'Entropia del Sottogruppo come metrica computabile ed efficiente per stimare i limiti di errore e valutare la complessità dei percorsi di ragionamento in contesti CoT.

Significato e Rivendicazioni

Il paper sostiene che la strada verso la maestria aritmetica per gli LM non è pavimentata dalla scoperta di algoritmi astratti, ma da una cascata di scorciatoie simboliche semplici e apprese gerarchicamente.

Implicazioni per l'Affidabilità: I risultati suggeriscono che gli LM non sviluppano un vero ragionamento numerico, ma piuttosto una sofisticata capacità di riconoscimento di pattern che è fragile in scenari fuori distribuzione dove le scorciatoie semplici falliscono (es. calcoli delle cifre centrali in moltiplicazioni complesse).
Ponte Teorico: Il lavoro unisce la teoria della predizione universale (Induzione di Solomonoff) con le moderne architetture neurali, offrendo una lente per comprendere come gli LM apprendono, non solo cosa ottengono.
Utilità Pratica: Il framework fornisce strumenti (Qualità del Sottogruppo ed Entropia) per diagnosticare colli di bottiglia nell'apprendimento e ottimizzare le strategie di addestramento, come la cura dei dati per rivelare i token necessari per le cifre centrali o la progettazione di percorsi CoT che minimizzino la complessità simbolica.

Gli autori concludono che comprendere gli LM come apprendenti simbolici avidi è critico per sviluppare un'IA affidabile, poiché evidenzia i limiti degli attuali modelli nel gestire compiti che non possono essere scomposti in mappature semplici a basso numero di token.