💬 NLP

Convergent Evolution: How Different Language Models Learn Similar Number Representations

Questo studio dimostra come diversi modelli linguistici, pur addestrati su segnali e architetture differenti, mostrino un'evoluzione convergente nell'apprendere rappresentazioni periodiche dei numeri, sebbene solo alcuni sviluppino caratteristiche geometricamente separabili necessarie per classificazioni lineari modulo-T.

Autori originali: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

Pubblicato 2026-04-23

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che i modelli di linguaggio (come i chatbot che usiamo ogni giorno) siano come dei grandi chef che imparano a cucinare leggendo milioni di libri, articoli e conversazioni. Il loro compito è prevedere quale parola verrà dopo.

Ma cosa succede quando questi chef incontrano i numeri?

Questa ricerca, intitolata "Evoluzione Convergente", scopre qualcosa di affascinante: modelli molto diversi imparano a "vedere" i numeri in modo sorprendentemente simile, ma non sempre in modo utile.

Ecco la spiegazione semplice, divisa in tre concetti chiave:

1. Il Ritmo Nascosto (L'Evoluzione Convergente)

Immagina di ascoltare la musica di tre orchestre diverse: una di violini, una di batteria e una di chitarre elettriche. Se tutte suonano la stessa canzone, noterai che, indipendentemente dallo strumento, c'è sempre lo stesso ritmo di fondo (il battito cardiaco della musica).

Nel mondo dei numeri, questo "ritmo" è una struttura matematica chiamata periodicità.

I ricercatori hanno scoperto che quasi tutti i modelli, siano essi moderni (come GPT o Llama) o vecchi (come le semplici liste di parole), sviluppano un "picco" matematico quando guardano i numeri.
È come se tutti imparassero che i numeri hanno un ciclo: ogni 2 numeri, ogni 5 numeri e ogni 10 numeri succede qualcosa di speciale (pensaci: i nostri orologi e calendari funzionano proprio così!).
Questo accade perché i numeri nei libri appaiono con una certa frequenza naturale. È come se la "polvere" dei numeri lasciasse sempre lo stesso impronta digitale, indipendentemente da chi la raccoglie.

2. La Trappola: Vedere il Ritmo non significa Capire la Melodia

Qui arriva il colpo di scena. Avere il ritmo non significa saper suonare la canzone.

Il Ritmo (Convergenza Spettrale): È come se un modello dicesse: "Ehi, ho notato che ogni 10 numeri c'è un cambio!". Questo è facile da vedere, è come notare che il sole sorge ogni mattina. Anche un modello molto semplice (o perfino solo contando quante volte appare la parola "5" in un libro) può vedere questo ritmo.
La Melodia (Convergenza Geometrica): È la capacità di usare quel ritmo per fare calcoli. È come dire: "Ok, so che il ciclo è di 10, quindi se ho 7 e aggiungo 5, so che il risultato finisce con 2".

Il problema: Molti modelli vedono il ritmo (hanno i "picchi" matematici) ma non riescono a usare quel ritmo per fare calcoli. È come avere un orologio che segna l'ora perfettamente, ma il proprietario non sa leggere l'ora.

3. Chi è il vero Chef? (Dipende dagli Strumenti)

La ricerca si chiede: "Perché alcuni modelli capiscono la melodia e altri no?". La risposta è che dipende da tre ingredienti che devono combaciare perfettamente:

Il Contesto (I Dati): Se il modello legge numeri isolati (es. "5. 10. 15."), impara il ritmo ma non il calcolo. Se legge numeri nel contesto di una storia o di un'operazione ("Ho 5 mele, ne compro altre 3..."), impara a collegarli. È come imparare a nuotare: puoi guardare le foto di un nuotatore (dati isolati), ma devi entrare in acqua (interazione) per imparare a muoverti.
L'Architettura (Il Corpo): Alcuni modelli sono come nuotatori naturali (i Transformers e i Linear RNN), altri sono come persone che hanno paura dell'acqua (LSTM). Anche se guardano la stessa acqua, solo alcuni riescono a nuotare bene.
Il Metodo di Apprendimento (L'Allenatore): Anche l'allenatore (l'ottimizzatore) conta. A volte cambia le cose, ma non è la cosa più importante.

L'Esperimento Finale: L'Addizione

I ricercatori hanno fatto un esperimento geniale: hanno insegnato ai modelli a fare addizioni in due modi diversi.

Caso A (Addizione Multi-Token): Immagina di sommare due numeri grandi, tipo 123 + 456. Devi sommare le unità, poi le decine, poi le centinaia, portando il "riporto". È come risolvere un puzzle a pezzi. In questo caso, tutti i modelli imparano a fare i calcoli perfettamente. Il puzzle li forza a capire la struttura.
Caso B (Addizione Single-Token): Immagina di sommare numeri piccoli che stanno tutti in un unico "pezzo" (es. 3 + 4). Non c'è bisogno di portare il riporto, non c'è puzzle. Qui, i modelli falliscono. O imparano a caso, o non imparano affatto. Senza la pressione di dover "scomporre" il problema, non sviluppano la vera intelligenza matematica.

In Sintesi

Questa ricerca ci insegna che vedere una struttura non significa averla imparata.
I modelli di linguaggio sviluppano automaticamente delle "impronte digitali" matematiche sui numeri (come un'ombra che si proietta su un muro), ma per capire davvero come funzionano i numeri (per fare calcoli), hanno bisogno di:

Dati ricchi e interconnessi (non solo liste di numeri).
Un'architettura adatta a gestire queste relazioni.
Problemi che li costringano a "scomporre" la logica (come l'addizione con il riporto).

È un po' come dire: "Tutti possono vedere che il sole sorge a Est (ritmo), ma solo chi ha studiato l'astronomia e ha fatto pratica sa calcolare esattamente dove sarà tra un'ora (geometria)".

1. Il Problema e il Contesto

I modelli linguistici (LLM) addestrati su testo naturale sviluppano rappresentazioni periodiche per i token numerici. Studi precedenti hanno dimostrato che gli embedding degli interi mostrano picchi significativi nel dominio di Fourier a periodi specifici ( $T = 2, 5, 10$ ). Tuttavia, rimaneva aperta una domanda fondamentale: questi picchi spettrali implicano che il modello abbia appreso una struttura numerica funzionale?

In altre parole, la presenza di una struttura periodica nello spettro di Fourier garantisce che sia possibile decodificare linearmente la classe residua di un numero ( $n \mod T$ ) dal suo embedding? Il paper indaga questa discrepanza, proponendo un quadro a due livelli per comprendere l'apprendimento delle rappresentazioni numeriche.

2. Metodologia

Gli autori hanno adottato un approccio sperimentale rigoroso basato su:

Analisi Spettrale e Geometrica: Hanno calcolato la trasformata di Fourier discreta sugli embedding dei token numerici ($0$-$999$) per misurare la potenza spettrale (picchi di Fourier). Parallelamente, hanno addestrato sonde lineari (regressione logistica) per verificare la separabilità geometrica delle classi modulo $T$ .
Esperimenti di Controllo (Ablazione): Hanno addestrato modelli di circa 300 milioni di parametri su 10 miliardi di token (FineWeb-Edu) variando sistematicamente:
- Architettura: Transformer, Linear RNN (Gated DeltaNet, Mamba-2), LSTM, e embedding classici (GloVe, FastText).
- Ottimizzatori: Muon vs. AdamW.
- Dati: Perturbazioni controllate per isolare segnali specifici (es. rimozione della co-occorrenza testo-numero, riduzione della lunghezza del contesto, sostituzione unigrammatica dei numeri).
- Task: Addestramento su testo naturale vs. addestramento diretto su problemi di addizione (con diverse strategie di tokenizzazione).
Analisi Teorica: Hanno dimostrato teoremi che collegano la potenza di Fourier alla matrice di dispersione tra classi ( $S_B$ ) e entro le classi ( $S_W$ ), utilizzando l'analisi discriminante di Fisher.

3. Contributi Chiave

A. La Gerarchia a Due Livelli (Spectral vs. Geometric Convergence)

Il contributo principale è la distinzione tra due tipi di convergenza:

Convergenza Spettrale: L'emergere di picchi di Fourier a periodi $T=2, 5, 10$ . Questo fenomeno è universale: appare in quasi tutti i sistemi esaminati, inclusi Transformer, RNN, embedding classici e persino nella distribuzione di frequenza grezza dei token del corpus. È necessaria ma non sufficiente per l'aritmetica modulare.
Convergenza Geometrica: La capacità di separare linearmente le classi residue ( $n \mod T$ ) nello spazio degli embedding. Questo fenomeno è selettivo: si verifica solo quando dati, architettura e ottimizzatore sono allineati in modo specifico.

B. Il Teorema di Insufficienza (Teorema 1)

Gli autori dimostrano teoricamente che la presenza di un picco di Fourier ( $\Phi_T > 0$ ) garantisce solo che la media delle classi sia dispersa ( $S_B > 0$ ), ma non assicura la separabilità lineare. La separabilità dipende dal numero di condizione della matrice di dispersione entro le classi ( $S_W$ ). Se il segnale periodico è allineato con le direzioni di massima varianza interna (rumore), la separabilità crolla anche con picchi di Fourier elevati.

C. Fattori Determinanti per la Convergenza Geometrica

Attraverso esperimenti controllati, identificano tre fattori critici:

Dati: La convergenza geometrica richiede segnali complementari: co-occorrenza testo-numero, interazione tra numeri diversi e contesto ampio. Rimuovere queste informazioni degrada la precisione delle sonde, pur mantenendo i picchi di Fourier.
Architettura: Transformer e Linear RNN (Mamba, DeltaNet) apprendono rappresentazioni geometricamente separabili. Gli LSTM, addestrati sugli stessi dati, sviluppano picchi di Fourier ancora più pronunciati ma falliscono nel compito di classificazione modulare (precisione al livello del caso), suggerendo che catturano solo statistiche unigrammatiche.
Tokenizzazione e Task Arimmetici:
- Nell'addestramento su addizione multi-token (es. 9 cifre), la tokenizzazione forza il modello a risolvere sottoproblemi modulari (trasporto di riporto), portando a una convergenza sia spettrale che geometrica indipendentemente dall'ottimizzatore.
- Nell'addestramento su addizione single-token (es. 3 cifre), non vi sono vincoli modulari espliciti; le rappresentazioni apprese variano casualmente in base all'ottimizzatore e al seed, senza convergenza strutturata.

4. Risultati Principali

Universalità Spettrale: Tutti i modelli, inclusi quelli non basati su Transformer e gli embedding statici, mostrano picchi a $T=2, 5, 10$ .
Dissociazione Spettrale-Geometrica: Gli LSTM mostrano picchi di Fourier molto alti (superiori ai Transformer) ma una precisione di sonda modulare vicina allo zero. Questo smentisce l'ipotesi che i picchi di Fourier siano una prova sufficiente di apprendimento strutturato.
Ruolo del Condizionamento: La differenza tra LSTM e Transformer risiede nel numero di condizione di $S_W$ . Gli LSTM hanno un $S_W$ altamente anisotropo che "nasconde" il segnale periodico sotto il rumore interno, rendendo le classi sovrapposte nonostante la periodicità spettrale.
Convergenza Evolutiva: Sistemi diversi (biologicamente o architettonicamente non correlati) sviluppano tratti simili (picchi di Fourier) a causa di vincoli condivisi (distribuzione dei dati e tokenizzazione), ma solo alcuni sviluppano la funzionalità completa (separabilità geometrica) in base a come affrontano i vincoli.

5. Significato e Implicazioni

Ridefinizione dell'Interpretabilità: Il paper avverte che le diagnosi basate solo sulla struttura delle rappresentazioni (come l'analisi spettrale) possono essere fuorvianti, confondendo artefatti statistici della distribuzione di addestramento con strutture funzionali apprese.
Nuovo Framework di Analisi: Introduce una distinzione critica tra "struttura visibile" (spettrale) e "organizzazione funzionale" (geometrica), fornendo un framework per distinguere l'apprendimento superficiale da quello profondo.
Implicazioni per l'Arithmetic Learning: Dimostra che la capacità di eseguire calcoli aritmetici complessi non è garantita dalla semplice presenza di periodicità, ma dipende da come l'architettura e il task (es. tokenizzazione multi-token) costringono il modello a strutturare le informazioni.
Generalizzazione: Il fenomeno di "convergenza evolutiva" suggerisce che le rappresentazioni cicliche per concetti come giorni della settimana o mesi potrebbero seguire dinamiche simili, dove la periodicità è universale ma la funzionalità dipende dai dettagli dell'addestramento.

In sintesi, il paper dimostra che mentre la "forma" delle rappresentazioni numeriche (periodicità) è un risultato inevitabile delle statistiche del linguaggio naturale, la "funzione" (capacità di calcolo modulare) è un risultato fragile che richiede un allineamento specifico di architettura, dati e task.