💬 NLP

Categorical Perception in Large Language Model Hidden States: Structural Warping at Digit-Count Boundaries

Lo studio dimostra che le rappresentazioni nascoste dei grandi modelli linguistici subiscono una distorsione geometrica analoga alla percezione categorica umana ai confini strutturali dei numeri (come 10 e 100), un fenomeno guidato dalle discontinuità nel formato di tokenizzazione e non dalla conoscenza semantica esplicita.

Autori originali: Jon-Paul Cacioli

Pubblicato 2026-03-31

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jon-Paul Cacioli

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Titolo in Pillole: "Come le IA vedono i numeri (e perché si confondono)"

Immagina che le Intelligenze Artificiali (come ChatGPT o simili) siano come dei giganti che leggono libri. Quando leggono un numero, non lo vedono come un concetto matematico astratto, ma come una sequenza di lettere e simboli.

Questo studio ha scoperto una cosa affascinante: quando questi giganti passano da un numero di una cifra a uno di due cifre (ad esempio, da 9 a 10), il loro "cervello" digitale subisce una distorsione strana e improvvisa. È come se il mondo dei numeri cambiasse bruscamente in quel punto esatto.

Ecco i concetti chiave spiegati con metafore:

1. La "Soglia Magica" (Il confine tra 9 e 10)

Nella psicologia umana, esiste un fenomeno chiamato Percezione Categorica. È come quando ascolti una nota musicale che sale gradualmente: all'improvviso, il tuo cervello la etichetta come "Do" invece che come "Do diesis". Il confine è netto.

Gli scienziati hanno scoperto che le IA fanno la stessa cosa con i numeri.

L'analogia: Immagina di camminare su un sentiero. Finché sei tra l'1 e il 9, il terreno è liscio e continuo. Ma appena arrivi al 10, il terreno cambia: appare un gradino improvviso, un muro invisibile.
Cosa succede nell'IA: Quando l'IA legge "9", la vede come un oggetto piccolo. Quando legge "10", la vede come un oggetto completamente diverso, non solo un "9 più grande". La distanza mentale tra 9 e 10 è molto più grande di quella tra 9 e 8, anche se matematicamente sono uguali.

2. Il Segreto è nella "Scrittura", non nel "Significato"

La cosa più sorprendente è che questo effetto non dipende da quanto l'IA è intelligente o da quanto sa di matematica. Dipende da come i numeri sono scritti (il "tokenizzazione").

L'analogia: Pensa a come scrivi i numeri.
- Il numero 9 è scritto con una sola lettera (o "token").
- Il numero 10 è scritto con due lettere.
- Per l'IA, questo passaggio da "una lettera" a "due lettere" è un segnale strutturale enorme, come se cambiassi da una parola a una frase.
La prova: Gli scienziati hanno testato l'IA con parole inventate (come "glorp", "blicket") che non significano nulla. Se queste parole erano ordinate, l'IA mostrava una piccola distorsione. Ma quando usavano i veri numeri, la distorsione diventava enorme.
- Conclusione: È la forma del numero (una cifra vs due cifre) a creare la confusione, non la conoscenza matematica.

3. Due Tipi di IA: I "Filosofi" e i "Robot"

Lo studio ha trovato due tipi di comportamento nelle diverse IA testate:

I "Filosofi" (es. Gemma, Qwen): Queste IA non solo hanno la distorsione nel loro cervello, ma se chiedi loro "È questo un numero a una o due cifre?", rispondono correttamente. Hanno sia la distorsione interna che la capacità di dirlo ad alta voce.
I "Robot" (es. Llama, Mistral, Phi): Queste IA hanno la stessa identica distorsione nel loro cervello interno (vedono il muro tra 9 e 10), ma se chiedi loro di classificarlo, non riescono a dirlo.
- Metafora: È come se avessi un muscolo che si contrae violentemente quando tocchi il fuoco (la distorsione), ma non riesci a dire "Fa caldo!". La struttura interna c'è, ma la capacità di esprimerla manca.

4. Dove avviene la magia? (Il paradosso degli strati)

Le IA sono fatte di molti strati (come le cipolle). Gli scienziati hanno scoperto che:

Gli strati iniziali (quelli che elaborano per primi) sono quelli che fanno il lavoro "pesante" e causale. Se modifichi questi strati, il comportamento dell'IA cambia.
Gli strati finali (quelli che producono la risposta) sono quelli dove la distorsione è più visibile e "bella" da vedere, ma paradossalmente non sono quelli che decidono la risposta.
- Analogia: È come guardare un film. La scena più bella e chiara è quella finale, ma la trama è stata scritta e girata molto prima, negli strati iniziali. Se guardi solo il finale, pensi di capire tutto, ma hai perso il processo creativo.

5. Cosa NON funziona (Il controllo della temperatura)

Per essere sicuri che non fosse solo una questione di "parole", hanno testato l'IA con le temperature (es. "fa caldo" o "fa freddo").

Anche se "caldo" e "freddo" sono categorie linguistiche, non c'è un cambio improvviso nella scrittura (21° e 23° si scrivono allo stesso modo).
Risultato: Nessuna distorsione. L'IA non vede un muro tra 21 e 23 gradi.
Significato: Conferma che l'IA ha bisogno di un cambio strutturale nella scrittura (come passare da 1 a 2 cifre) per creare queste categorie mentali, non basta avere un concetto astratto.

In Sintesi: Cosa ci insegna?

L'IA non è umana: Le sue categorie mentali sono spesso dettate da come i numeri sono scritti, non da una vera comprensione matematica.
La forma conta più del contenuto: Cambiare da una cifra a due cifre è un evento traumatico per il cervello digitale, molto più importante del valore del numero stesso.
Non fidarti dell'ovvio: A volte, la parte di un'IA che sembra più "intelligente" (dove la distorsione è più visibile) è proprio quella che non sta facendo il lavoro vero. Il lavoro vero avviene "dietro le quinte", negli strati iniziali.

In parole povere: Le Intelligenze Artificiali vedono il mondo attraverso le lenti della loro grammatica. Quando la grammatica cambia (da una cifra a due), anche la loro percezione della realtà si piega e si distorce, creando confini che per noi sono solo numeri, ma per loro sono muri invalicabili.

1. Il Problema di Ricerca

La percezione categorica (CP) è un fenomeno ben documentato in psicologia percettiva in cui stimoli che variano continuamente lungo una dimensione fisica vengono percepiti come appartenenti a categorie discrete, con una discriminabilità migliorata ai confini tra le categorie. Tradizionalmente, la CP è stata studiata in sistemi biologici (es. suoni del linguaggio, colori), dove la geometria rappresentazionale interna è oscura e deve essere inferita indirettamente dal comportamento.

Il paper si pone l'obiettivo di verificare se un analogo distorsione geometrica strutturale si manifesti negli stati nascosti (hidden states) dei Large Language Models (LLM) quando processano numeri arabi. In particolare, lo studio indaga se i confini strutturali definiti dal numero di cifre (es. il passaggio da 1 a 2 cifre, ovvero 9→10) generino una percezione categorica negli LLM, indipendentemente dalla conoscenza semantica esplicita delle categorie.

2. Metodologia

Lo studio ha applicato metodologie psicofisiche formali agli stati nascosti di sei modelli LLM appartenenti a cinque famiglie architetturali diverse (Llama-3, Mistral, Gemma, Qwen, Phi-3.5, e una versione Base di Llama-3).

Stimoli e Domini

Dominio Numerico (Primario): Valori di sondaggio attorno ai confini strutturali di 10 (9–20) e 100 (70–130). Questi confini comportano un cambiamento simultaneo nel numero di caratteri, nel numero di token (per la maggior parte dei tokenizzatori) e nella forma lessicale.
Dominio di Controllo (Temperatura): Valori da -20°C a 100°C. Esiste una categoria linguistica (caldo/freddo) ma nessuna discontinuità di tokenizzazione (es. "21" e "23" sono tokenizzati allo stesso modo).
Controllo Token Nonce: Token fittizi ("glorp", "blicket") mappati su posizioni ordinali, con e senza informazioni di ordinamento esplicito, per testare se la CP richieda la struttura linguistica dei numeri reali.

Paradigmi Sperimentali

Paradigma A (Geometria Rappresentazionale - RSA): Analisi di similarità rappresentazionale (RSA) per confrontare le matrici di dissimilarità empiriche (distanze coseno tra stati nascosti) con modelli teorici:
- Continuo: Distanza logaritmica (Legge di Weber).
- CP Additivo: Distanza logaritmica + un "boost" costante ai confini di categoria.
- CP Moltiplicativo: Scaling proporzionale delle distanze ai confini.
Paradigma B0 (Identificazione): Task a scelta forzata per vedere se il modello può esplicitamente categorizzare i numeri (es. "single-digit" vs "multi-digit").
Paradigma B (Discriminazione Comportamentale): Task "Quale è più grande?" per misurare la precisione e la confidenza (misurata come $|\Delta \logit|$ ).
Paradigma C (Gradiente di Precisione): Misura della densità rappresentazionale locale ( $1/||h_{n+1} - h_n||$ ).
Paradigma E (Intervento Causale): Activation patching per modificare gli stati nascosti lungo la direzione della categoria e osservare l'impatto sul comportamento di discriminazione.

3. Risultati Chiave

A. Dominio della Geometria Rappresentazionale (H1)

Il modello CP-Additivo (distanza logaritmica + boost al confine) ha adattato la geometria rappresentazionale meglio del modello puramente continuo in il 100% dei livelli primari di tutti e sei i modelli testati.
L'effetto è specifico ai confini strutturali (10 e 100) e assente nelle posizioni di controllo non-confine (es. 15).
L'effetto è molto più forte al confine di 100 (3.9x - 12.7x più grande) rispetto a quello di 10, correlato alla maggiore discontinuità strutturale (da 2 a 3 cifre).

B. Dissociazione tra Geometria e Comportamento (H8)

È emersa una distinzione fondamentale tra due tipi di CP:

CP Classica (Gemma, Qwen): I modelli mostrano sia la distorsione geometrica ai confini sia la capacità esplicita di identificare la categoria (funzioni di identificazione a gradino netto).
CP Strutturale (Llama, Mistral, Phi, Base): I modelli mostrano la distorsione geometrica completa (boost additivo, picco di precisione, rotazione della varietà locale) ma non riescono a identificare esplicitamente la categoria quando interrogati. La loro funzione di identificazione è piatta o biasata dalla posizione.

Conclusione: La struttura rappresentazionale può "superare" la competenza comportamentale. La CP geometrica è universale, mentre la capacità di report esplicito dipende dall'architettura.

C. Controllo del Dominio e Causalità

Dominio Temperatura: Non è stata osservata alcuna percezione categorica (il modello continuo ha vinto), dimostrando che la conoscenza semantica linguistica (caldo/freddo) da sola, senza discontinuità di tokenizzazione, non induce CP.
Token Nonce: Senza informazioni di ordinamento, nessun CP. Con ordinamento esplicito, un effetto CP debole. Con numeri reali, l'effetto è amplificato di un ordine di grandezza. Ciò conferma che la discontinuità strutturale dell'input (tokenizzazione/numero di caratteri) è il fattore scatenante principale.
Intervento Causale: Il patching lungo la direzione della categoria ha avuto un impatto enorme sulla confidenza di discriminazione nei livelli iniziali (dove la geometria si sta ancora formando), ma effetti trascurabili nei livelli medi/late dove la geometria CP è più leggibile. Questo suggerisce che il "lavoro computazionale" avviene dove la geometria è meno interpretabile.

4. Contributi Principali

Dimostrazione di CP Strutturale: Fornisce la prima prova empirica che la percezione categorica può emergere in sistemi di intelligenza artificiale esclusivamente a causa delle discontinuità nel formato di input (tokenizzazione, conteggio delle cifre), senza necessità di apprendimento sematico esplicito delle categorie.
Dissociazione Struttura-Funzione: Dimostra che la geometria rappresentazionale (la "mappa" interna) e la competenza comportamentale (la capacità di rispondere) possono essere dissociate. Un modello può avere una struttura categorica perfetta senza poterla verbalizzare.
Validazione del Metodo Psicofisico per gli LLM: Introduce un framework rigoroso (RSA, SDT, intervento causale) per studiare la cognizione negli LLM, superando la semplice valutazione binaria "sa/non sa" per analizzare come la conoscenza è codificata geometricamente.
Implicazioni per l'Interpretabilità: Svela che i livelli con la geometria più "leggibile" (miglior fit RSA) non sono necessariamente quelli che eseguono il calcolo funzionale rilevante, un avvertimento cruciale per l'analisi dei modelli.

5. Significato e Implicazioni

Per le Scienze Cognitive: Offre una "prova di esistenza" computazionale per la teoria della CP strutturale (McMurray, 2022), suggerendo che le proprietà del formato di rappresentazione possono imporre strutture categoriali indipendentemente dall'apprendimento.
Per l'AI e l'Interpretabilità: Mette in guardia contro l'equivalenza tra rappresentazione leggibile e rilevanza funzionale. Inoltre, suggerisce che le "categorizzazioni" interne agli LLM potrebbero essere artefatti strutturali della tokenizzazione piuttosto che concetti semantici profondi, almeno in domini come i numeri.
Metodologico: Stabilisce che per studiare la cognizione negli LLM è necessario accedere direttamente alla geometria degli stati nascosti, poiché il comportamento superficiale può nascondere strutture interne complesse (o viceversa).

In sintesi, il paper dimostra che i confini strutturali dell'input (come il passaggio da una a due cifre) sono sufficienti a creare una "percezione categorica" geometrica negli LLM, un fenomeno universale nell'architettura ma non sempre traducibile in comportamento esplicito, ridefinendo la nostra comprensione di come le macchine "categorizzino" l'informazione.