🧬 biology

Same Geometry, Opposite Noise: Transformer Magnitude Representations Lack Scalar Variability

Lo studio dimostra che, a differenza dei sistemi biologici, le rappresentazioni interne dei modelli transformer non mostrano variabilità scalare (rumore proporzionale alla grandezza), ma presentano invece una variabilità che diminuisce all'aumentare del valore numerico, indicando che l'apprendimento distributivo da solo non è sufficiente a replicare le firme di rumore osservate nei sistemi biologici.

Autori originali: Jon-Paul Cacioli

Pubblicato 2026-04-07

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jon-Paul Cacioli

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo

Il Titolo: "Stessa Forma, Rumore Opposto"

Immagina di avere due sistemi che devono gestire i numeri:

Il nostro cervello (un sistema biologico).
Un'intelligenza artificiale (un modello linguistico come Llama o Mistral).

Lo studio si chiede: "Quando questi sistemi pensano ai numeri grandi e piccoli, fanno le stesse cose?"

La risposta è sorprendente: Sì, vedono i numeri in modo simile, ma sbagliano il modo in cui commettono errori.

1. Come funziona il nostro cervello (La Regola del "Rumore Costante")

Nel nostro cervello, c'è una legge chiamata Legge di Weber. Funziona così:
Immagina di tenere in mano un peso.

Se hai un peso di 1 kg e aggiungi un grammo, lo senti subito.
Se hai un peso di 100 kg, devi aggiungere molto di più per notare la differenza.

Il nostro cervello è "rumoroso" in modo proporzionale. Più il numero (o il peso) è grande, più il "rumore" (l'incertezza) è grande.

Analogia: Immagina di disegnare un cerchio. Se il cerchio è piccolo, il tuo tremore della mano lo fa sembrare un po' irregolare. Se il cerchio è enorme, il tuo stesso tremore lo fa sembrare ancora più irregolare. La percentuale di errore rimane la stessa, ma l'errore assoluto cresce. Questo si chiama variabilità scalare.

2. Cosa fa l'Intelligenza Artificiale (La "Sorpresa")

I ricercatori hanno preso tre grandi modelli di intelligenza artificiale (Llama-3, Mistral) e hanno guardato come "pensano" ai numeri (da 1 a 1000).

Hanno scoperto che l'IA ha la stessa forma del cervello:

Per l'IA, il numero 1000 è "più vicino" al 900 che non il 2 è vicino al 1. Questo è corretto ed è una forma di compressione logica (come il nostro cervello).

MA, quando hanno guardato il "rumore" (l'incertezza), è successo qualcosa di strano:

Mentre il nostro cervello diventa più incerto con i numeri grandi, l'IA diventa più precisa.
Analogia: Immagina che l'IA sia un fotografo.
- Se deve fotografare un oggetto piccolo (numero 1), fa un po' di confusione, il rumore è alto.
- Se deve fotografare un oggetto gigante (numero 1000), invece di fare più confusione, mette a fuoco perfettamente. L'errore diminuisce man mano che il numero cresce.

È l'esatto opposto di come funziona la biologia. L'IA ha un "rumore anti-scalare".

3. Perché succede questo? (Il segreto dei "Contesti")

Perché l'IA fa così? La risposta sta in quanto spesso vede i numeri nei suoi libri di addestramento (internet).

I numeri piccoli (1, 2, 10): Appaiono ovunque. Li usiamo in milioni di frasi diverse ("Ho 2 mele", "Corro 2 km", "Sono le 2"). L'IA li vede in contesti caotici e diversi, quindi la sua rappresentazione è "dispersa" e rumorosa.
I numeri grandi (500, 1000, 5000): Appaiono raramente e in contesti molto specifici (spesso in statistiche, prezzi fissi, o date). L'IA li vede sempre nello stesso modo, quindi impara a rappresentarli in modo molto stretto e preciso.

Metafora finale:
Immagina un gruppo di persone che devono disegnare un oggetto.

Se devono disegnare una mela (numero piccolo), ognuno la disegna in modo diverso: qualcuno la fa rossa, qualcuno verde, qualcuno con il gambo. C'è molta variabilità.
Se devono disegnare un grattacielo (numero grande), lo vedono solo nelle foto turistiche. Tutti lo disegnano quasi identico, perché lo hanno visto sempre allo stesso modo. La variabilità è bassa.

4. Cosa ci insegna questo studio?

Questo studio ci dice due cose importanti:

L'IA impara la "forma" dei numeri (la geometria logaritmica) semplicemente leggendo molto testo. Non ha bisogno di un cervello biologico per capire che i numeri grandi sono "più vicini" tra loro.
L'IA manca di un "limite biologico". Il nostro cervello ha un limite di energia e di "rumore" fisiologico che ci costringe a essere meno precisi con i numeri grandi. L'IA non ha questo limite fisico; è solo un sistema statistico. Se vede un numero raramente, lo impara perfettamente. Se lo vede spesso, lo impara in modo "disordinato".

In sintesi

Il nostro cervello commette errori proporzionali alla grandezza del numero (più è grande, più è incerto). L'intelligenza artificiale fa il contrario: più il numero è grande e raro, più è preciso.
È come se l'IA fosse un super-osservatore che non si stanca mai, mentre noi siamo esseri umani con un budget di energia limitato che ci costringe a essere un po' più "sfocati" quando guardiamo le cose enormi.

Titolo

Stessa Geometria, Rumore Opposto: Le Rappresentazioni di Magnitudine dei Transformer Mancano di Variabilità Scalare

1. Il Problema e il Contesto Teorico

Il paper indaga se i grandi modelli linguistici (LLM) basati su Transformer replicano le proprietà statistiche dei sistemi biologici di rappresentazione della magnitudine numerica.
Nella neuroscienza e nella psicofisica, i sistemi biologici mostrano due proprietà fondamentali:

Geometria Log-Compressiva: Le distanze interne seguono una funzione logaritmica della magnitudine dello stimolo (Legge di Weber).
Variabilità Scalare (Scalar Variability): Il rumore rappresentazionale scala proporzionalmente alla magnitudine, mantenendo un coefficiente di variazione (CV) costante. Questo fenomeno è spiegato dal quadro della "codifica efficiente", dove i vincoli metabolici (budget di rumore fisso) su input distribuiti secondo una legge di potenza generano sia la geometria logaritmica che il rumore scalare.

L'Ipotesi di Ricerca:
I Transformer, addestrati su dati distribuiti secondo una legge di potenza (frequenza degli interi), dovrebbero possedere la geometria log-compressiva. Tuttavia, a differenza dei sistemi biologici, non hanno vincoli metabolici (nessun limite al tasso di fuoco, alla dimensione della popolazione o allo spazio di rumore fisso). Il paper si chiede: Senza vincoli metabolici, i Transformer mostrano ancora la variabilità scalare (CV costante) o emerge un pattern diverso?

2. Metodologia

Lo studio è stato pre-registrato su OSF e analizza tre modelli Transformer da 7-8 miliardi di parametri:

Llama-3-8B-Instruct
Mistral-7B-Instruct-v0.3
Llama-3-8B-Base

Dati e Configurazione:

Magnitudini: 26 valori numerici (da 1 a 1000, inclusi intervalli come 15, 20, 150, ecc.).
Contesti: Ogni magnitudine è stata inserita in 5 diverse frasi portatrici (carrier sentences).
Estrazione: I vettori degli stati nascosti (hidden-state) sono stati estratti alla posizione del token della magnitudine (pre-RMSNorm) per tutti i 33 strati dei modelli.

Misure di Variabilità:
La variabilità rappresentazionale è stata quantificata come la distanza euclidea media dei 5 vettori delle frasi dal loro centroide per ogni magnitudine e strato.
Sono state applicate due correzioni principali:

Correzione per l'identità della frase ( $V_{residual}$ ): Rimozione delle medie specifiche per frase per isolare la variabilità legata alla magnitudine.
Proiezione sull'asse della magnitudine ( $V_{proj}$ ): Analisi della varianza lungo la prima componente principale (PC1) dei centroidi, isolando la dispersione rilevante per la magnitudine.

Analisi Statistica:
Per 16 strati "primari" (16-31, dove la geometria è più forte), è stata eseguita una regressione OLS tra $\log(V)$ e $\log(n)$ per stimare l'esponente di scala $\alpha$ .

Ipotesi di Variabilità Scalare: $\alpha = 1$ (il rumore aumenta linearmente con la magnitudine).
Ipotesi del Paper: $\alpha < 1$ o negativo, data l'assenza di vincoli metabolici.

3. Risultati Chiave

I risultati hanno smentito l'ipotesi della variabilità scalare biologica e rivelato un pattern opposto:

Violazione della Variabilità Scalare (H1, H2 respinte): L'esponente di scala $\alpha$ è risultato negativo in tutti i 48 casi (3 modelli × 16 strati) e in tutte le misure.
- Il rumore rappresentazionale diminuisce all'aumentare della magnitudine numerica.
- Valori medi di $\alpha$ : da -0.031 (Llama-Base) a -0.046 (Llama-Instruct) per la misura grezza.
- Nessuno strato ha mostrato un $\alpha$ vicino a 1 (previsto dalla variabilità scalare).
Pattern "Anti-Scalare" (H3 supportata): La diminuzione della variabilità è stata più forte lungo l'asse della magnitudine rispetto alle dimensioni ortogonali.
- Lungo l'asse della magnitudine (PC1): $\alpha \approx -0.19$ .
- Lungo le dimensioni ortogonali: $\alpha \approx -0.06$ .
- Questo indica che la compressione del rumore è concentrata nello spazio comportamentalmente rilevante.
Ruolo della Frequenza del Corpus (Analisi Esplorativa E5): C'è una forte correlazione ( $\rho \approx 0.84$ ) tra la frequenza del corpus e la variabilità.
- I numeri piccoli (più frequenti) appaiono in contesti linguistici più diversificati, generando una maggiore dispersione rappresentazionale.
- I numeri grandi (più rari) appaiono in contesti più stereotipati, generando cluster più stretti e meno rumorosi.
Effetto del Fine-Tuning (E6): Il modello Llama-Instruct mostra un $\alpha$ più negativo rispetto al modello Base, indicando che il instruction tuning amplifica ulteriormente la compressione delle rappresentazioni dei numeri grandi.
Stabilità: Il pattern anti-scalare è stabile attraverso tutti gli strati (non solo quelli primari) e coerente tra i diversi modelli e misure.

4. Contributi e Significato

Decoupling di Geometria e Rumore:
Il lavoro dimostra che l'apprendimento distribuzionale (basato sulle statistiche della frequenza dei dati) è sufficiente a produrre la geometria log-compressiva (come mostrato in studi precedenti), ma insufficiente a produrre la struttura del rumore scalare.

Implicazioni per la Codifica Efficiente:
I risultati suggeriscono che la variabilità scalare nei sistemi biologici non è una conseguenza automatica della distribuzione degli input, ma richiede vincoli metabolici (budget di rumore fisso) che costringono il sistema ad allocare il rumore in modo proporzionale. I Transformer, privi di tali vincoli biologici, allocano meno variabilità ai numeri grandi semplicemente perché questi appaiono in contesti più ristretti e prevedibili nei dati di addestramento.

Limiti dei Modelli Attuali:
Sebbene i Transformer catturino la geometria della magnitudine umana, falliscono nel replicare la firma del rumore (CV costante) osservata nei sistemi biologici. Questo indica che la semplice ottimizzazione su dati distribuiti non è sufficiente per emulare completamente le proprietà psicofisiche della percezione numerica biologica.

Conclusione:
Lo studio conclude che la variabilità scalare potrebbe essere un tratto emergente specifico dei sistemi biologici vincolati energeticamente, e non una proprietà universale dei sistemi di elaborazione dell'informazione basati su gradienti e distribuzioni di frequenza. I Transformer mostrano un "rumore anti-scalare", dove la precisione aumenta (o il rumore diminuisce) per magnitudini più grandi, in netto contrasto con la Legge di Weber.