💬 NLP

Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models

Lo studio dimostra che i modelli linguistici transformer sviluppano una geometria rappresentativa logaritmica coerente con la Legge di Weber grazie alle statistiche del corpus di addestramento, ma che tale struttura geometrica da sola non garantisce la competenza comportamentale nella discriminazione delle grandezze.

Autori originali: Jon-Paul Cacioli

Pubblicato 2026-03-24

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jon-Paul Cacioli

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che i modelli di intelligenza artificiale (come quelli che usi per scrivere email o fare domande) abbiano una sorta di "cervello digitale" fatto di strati di neuroni artificiali. Per anni, gli scienziati si sono chiesti: come fanno questi computer a capire la grandezza delle cose? Se dico "100", lo vedono come un numero grande? Se dico "10", lo vedono come piccolo? E come lo misurano?

C'era un grande dibattito: alcuni dicevano che li vedono in modo lineare (come un righello, dove la distanza tra 1 e 2 è uguale a quella tra 100 e 101). Altri dicevano che li vedono in modo logaritmico (come un volume di una radio: all'inizio i piccoli cambiamenti si sentono molto, ma quando il volume è alto, devi girare la manopola molto di più per sentire una differenza).

Questo studio, condotto da un ricercatore indipendente, ha messo fine alla confusione usando gli strumenti della psicofisica (la scienza che studia come gli umani percepiscono il mondo, come la luce o il suono) applicati alle macchine.

Ecco cosa hanno scoperto, spiegato con semplici metafore:

1. Il "Righello Magico" (La Geometria Logaritmica)

Immagina che il "cervello" del computer abbia un righello speciale.

Cosa hanno trovato: Il righello non è lineare. È logaritmico.
L'analogia: Pensa a come funziona l'orecchio umano. Se senti un sussurro, un piccolo aumento di volume ti sembra enorme. Se senti un concerto rock, devi aumentare il volume di molto per notare la stessa differenza. I computer fanno la stessa cosa con i numeri!
Il risultato: In tutti i modelli testati (Llama, Mistral, Qwen), i numeri piccoli sono "spaziosi" e ben distinti, mentre i numeri grandi sono "schiacciati" insieme. Questo succede perché i computer imparano dai libri e da internet, dove i numeri piccoli (come "1", "2", "3") appaiono molto più spesso di quelli enormi (come "1 milione"). Il computer si adatta a questa statistica naturale, proprio come un biologo si adatta all'ambiente.

2. Avere la mappa non significa saperla usare (Geometria vs. Comportamento)

Qui arriva la parte più sorprendente.

L'analogia: Immagina di avere una mappa perfetta del mondo (la geometria logaritmica) ma di non sapere come guidare l'auto. Hai gli strumenti, ma non sai usarli per arrivare a destinazione.
Cosa è successo:
- Modello A (Llama): Aveva la mappa perfetta E sapeva guidare. Quando gli chiedevano "Qual è più grande: 50 o 100?", rispondeva correttamente e seguiva la logica umana (se la differenza è piccola, fatica di più a decidere; se è grande, decide subito).
- Modello B (Mistral): Aveva la stessa mappa perfetta (la geometria era identica), ma quando gli chiedevano di fare la stessa domanda, rispondeva a caso o sbagliava.
La lezione: Avere una rappresentazione interna "intelligente" non garantisce che il modello sappia usarla per ragionare. È come avere un architetto geniale che disegna case perfette, ma un muratore che non sa come costruire i mattoni.

3. Il Paradosso degli Strati (Dove avviene la magia?)

I modelli di intelligenza artificiale sono fatti di molti "strati" (come i piani di un grattacielo).

L'aspettativa: Si pensava che gli strati più alti (quelli finali, dove la "mappa" era più chiara e definita) fossero quelli che facevano il lavoro di confronto.
La realtà: È successo l'opposto! Gli scienziati hanno fatto un esperimento chirurgico: hanno "manomesso" i segnali nei vari strati.
- Hanno scoperto che sono gli strati bassi (quelli all'inizio, dove la mappa è un po' confusa) a essere cruciali per il confronto.
- Gli strati alti (dove la mappa è perfetta) sembrano essere solo "decorativi" o usati per altre cose, ma non servono per decidere quale numero è più grande.
Metafora: È come se in una fabbrica, i disegni tecnici perfetti fossero tenuti nell'ufficio del direttore (strato alto), ma il lavoro vero e proprio fosse fatto dai operai al piano terra (strato basso) che usano strumenti grezzi ma efficaci.

4. Il ruolo dell'addestramento (La differenza tra "Nato" e "Addestrato")

Lo studio ha confrontato un modello "grezzo" (addestrato solo a leggere) con uno "istruito" (addestrato a seguire le istruzioni).

Il modello grezzo: Aveva la mappa logaritmica perfetta, ma non sapeva rispondere alla domanda "Qual è più grande?".
Il modello istruito: Aveva la stessa mappa, ma grazie all'addestramento specifico, aveva imparato a usarla.
Conclusione: La capacità di vedere i numeri in modo intelligente è qualcosa che si impara leggendo (pre-addestramento). La capacità di usare questa visione per ragionare è qualcosa che si impara seguendo le istruzioni (addestramento).

In sintesi

Questo studio ci dice che i computer, leggendo internet, imparano naturalmente a vedere il mondo in modo simile a noi (con una percezione "logaritmica" delle grandezze). Tuttavia, avere questa percezione non significa essere intelligenti. L'intelligenza vera sta nel saper usare quella percezione per prendere decisioni, e questo dipende da come il modello viene addestrato a rispondere alle domande, non solo da come "vede" i numeri.

È una scoperta fondamentale: ci ricorda che l'architettura interna di un'IA (come è fatto) è diversa dalla sua capacità di agire nel mondo (cosa sa fare).

Titolo

Legge di Weber nelle Rappresentazioni di Grandezza dei Transformer: Codifica Efficiente, Geometria Rappresentazionale e Leggi Psicofisiche nei Modelli Linguistici

1. Il Problema e il Contesto

La ricerca recente ha prodotto risultati contraddittori su come i modelli linguistici basati su transformer (LLM) rappresentino internamente le grandezze (numeriche, temporali e spaziali). Alcuni studi indicano uno spaziamento logaritmico, altri un encoding lineare, mentre altri ancora suggeriscono rappresentazioni circolari per cifra o strutture sinusoidali.
L'articolo identifica che queste discrepanze derivano da finestre metodologiche diverse applicate alla stessa rappresentazione sottostante. Manca un quadro teorico unificato per caratterizzare la forma funzionale di queste rappresentazioni e il loro rapporto con il comportamento. Gli autori propongono di applicare il quadro della psicofisica, in particolare la Legge di Weber (la differenza appena percettibile tra due stimoli è proporzionale alla loro grandezza) e i principi della codifica efficiente, per risolvere il dibattito.

L'ipotesi centrale è che, sebbene i transformer manchino dei vincoli biologici (costo metabolico, limiti di frequenza di scarica), la semplice statistica dei dati di addestramento (dove i numeri piccoli sono molto più frequenti di quelli grandi, seguendo una legge di potenza) sia sufficiente a generare una geometria logaritmica delle grandezze, come previsto dalla teoria della codifica efficiente.

2. Metodologia

Lo studio si basa su un approccio rigoroso e preregistrato, applicando un toolkit completo di psicofisica a tre modelli istruiti (Llama-3-8B, Mistral-7B, Qwen-2.5-7B) su tre domini di grandezza (numerico, temporale, spaziale).

Sono stati utilizzati quattro paradigmi convergenti:

Geometria Rappresentazionale (RSA): Analisi della Similarità Rappresentazionale (RSA) con test di permutazione di Mantel. Si confronta la matrice di dissimilarità delle rappresentazioni interne del modello (RDM) con matrici teoriche (Lineare, Logaritmica/Weber, Legge di Potenza di Stevens).
Discriminazione Comportamentale: Task di scelta forzata per valutare se il modello discrimina le grandezze in base alla differenza assoluta o al rapporto (Legge di Weber), calcolando la frazione di Weber (WF).
Gradienti di Precisione: Analisi di come la densità rappresentazionale cambia al variare della grandezza (la codifica efficiente prevede una maggiore precisione per le grandezze piccole).
Intervento Causale: "Activation patching" per testare se le sottospazi di grandezza sono causalmente rilevanti per il compito di confronto, distinguendo tra rappresentazioni strutturate e quelle funzionalmente attive.

Controlli di Robustezza:

Analisi della distribuzione dei corpus (OpenWebText) per verificare la precondizione della codifica efficiente (legge di potenza).
Diagnosi dei confini delle cifre e partizione della varianza per escludere che la geometria sia un artefatto della struttura delle cifre o del tokenizzazione.
Controlli cross-precisione (FP16 vs BF16) e cross-architettura.

3. Risultati Chiave

A. Geometria Rappresentazionale Consistentemente Logaritmica

Risultato: La geometria rappresentazionale è logaritmica in tutti i 96 casi testati (2 modelli × 3 domini × 16 livelli principali), indipendentemente dalla metrica (cosine o Euclidea).
Evidenza: Le correlazioni RSA con la matrice di dissimilarità di Weber sono state molto elevate (da 0.68 a 0.96). La geometria lineare non è mai stata preferita.
Parametri: L'esponente di Stevens ( $\beta$ ) converge a circa 0.01, indicando una compressione logaritmica quasi pura, molto più aggressiva di quella osservata nei sistemi biologici umani ( $\beta$ tra 0.33 e 3.5).
Conclusione: Risolve la contraddizione tra studi precedenti: la geometria globale è logaritmica (confermando AlQuabeh et al.), ma le sonde lineari funzionano perché la compressione è liscia e monotona (confermando Zhu et al.).

B. Dissociazione tra Geometria e Competenza Comportamentale

Geometria senza Comportamento: Entrambi i modelli possiedono una geometria logaritmica anche per domini temporali e spaziali, ma falliscono al livello del caso nei task di discriminazione per questi domini.
Competenza Specifica del Modello: Solo il modello Llama mostra un comportamento coerente con la Legge di Weber per i numeri (WF $\approx$ 0.20, entro il range umano). Mistral non mostra questo comportamento (WF $\approx$ 0.53), basandosi sulla differenza assoluta, nonostante la stessa geometria logaritmica interna.
Causa: L'analisi suggerisce che la mancanza di competenza in Mistral è dovuta a un "readout" (meccanismo di lettura) difettoso o a un approccio di elaborazione "esatto" che fallisce nella comparazione approssimata, non alla mancanza di rappresentazione.

C. Inversione Causale dei Livelli (Layer Dissociation)

Scoperta Sorprendente: L'intervento causale rivela che i livelli precoci del transformer (dove la geometria logaritmica è più debole) sono funzionalmente implicati nel processo di confronto approssimato.
Paradosso: I livelli tardi, dove la geometria logaritmica è più forte e strutturata, non sono causalmente impegnati nel compito di confronto (l'intervento su questi livelli non modifica l'output).
Interpretazione: I livelli tardivi potrebbero mantenere una "sommaria strutturata" delle informazioni per la previsione del prossimo token, mentre i livelli precoci elaborano attivamente la grandezza per il compito corrente.

D. Conferma della Precondizione di Codifica Efficiente

L'analisi del corpus di addestramento conferma che le frequenze degli interi seguono una legge di potenza ( $\alpha = 0.77$ ), vicina alla distribuzione scale-invariant ( $1/s$ ) necessaria per generare una compressione logaritmica ottimale.

4. Contributi Principali

Quadro Psicofisico per gli LLM: Prima applicazione completa del toolkit psicofisico (frazioni di Weber, funzioni psicometriche, RSA, gradienti di precisione, intervento causale) per indagare le rappresentazioni interne degli LLM.
Risoluzione Empirica dei Conflitti: Dimostra che la geometria logaritmica è universale tra i transformer, indipendentemente dall'architettura (Llama, Mistral, Qwen), risolvendo il dibattito logaritmico vs lineare.
Dissociazioni Informativi:
- La geometria non garantisce la competenza comportamentale.
- La competenza comportamentale è specifica del modello e dipende dal tuning istruito (instruction tuning), non dal pre-training.
- La struttura rappresentazionale più forte non è necessariamente quella causalmente attiva per il compito.
Generalizzazione Cross-Architettura: La replicazione con Qwen-2.5 conferma che la geometria logaritmica è una proprietà convergente del pre-training su dati naturali.

5. Significato e Implicazioni

Statistica dei Dati vs. Vincoli Biologici: Lo studio suggerisce che le statistiche dei dati di addestramento sono sufficienti a produrre una geometria logaritmica delle grandezze, anche in assenza di vincoli biologici. Tuttavia, i vincoli biologici potrebbero essere necessari per la piena espressione del fenotipo comportamentale (la frazione di Weber umana).
Interpretabilità Meccanica: Il lavoro avverte contro l'assunzione che una rappresentazione strutturata (rilevata tramite sonde o PCA) sia automaticamente utilizzata dal modello per il ragionamento. La causalità deve essere verificata tramite intervento (patching), non solo correlazione.
Ruolo del Fine-Tuning: Il pre-training costruisce la struttura rappresentazionale (geometria), mentre l'istruzione tuning (instruction tuning) costruisce il meccanismo di lettura (readout) necessario per tradurre tale geometria in comportamento.
Metodologia: Propone la psicofisica come metodologia standard per l'interpretazione delle rappresentazioni continue nelle reti neurali, offrendo un vocabolario preciso per descrivere la relazione tra stimoli e rappresentazioni interne.

In sintesi, il paper dimostra che i transformer apprendono naturalmente una "mappa mentale" logaritmica delle grandezze grazie alla statistica dei dati, ma la capacità di usare questa mappa per confrontare numeri dipende da come il modello è stato istruito e da quali livelli della rete sono effettivamente coinvolti nel processo decisionale.