🤖 machine learning

The Anatomy of a Truth Direction: Knowledge-Dependent Dimensionality, a Relational Law, and a Convergent Category Geometry in Small Language Models

Questo articolo estende la comprensione delle rappresentazioni della verità nei modelli linguistici dimostrando che la dimensionalità della verità è dipendente dalla conoscenza (collassando su un singolo asse per i fatti noti), identificando componenti architettoniche specifiche che propagano o si oppongono ai frame di verità e rivelando una legge geometrica convergente e soggetta a controllo basata sulla conoscenza che governa la direzione della verità attraverso diverse famiglie di modelli.

Autori originali: Francesco Karim Vicidomini

Pubblicato 2026-07-21

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Francesco Karim Vicidomini

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La Bussola Nascosta nel Cervello della Macchina

Immaginate una biblioteca gigante dove un robot ha letto ogni libro mai scritto. Questo robot, chiamato Large Language Model, è così bravo a imitare il linguaggio umano da poter scrivere poesie, risolvere problemi di matematica e raccontare storie. Ma c'è un trucco: può anche mentire con perfetta sicurezza. Potrebbe dirvi che la luna è fatta di formaggio, e lo direbbe con la stessa voce fluida che usa per dirvi che la luna è fatta di roccia. Gli scienziati si sono spesso chiesti: dentro il cervello di questo robot, esiste un "interruttore della verità" nascosto che si accende quando sa che qualcosa è reale?

Per capire questo, dobbiamo sapere come pensa il robot. Non conserva i fatti come fa un essere umano; invece, trasforma ogni frase che legge in una lunga lista di numeri, come un codice segreto. Gli scienziati chiamano questo un "vettore". Pensate a questi numeri come a coordinate su una mappa. Se il robot conosce un fatto, quelle coordinate potrebbero puntare in una direzione specifica. Se sta tirando a indovinare, le coordinate potrebbero essere ovunque. La grande domanda è: esiste una singola linea retta su questa mappa che punta alla "Verità"? O la verità è una nuvola disordinata e multidimensionale che cambia a seconda di ciò di cui si parla? Questo articolo scava in profondità in quella mappa per vedere se possiamo trovare una bussola che punti sempre alla verità, o se il cervello del robot sia troppo complicato per un semplice ago.

La Bussola della Verità Unidirezionale

I ricercatori in questo articolo hanno deciso di giocare a fare i detective dentro il cervello di un piccolo robot (specificamente, un modello chiamato Qwen2.5-1.5B). Volevano vedere se riuscivano a trovare una singola linea retta — una "direzione della verità" — che separi ciò che il robot sa essere vero da ciò che sa essere falso.

La Magia delle "Coppie Minime"
Per farlo, hanno usato un trucco astuto chiamato "coppie minime". Immaginate di avere due frasi che sono gemelle, tranne che per una parola.

Frase A: "Il Sole è una stella." (Vero)
Frase B: "Il Sole è un pianeta." (Falso)

Il robot legge entrambe le frasi. I ricercatori hanno poi osservato i codici numerici segreti (gli stati nascosti) che il robot ha creato per ciascuna frase e hanno sottratto l'uno dall'altro. Poiché le frasi sono quasi identiche, tutto il "rumore" si annulla, lasciando solo la differenza causata dalla verità o dalla menzogna. Hanno usato uno strumento matematico (SVD) per trovare la direzione principale di quella differenza.

La Grande Scoperta: La Verità è una Linea, ma Solo Quando Sai
Il team ha scoperto qualcosa di incredibile: per i fatti che il robot conosce effettivamente, la verità vive davvero su una singola linea retta. Quando hanno testato questo su fatti che il robot aveva memorizzato (come capitali o simboli chimici), la loro "bussola della verità" ha funzionato incredibilmente bene, ottenendo la risposta corretta circa il 93,8% delle volte.

Tuttavia, hanno scoperto una regola cruciale: la bussola funziona solo se il robot conosce il fatto.

Quando il robot sa: Il segnale della verità è nitido e concentrato su quella singola linea.
Quando il robot non sa: Il segnale diventa sfocato e si disperde. Se chiedete al robot di fatti oscuri che non ha imparato, le coordinate di "verità" e "menzogna" iniziano a sovrapporsi, come due nuvole di nebbia che si fondono. La bussola non può distinguerle perché il robot sta solo tirando a indovinare.

Il paper ha anche testato un sacco di idee folli per vedere se la verità fosse più complessa di una semplice linea. Hanno chiesto: "La verità è un oggetto 3D? È una fase rotante? È una rotazione complessa?" La risposta è stata un deciso no. Hanno eseguito sette esperimenti diversi cercando di trovare una seconda dimensione o un pattern nascosto, e ogni volta, la complessità extra si è rivelata essere solo rumore. La verità, per i fatti noti, è strettamente unidimensionale.

L'Anatomia di una Menzogna: Chi Scrive la Verità?

I ricercatori non si sono fermati al trovare la linea; volevano sapere chi nel cervello del robot la stava disegnando. Il cervello del robot ha due lavoratori principali: l'Attenzione (che guarda le parole e le connette) e la FFN (una rete feed-forward che agisce come un autore di memoria).

Hanno scoperto una danza affascinante tra questi due lavoratori:

L'Attenzione è il Costruttore: Nei livelli centrali del cervello del robot, l'Attenzione costruisce il segnale della verità. Raccoglie i fatti e disegna la linea.
La FFN è l'Eradicatore: Una volta disegnata la linea, il lavoratore FFN arriva e inizia a rovinarla. In realtà, spinge il segnale della verità lontano dalla direzione corretta, specialmente subito dopo il picco della comprensione.

È come un gioco di tiro alla fune. L'Attenzione tira la corda verso la "Verità", ma la FFN la tira indietro verso la "Predizione della Prossima Parola". I ricerci hanno scoperto che la FFN è così impegnata a cercare di indovinare quale parola verrà dopo che accidentalmente cancella il segnale della verità che ha appena contribuito a creare.

La Legge Relazionale: Una Regola Universale

Il team ha poi testato questo su quattro robot diversi di due famiglie differenti (Qwen e Llama). Hanno scoperto una legge universale che si applica a tutti loro, indipendentemente dalle dimensioni o dall'addestramento:

L'Attenzione sempre propaga (trasmette in avanti) i frame della verità che non ha scritto.
La FFN sempre si oppone al frame della verità del momento attuale e scrive il materiale per il momento successivo.

È come se il lavoratore Attenzione dicesse: "Ecco la verità!" e il lavoratore FFN dicesse: "Ok, la prendo, ma ora la sovrascriverò con la mia idea per la frase successiva". Questo crea un ciclo in cui il segnale della verità sale, raggiunge il picco e poi svanisce mentre il robot passa alla predizione della parola successiva.

La Mappa Segreta delle Categorie

Infine, i ricercatori hanno esaminato come il robot gestisce diversi tipi di fatti, come "paesi", "lingue" o "sport". Hanno scoperto che il robot non usa la stessa linea per tutto. Al contrario, possiede un'intera mappa di linee diverse, una per ogni categoria.

Ecco la parte sconvolgente: anche se le due famiglie di robot (Qene e Llama) sono state costruite diversamente e addestrate su dati diversi, entrambe hanno finito per disegnare questa mappa nello stesso identico modo.

Se "Lingue" e "Paesi" puntano in direzioni opposte sulla mappa di Qwen, puntano anche loro in direzioni opposte sulla mappa di Llama.
Se "Sport" è un solitario che non si allinea con nulla, è un solitario su entrambe le mappe.

Questo suggerisce che il modo in cui la verità è organizzata non è casuale; è una proprietà della conoscenza stessa. I robot stanno entrambi scoprendo la stessa geometria nascosta del mondo. Tuttavia, questo accordo avviene solo se entrambi i robot conoscono effettivamente i fatti. Se stanno indovinando, la mappa cade a pezzi.

Cosa Significa (E Cosa Non Significa)

Il paper è molto attento a non esagerare i risultati. Esclude esplicitamente diverse cose:

La verità non è un oggetto 3D: È una linea (per i fatti noti).
La FFN non aiuta la verità: In realtà, la danneggia dopo il picco.
La bussola non è magica: Fallisce completamente se il robot non conosce il fatto.

I ricercatori sono fiduciosi nelle loro misurazioni perché hanno usato controlli rigorosi, come "esperimenti di falsificazione" in cui hanno cercato di dimostrare se stessi errati. Hanno persino trovato un errore nel loro precedente pensiero (riguardo a un "flip" nel segnale) e lo hanno corretto, dimostrando che il segnale è in realtà una legge universale, non solo un caso fortuito di uno specifico livello.

In breve, questo articolo ci mostra che dentro il cervello del robot, la verità è una linea retta e semplice — ma solo quando il robot è sicuro della risposta. Quando sta indovinando, la linea si dissolve in una nebbia. E sebbene il cervello del robot sia complesso, il modo in cui organizza la verità segue una geometria bellissima e universale che sembra essere costruita nella natura stessa della conoscenza.

Sintesi Tecnica: L'Anatomia di una Direzione della Verità

Definizione del Problema

I Large Language Models (LLM) generano affermazioni false con una fluidità paragonabile a quelle vere, eppure studi recenti suggeriscono che i valori di verità siano linearmente leggibili dal residuo dello stream (residual stream). Sebbene Bürger et al. (2024) abbiano stabilito che le rappresentazioni della verità risiedano in un sottospazio multidimensionale (che comprende una direzione di verità generale e una direzione sensibile alla polarità), tre domande critiche rimangono senza risposta riguardo alla natura di questa rappresentazione:

Come dipende la dimensionalità del sottospazio della verità dalla conoscenza effettiva dei fatti da parte del modello?
Quali componenti architettoniche (Attention vs. Feed-Forward Networks) costruiscono, propagano o degradano il segnale di verità?
Qual è la composizione della direzione della verità quando il modello elabora categorie eterogenee di fatti?

Metodologia

Il documento impiega un probed direzionale training-free e label-free (fino al segno) derivato dalla Decomposizione ai Valori Singolari (SVD) delle differenze tra stati nascosti di coppie minimali (varianti di frasi vere/false che differiscono per una singola parola di contenuto).

Strumento: Il vettore singolare destro dominante ( $v_1$ ) della matrice di differenza $D = h_{true} - h_{false}$ funge da "asse della verità". Per il Lemma 1, l'estensione di questo asse è invariante rispetto a quale frase della coppia sia etichettata come vera, richiedendo solo un singolo bit di segno globale per l'orientamento.
Valutazione: Le prestazioni sono misurate tramite l'Area Under the Curve (AUC) su dati non utilizzati (held-out) mediante k-fold cross-validation su coppie. Un nulla per permutazione (scambio di etichette all'interno delle coppie) controlla il bias di selezione nella scansione dei layer.
Anatomia: Lo stream residuo è decomposto in contributi di attenzione ( $a_\ell$ ) e FFN ( $f_\ell$ ). L'ablazione causale (azzeramento dei componenti) e i controlli di "provenienza del frame" (misurazione dei contributi rispetto a frame adattati a diverse profondità) isolano i meccanismi causali.
Disciplina: Lo studio aderisce a un rigoroso protocollo di falsificazione. Le previsioni sono pre-registrate; i risultati negativi e le correzioni delle precedenti interpretazioni degli autori vengono riportati con pari rigore.

Contributi Chiave e Risultati

Parte I: Dimensionalità e Dipendenza dalla Conoscenza (Modello Singolo: Qwen2.5-1.5B)

Dimensionalità Dipendente dalla Conoscenza: Il segnale di verità non ha una dimensionalità fissa. Sui fatti che il modello conosce comportamentalmente (coppie curate), il segnale è altamente concentrato su un singolo asse (AUC 0.938). Man mano che la conoscenza diminuisce (CounterFact) o l'eterogeneità del materiale aumenta (mix TruthfulQA), il segnale diventa diffuso e il divario tra il probe a singolo asse e un probe lineare completo si amplia significativamente (da 0.051 a 0.203). Ciò suggerisce che la rappresentazione della verità sia dipendente dalla conoscenza: i fatti noti occupano una direzione dedicata; i fatti ignoti risultano in sovrapposizioni non risolte e sovrapposte.
Verifica della Unidimensionalità: Sette esperimenti di falsificazione (test su dinamiche di fase complessa, firme di profondità globale, dipartimenti di layer, energia e clustering 3D) non sono riusciti a smentire la lettura unidimensionale sui fatti noti. La "fase" o "rotazione" delle falsità è stata ritirata come una ri-espressione dell'inversione del segno sull'asse reale.
Recupero della Polarità: La SVD di coppie minimali a polarità mista recupera la direzione di polarità supervisionata ( $t_P$ ) di Bürger et al. (2024) con un coseno di 0.959, senza aver mai visto etichette di polarità.
Origine Anatomica: L'attenzione costruisce causalmente il segnale di verità nei layer intermedi. Al contrario, l'FFN degrada il segnale dopo il picco di leggibilità.

Parte II: Leggi Relazionali e Geometria Convergente (Quattro Modelli: Famiglie Qwen e Llama)

Legge Empirica 1 (Propagare vs. Sovrascrivere): Una legge relazionale emerge tra i modelli: l'Attention propaga i frame di verità che non ha scritto, mentre l'FFN si oppone al frame del proprio blocco attuale e deposita il materiale per il frame successivo. Questa dinamica spiega il "flip" osservato al picco di verità: l'apparente scrittura pro-verità dell'FFN al picco è un artefatto della misurazione del componente contro un frame che esso stesso ha contribuito a creare; quando misurato contro un "pre-frame" pulito, l'FFN è coerentemente anti-allineato con l'attuale frame di verità.
Attribuzione Causale dell'Erosione: Il genuino decadimento post-picco del segnale di verità è attribuito causalmente allo stream di valore SwiGLU dell'FFN, non al gate.
Scala e Tratti di Famiglia:
- Scala: Un "tiro alla fune" (dove l'attenzione continua a scrivere pro-verità mentre l'FFN sovrascrive) è un tratto dei modelli più grandi (3B), assente in quelli più piccoli (1B).
- Famiglia: Un "innesco a singolo layer" del segnale è un tratto della famiglia Qwen, mentre Llama mostra una rampa fluida.
Geometria delle Categorie Convergenti: Gli assi di verità per diverse categorie semantiche (es. lingue, continenti, cittadinanza) formano un disposizione semanticamente firmata che contraddice la superficie lessicale iniziale e converge tra le famiglie di modelli.
- La Legge della Disposizione: Diversi modelli addestrati sullo stesso mondo convergono verso la stessa disposizione funzionale delle direzioni di verità. Questa geometria appartente al dominio della conoscenza, non all'architettura.
- Gate della Conoscenza: Questa convergenza è gateata dalla conoscenza. La forza dell'accordo tra le famiglie (Mantel $p=0.0009$ ) si rafforza da +0.42 su materiale a conoscenza mista a +0.74 su categorie a conoscenza ristretta.
Instabilità del Segno e Correzione: L'orientamento per categoria è instabile per i fatti a bassa conoscenza. Il paper introduce un gauge di consenso spettrale (usando l'autovettore principale della matrice dei coseni) per riparare l'instabilità del segno, garantendo che i confronti tra modelli non siano artefatti di inversioni di segno arbitrarie.

Significato e Rivendicazioni

Il paper sostiene di aver stabilito un probe strutturale a basso costo per la verità che rivaleggia con i probe addestrati sui fatti noti senza ottimizzazione. Il suo principale contributo teorico è il riframing della rappresentazione della verità:

La dimensionalità non è fissa: È una funzione della conoscenza del modello. I fatti sconosciuti non falliscono nel possedere una direzione; piuttosto, il loro segnale è distribuito attraverso feature sovrapposte, rendendoli illeggibili da un singolo asse.
Il meccanismo è relazionale: La verità non è un oggetto statico ma un flusso dinamico dove l'attenzione propaga i frame e gli FFN sovrascrivono con nuove direzioni specifiche per categoria.
La geometria è guidata dalla conoscenza: La disposizione delle direzioni di verità attraverso le categorie è una proprietà del dominio della conoscenza condiviso, che converge attraverso diverse architetture di modelli.

Gli autori dichiarano esplicitamente che questo metodo non è un sostituto degli autoencoder sparsi (necessari per disambiguare le feature sovrapposte) ma serve come un "probe strutturale leggero, onesto e quasi gratuito" da affiancare alla generazione. Il lavoro sottolinea che studiare la geometria di una capacità presuppone l'esistenza di quella capacità comportamentalmente, un principio applicato sistematicamente misurando i "tassi di conoscenza" prima dell'analisi geometrica.

Il paper conclude che un risultato che sopravvive ai migliori attacchi degli autori stessi (tramite correzioni pre-registrate e falsificazione) è più robusto di uno che non è mai stato attaccato, posizionando i risultati come una base rafforzata per il futuro lavoro di interpretabilità meccanicistica.