💬 NLP

How Context Shapes Truth: Geometric Transformations of Statement-level Truth Representations in LLMs

Questo articolo fornisce la prima caratterizzazione geometrica di come il contesto trasformi i vettori di verità nei Large Language Models, rivelando che il contesto generalmente amplifica l'ampiezza delle rappresentazioni della verità, mentre i modelli più grandi distinguono il contesto rilevante da quello conflittuale principalmente attraverso cambiamenti direzionali nello spazio di attivazione piuttosto che attraverso differenze di ampiezza.

Autori originali: Shivam Adarsh, Maria Maistro, Christina Lioma

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shivam Adarsh, Maria Maistro, Christina Lioma

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un Modello di Linguaggio di Grandi Dimensioni (LLM) come una gigantesca biblioteca a più piani, dove ogni libro rappresenta un pensiero o un pezzo di informazione diverso. All'interno di questa biblioteca, la "verità" di un'affermazione non è scritta in parole; è conservata come una specifica freccia che punta in una certa direzione.

Se il modello pensa che un'affermazione sia vera, la freccia punta in un modo. Se pensa che sia falsa, la freccia punta nell'altro. Il documento che hai condiviso indaga cosa accade a queste "frecce della verità" quando diamo al modello un pezzo di informazione extra (contesto) da leggere prima di rispondere.

Ecco la scomposizione delle loro scoperte utilizzando analogie semplici:

1. Il viaggio in tre fasi di una freccia

I ricercatori hanno osservato queste frec la verità mentre viaggiavano attraverso i diversi "piani" (livelli/layer) della biblioteca. Hanno trovato un pattern coerente in tre fasi:

Il Seminterrato (Livelli iniziali): Quando il modello legge per la prima volta l'affermazione, la "freccia della verità" con il contesto e la "freccia della verità" senza contesto puntano in direzioni completamente diverse. Sono come due persone che stanno schiena contro schiena; sono ortogonali (a un angolo di 90 gradi). Il modello sta solo elaborando le parole grezze, quindi il contesto extra non ha ancora dato un senso alla verità.
La Sala Principale (Livelli intermedi): Man mano che l'informazione sale, le frecce iniziano improvvisamente ad allinearsi. Convergono, puntando quasi nella stessa direzione. È qui che il modello "capisce". Ha elaborato il significato e, che ci sia stato o meno un contesto extra, l'idea centrale della "verità" è ora rappresentata in modo simile.
La Mansarda (Livelli finali): Nei piani finali, le cose si fanno interessanti. A volte le frecce rimangono perfettamente allineate. Altre volte, iniziano a divergere di nuovo. Questo accade soprattutto quando il contesto extra contraddice ciò che il modello già "sa" dal suo addestramento. È come se il modello stesse avendo un dibattito interno, causando un'oscillazione o uno spostamento della direzione della freccia mentre cerca di decidere a quale informazione dare fiducia.

2. Alzare il volume (Magnitudo)

I ricercatori hanno anche misurato la lunghezza di queste frecce.

La scoperta: Quando aggiungi contesto, le frecce generalmente diventano più lunghe.
L'analogia: Immagina la differenza tra un'affermazione vera e una falsa come la distanza tra due persone in una stanza. Senza contesto, potrebbero trovarsi a 1,5 metri di distanza. Quando aggiungi il contesto, il modello spinge le persone più lontano, magari a 3 metri. La "separazione" tra verità e bugie diventa più distinta e facile da vedere. Il contesto agisce come un riflettore che rende più chiara la differenza tra giusto e sbagliato.

3. Modelli Grandi vs. Modelli Piccoli: Strategie diverse

Il documento ha scoperto che i modelli grandi e quelli piccoli gestiscono questa "informazione extra" in modi diversi, come due tipi differenti di navigatori:

I Modelli Grandi (es. LLaMA, Mistral): Questi modelli sono come esperti cartografi con mappe enormi. Quando ricevono un contesto rilevante, cambiano la direzione della loro freccia. Si voltano fisicamente per affrontare un nuovo angolo più accurato. Usano lo spazio extra nel loro "cervello" per puntare in una direzione completamente nuova per mostrare che comprendono la sfumatura.
I Modelli Piccoli (es. Qwen, SmolLM): Questi modelli hanno mappe più piccole. Non sempre possono permettersi di girare la freccia in una nuova direzione senza urtare altre idee. Invece, mantengono la freccia puntata approssimativamente nella stessa direzione, ma la rendono più lunga. Segnalano di aver compreso il contesto "amplificando" il segnale (rendendo la freccia più lunga) piuttosto che cambiandone l'angolo.

4. Buon contesto vs. Rumore casuale

I ricercatori hanno testato cosa succede quando il contesto è effettivamente utile rispetto a quando è solo un geroglifico casuale (come una lista di parole casuali o un paragrafo rimescolato).

Il risultato: Un contesto rilevante e utile provoca una reazione molto più grande nelle "frecce della verità" del modello rispetto al rumore casuale.
L'eccezione: Se il contesto è contraddittorio (dice al modello qualcosa che va contro il suo addestramento), provoca lo spostamento geometrico più grande di tutti. È come se il modello fosse sotto shock; la freccia oscilla selvaggiamente perché deve conciliare due fatti opposti.
Il problema del testo legale: Curiosamente, quando il contesto era un testo legale molto complesso e tecnico, i modelli faticavano a distinguerlo dal rumore casuale. Le "frecce" non si muovevano molto. Sembra che quando il linguaggio è troppo denso e specializzato, il modello non riesce a distinguere tra un indizio utile e una frase casuale.

Riassunto

In breve, questo documento dimostra che quando un LLM legge un'affermazione con un contesto extra, non si limita a "leggere" le parole; modifica fisicamente la geometria dei suoi pensieri interni.

All'inizio, i pensieri sono confusi e puntano in ogni direzione.
Nel mezzo, si allineano per trovare la verità.
Alla fine, la "freccia della verità" diventa più lunga (più sicura) o cambia direzione (se il contesto è complicato).
I modelli grandi cambiano la direzione della freccia per mostrare di aver capito; i modelli piccoli cambiano la lunghezza della freccia.

Questo ci aiuta a capire che la "verità" in un'IA non è un interruttore statico; è una forma dinamica che cambia a seconda di ciò che l'IA sta leggendo.

Sintesi Tecnica: Come il Contesto Plasma la Verità

Problema

Mentre ricerche precedenti hanno stabilito che i Large Language Models (LLM) codificano la veridicità delle affermazioni come direzioni lineari (vettori) all'interno delle attivazioni del loro residual stream, l'evoluzione geometrica di questi "vettori di verità" quando viene introdotta un'informazione contestuale rimane inesplorata. Studi esistenti dimostrano che la verità può essere separata dalle falsità nello spazio delle attivazioni e che i probe possono generalizzare tra diversi setting, ma non caratterizzano come la geometria di queste rappresentazioni — specificamente la loro direzione e magnitudo — si trasformi quando un modello elabora un'affermazione insieme a un contesto. Questa lacuna è critica per comprendere come gli LLM integrino informazioni esterne, in particolare nei casi di Generazione Aumentata da Recupero (RAG) e di apprendimento in-context.

Metodologia

Gli autori propongono un framework per misurare le trasformazioni geometriche dei vettori di verità indotte dal contesto. L'allestimento sperimentale coinvolge quattro LLM istruiti (LLaMA-3.1-8B, Mistral-Nemo-12B, Qwen3-4B e SmolLM3-3B) e quattro dataset che spaziano in diversi domini (fact-checking, legale, sinossi cinematografiche e conflitti di conoscenza sintetica).

Procedura Core:

Costruzione del Prompt: Per ogni affermazione, vengono generati quattro prompt variando la [Scelta Selezionata] (supportare o confutare l'affermazione) e la presenza di [Contesto] (con o senza). Il modello riceve l'istruzione di generare una completamento iniziando con un token specifico (ad es. ")") per garantire un confronto equo.
Estrazione dei Vettori: I vettori di verità vengono estratti dalle attivazioni del residual stream (post-MLP) alla posizione del primo token generato. Il vettore di verità senza contesto ( $v_{k,nc}^{(l)}$ ) e con contesto ( $v_{k,c}^{(l)}$ ) per una affermazione $k$ nel layer $l$ sono definiti come la differenza tra le attivazioni per i completamenti True e False:
$v_{k,nc}^{(l)} = a_{k,True, nc}^{(l)} - a_{k,False, nc}^{(l)}$
$v_{k,c}^{(l)} = a_{k,True, c}^{(l)} - a_{k,False, c}^{(l)}$
Metriche Geometriche: Due proprietà vengono misurate per quantificare il cambiamento:
- Cambiamento Direzionale ( $\theta$ ): L'angolo tra il vettore di verità con contesto e quello senza contesto, calcolato tramite la similarità del coseno.
- Magnitudo Relativa: Il rapporto tra la norma L2 del vettore di verità con contesto e la norma senza contesto ( $||v_{k,c}^{(l)}||_2 / ||v_{k,nc}^{(l)}||_2$ ). Valori $>1$ indicano un'amplificazione della separazione tra le rappresentazioni di vero e falso.

Lo studio confronta inoltre il contesto rilevante con cinque tipi di contesto casuale/irrilevante (caratteri casuali, parole casuali, frasi incoerenti, testo casuale di Wikipedia e contesti di dataset rimescolati) per valutare la sensibilità alla rilevanza.

Risultati Chiave

1. Pattern in Tre Fasi del Cambiamento Direzionale

In tutti i modelli e i dataset, il cambiamento direzionale ( $\theta$ ) segue un pattern coerente in tre fasi attraverso i layer:

Fase 1 (Layer Iniziali): I vettori di verità con e senza contesto sono approssimativamente ortogonali (alto $\theta$ ), suggerendo rappresentazioni distinte nelle prime fasi di elaborazione.
Fase 2 (Layer Centrali): I vettori convergono bruscamente, raggiungendo un $\theta$ minimo. Ciò si allinea al ruolo noto dei layer centrali nella codifica semantica e nel recupero della conoscenza. Notevolmente, $\theta$ non raggiunge mai lo zero, indicando che il contesto lascia sempre una firma geometrica distinta.
Fase 3 (Layer Successivi): Il comportamento varia. Per alcuni dataset, i vettori si stabilizzano. Per altri (specificamente quando il contesto contrasta con la conoscenza parametrica, es. ConflictQA-Counter), $\theta$ aumenta nuovamente, suggerendo una continua elaborazione di segnali contrastanti nei layer più profondi.

2. Amplificazione della Separazione della Verità

L'aggiunta di contesto generalmente aumenta la magnitudo relativa dei vettori di verità (valori $>1$ ). Ciò indica che il contesto amplifica la separazione tra le rappresentazioni vere e false nello spazio delle attivazioni. Questo effetto è più pronunciato nei layer centrali, dove la magnitudo relativa spesso raggiunge il picco prima di stabilizzarsi nei layer successivi.

3. Dimensione del Modello e Meccanismi di Sensibilità

Esiste una divergenza significativa tra i modelli grandi e quelli piccoli riguardo a come codificano la rilevanza del contesto:

Modelli Grandi (LLaMA, Mistral): Distinguono il contesto rilevante da quello irrilevante principalmente attraverso il cambiamento direzionale ( $\theta$ ). Il contesto rilevante induce spostamenti direzionali significativamente più elevati rispetto al contesto casuale.
Modelli Piccoli (Qwen, SmolLM): Distinguono il contesto rilevante da quello irrilevante principalmente attraverso la scala della magnitudo. Mentre i cambiamenti direzionali sono spesso trascurabili o negativi, la magnitudo relativa dei vettori di verità è significativamente più alta per il contesto rilevante. Gli autori ipotizzano che ciò sia dovuto ai vincoli di capacità rappresentativa negli spazi a bassa dimensionalità, rendendo la scala della magnitudo una strategia di codifica più fattibile rispetto a direzioni distinte.

4. Impatto del Conflitto di Conoscenza

Il contesto che contraddice la conoscenza parametrica (ConflictQA-Counter) produce cambiamenti geometrici maggiori (sia $\theta$ che magnitudo più elevati) rispetto al contesto allineato con la conoscenza parametrica. Ciò suggerisce che le informazioni contrastanti innescano spostamenti geometrici più forti e persistenti, riflettendo potenzialmente la competizione tra i pathway della memoria e del contesto.

5. Specificità del Dominio

In dataset complessi e specifici del dominio come LegalBench (Corporate Lobbying), i modelli spesso non mostrano differenze geometriche significative tra contesto rilevante e casuale. Ciò correla con bassi punteggi di leggibilità Flesch, suggerendo che un linguaggio altamente tecnico possa sovrastare la capacità del modello di estrarre segnali geometrici significativi che distinguano la rilevanza.

Significato e Rivendicazioni

Il paper sostiene di fornire la prima caratterizzazione geometrica di come il contesto trasformi le rappresentazioni della verità negli LLM. Le scoperte offrono una lente teorica per comprendere l'elaborazione del contesto interno e hanno implicazioni pratiche per:

Sistemi RAG: I valori di $\theta$ layer-wise potrebbero servire come segnali diagnostici per rilevare quando un modello fallisce nell'integrare il contesto recuperato (mancanza di convergenza nei layer medi) o quando esistono conflitti di conoscenza (divergenza anomala nei layer profondi).
Steering di Modelli Piccoli: La scoperta che i modelli piccoli si affidano alla magnitudo piuttosto che alla direzione suggerisce che le tecniche di steering delle attivazioni per questi modelli dovrebbero concentrarsi sulla scala della magnitudo piuttosto che su interventi puramente direzionali.

Gli autori mantengono una posizione modesta, notando che, sebbene questi cambiamenti geometrici siano significativi, non sempre si traducono linearmente in cambiamenti della probabilità di output. Riconoscono inoltre i limiti, incluso il focus sul primo token, l'uso di dataset esclusivamente in inglese e la natura specifica dei modelli istruiti oggetto di studio.