💬 NLP

From Prerequisites to Predictions: Validating a Geometric Hallucination Taxonomy Through Controlled Induction

Questo studio valida una tassonomia geometrica delle allucinazioni nei modelli GPT-2, dimostrando che le lacune di copertura (Tipo 3) costituiscono il fallimento più distintivo basato sulla magnitudine, mentre i tipi di deriva e convergenza errata non mostrano separazione geometrica, e avvertendo che i test a livello di token generano significatività inflazionata a causa della pseudoreplicazione.

Autori originali: Matic Korun

Pubblicato 2026-03-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Matic Korun

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🧠 Il Detective delle Allucinazioni: Cosa succede quando un'IA "sogna" a occhi aperti?

Immagina che un'intelligenza artificiale (come GPT-2, il "cervello" usato in questo studio) sia un cuoco molto bravo ma un po' stanco. Se gli chiedi di cucinare un piatto che ha fatto mille volte, lo fa perfettamente. Ma se gli chiedi qualcosa di strano o se non gli dai istruzioni precise, inizia a "allucinare": inventa ingredienti che non esistono o mescola cose che non stanno insieme.

Gli scienziati hanno creato una mappa geometrica per capire come e perché il cuoco sbaglia. Hanno diviso gli errori in tre tipi:

Tipo 1 (Il Sognatore): Il cuoco non ha idee. È confuso e inizia a dire cose generiche e noiose ("C'è... c'è...").
Tipo 2 (Il Testardo): Il cuoco ha un'idea, ma è sbagliata. È sicuro di sé, ma sta cucinando una torta salata invece di una dolce. È coerente, ma nel modo sbagliato.
Tipo 3 (L'Esploratore): Il cuoco gli chiedi di cucinare qualcosa che non esiste nel suo libro di ricette (es. "Un panino fatto di nuvole e circuiti"). Qui il cuoco non ha nulla da attingere e deve inventare tutto da zero.

Lo studio si chiede: Possiamo vedere questi errori guardando "dentro" la testa del cuoco mentre lavora?

🧪 L'Esperimento: 20 Volte per Essere Sicuri

Per non sbagliare, l'autore non ha fatto l'esperimento una volta sola. Ha fatto 20 esperimenti diversi, come se chiedesse a 20 cuochi diversi di provare la stessa ricetta, per vedere se il risultato era sempre lo stesso.

Ha guardato il cuoco in due momenti diversi:

Prima di iniziare (Le parole fisse): Guardando solo le parole scritte sul menu (indipendentemente dal contesto).
Mentre cucina (Lo stato mentale): Guardando i pensieri del cuoco mentre sta mescolando gli ingredienti (il contesto dinamico).

🔍 Cosa hanno scoperto? (La parte divertente)

1. L'errore "Impossibile" (Tipo 3) è l'unico che si vede chiaramente

Quando il cuoco deve inventare qualcosa di totalmente nuovo (Tipo 3), succede una cosa strana e interessante:

Nella "mente" (stato contestuale): Il cuoco diventa più leggero. I suoi pensieri hanno meno "peso" (in termini matematici, il "norma" è più basso). È come se il cuoco, non avendo ricette, camminasse in punta di piedi, incerto e fragile. Questo segnale è stabile: in 19 casi su 20, il cuoco era "più leggero" quando inventava cose nuove.
Nel "menu" (parole fisse): Le parole che il cuoco sceglie per inventare sono più rare e strane, quindi hanno un "peso" diverso rispetto alle parole comuni.

In sintesi: L'errore di "invenzione totale" è l'unico che lascia una firma geometrica chiara. È come se il cuoco, quando non sa cosa fare, cambiasse il suo modo di camminare.

2. Gli altri errori sono invisibili (Tipo 1 e Tipo 2)

Gli errori di "confusione" (Tipo 1) e di "testardaggine" (Tipo 2) non si distinguono.
Perché? Perché il cuoco, anche se sbaglia, usa sempre gli stessi ingredienti e le stesse tecniche che conosce. Che sia confuso o testardo, il suo "peso" mentale rimane lo stesso. È come se due persone che corrono in modo diverso (una lenta, una veloce) avessero lo stesso battito cardiaco: per un osservatore esterno, sembrano uguali.

Conclusione: Con un cervello piccolo (124 milioni di parametri, come GPT-2), non si riesce a distinguere la confusione dalla testardaggine guardando solo la geometria. Servirebbe un cervello più grande.

3. La trappola delle "parole contate" (Pseudoreplicazione)

C'è un trucco statistico molto importante. Se conti ogni singola parola che il cuoco dice (es. 60 parole per frase), sembri avere tantissimi dati. Ma in realtà, le parole di una stessa frase sono tutte "amici" tra loro (se la prima è strana, anche la seconda lo sarà).
Contarle tutte come se fossero dati indipendenti è come pesare 60 volte lo stesso sasso e dire che pesa 60 volte di più.
Lo studio ha dimostrato che contare le parole singole gonfia i risultati di 4-16 volte. Bisogna guardare l'intera frase (il "prompt") come un unico dato, altrimenti si vedono cose che non esistono.

💡 La Metafora Finale: Il "Micro-Segnale"

Immagina che la mente dell'IA sia una stanza piena di specchi.

Quando l'IA sbaglia inventando cose nuove (Tipo 3), è come se qualcuno avesse spostato un mobile di pochi centimetri. È un movimento piccolo, ma se sai dove guardare, lo noti.
Quando l'IA sbaglia per confusione o testardaggine (Tipo 1 e 2), è come se qualcuno avesse spostato un mobile di un millimetro. È così piccolo che, con gli strumenti attuali (e con un cervello piccolo), sembra che non si sia mosso nulla.

🏁 Cosa ci dice tutto questo?

Le allucinazioni non sono tutte uguali: Quelle dovute alla mancanza di conoscenza (inventare cose nuove) sono le uniche che lasciano una traccia chiara e misurabile nella "geometria" della mente dell'IA.
Non fidarti dei numeri facili: Contare ogni parola singola inganna. Bisogna guardare il quadro d'insieme.
Serve un cervello più grande: Per distinguere la confusione dalla testardaggine, probabilmente serve un'IA molto più potente di quella usata in questo esperimento.

In parole povere: l'IA sa di non sapere quando deve inventare qualcosa di impossibile (e lo si vede), ma non sa di essere confusa o testarda (e questo rimane nascosto).

1. Il Problema

Le allucinazioni nei Large Language Models (LLM) rappresentano un ostacolo fondamentale per il loro affidabile dispiegamento. Sebbene esistano metodi per rilevare le allucinazioni a posteriori (come la verifica di coerenza o la validazione della bassa confidenza), manca una comprensione geometrica di come queste falliscano nello spazio delle rappresentazioni del modello.
Un lavoro precedente (Korun, 2026) aveva proposto una tassonomia geometrica delle allucinazioni basata su tre tipi:

Tipo 1 (Deriva dal centro): Generazione che collassa verso il centroide dell'embedding in contesti deboli.
Tipo 2 (Convergenza nel "pozzo sbagliato"): Il modello si fissa su un cluster localmente coerente ma contestualmente errato.
Tipo 3 (Vuoti di copertura): Il modello genera in assenza di strutture di cluster che supportino la query (combinazioni semantiche non presenti nell'addestramento).

Il problema affrontato in questo studio è la validazione empirica: la geometria proposta esiste davvero e produce le "firme" predette quando il modello viene indotto a commettere specifici errori?

2. Metodologia

Lo studio utilizza un disegno sperimentale rigoroso basato sull'induzione controllata su GPT-2-small (124M parametri), scelto per la sua riproducibilità esatta su CPU e per essere l'unico modello decoder incluso nello studio comparativo precedente.

Condizioni di Prompt: Sono stati creati 15 prompt per ciascuna delle tre condizioni (totale 45 prompt), ingegnerizzati per attivare specifici tipi di fallimento:
- Tipo 1: Prompt minimi e degeneri (es. "The", "It is") per indurre deriva.
- Tipo 2: Prompt ambigui tra domini ben definiti (es. "La banca ha annunciato..." - finanziaria vs idrologica) per indurre convergenza errata.
- Tipo 3: Prompt che richiedono combinazioni tecniche trans-disciplinari mai viste in addestramento (es. "La rifrattometria xenoplasmica...") per indurre vuoti di copertura.
Spazi di Rappresentazione: L'esperimento è stato condotto in due spazi distinti:
1. Embedding Statici: La posizione fissa del token nello spazio del vocabolario (indipendente dal contesto).
2. Stati Nascosti Contestuali: L'ultimo strato del trasformatore al momento della selezione del token (codifica il processo di generazione).
Protocollo di Stabilità Multi-Esecuzione: Per quantificare la stabilità dei risultati, ogni esperimento è stato eseguito 20 volte con semi di generazione diversi. L'unità di inferenza statistica è il prompt ( $N=15$ per gruppo), non il singolo token, per evitare il problema della pseudoreplicazione.
Metriche Geometriche:
- $H(v)$ : Appartenenza soft al cluster (similarità coseno con i centroidi).
- $\|v\|$ : Norma dell'embedding (distanza dall'origine).
- $\max \text{sim}$ : Similarità massima con un singolo centroide.

3. Risultati Chiave

A. Separazione del Tipo 3 (Vuoti di Copertura)

Il Tipo 3 si è rivelato l'unico modo di fallimento geometricamente distinguibile, ma con caratteristiche diverse a seconda dello spazio:

Nello Spazio Statico: La norma ( $\|v\|$ ) separa robustamente il Tipo 3 dagli altri tipi. Le comparazioni a coppie (T2-T3 e T1-T3) sopravvivono alla correzione di Holm in 14/20 e 11/20 esecuzioni rispettivamente, con dimensioni dell'effetto elevate ( $r \approx +0.61$ ). Questo suggerisce che la novità compositiva forza scelte lessicali più rare, aumentando la norma.
Nello Spazio Contestuale: La direzione dell'effetto della norma è stabile (il Tipo 3 ha la norma più bassa in 19/20 esecuzioni), ma l'effetto è sottopotenziato a causa del piccolo campione ( $N=15$ ). La norma è significativamente inferiore (circa 237 vs 245), indicando una minore "confidenza" interna del modello, ma raggiunge la significatività nominale solo in 4/20 esecuzioni.

B. Non-Separazione dei Tipi 1 e 2

Nessuna metrica (né angolare né di norma) è riuscita a distinguere statisticamente il Tipo 1 dal Tipo 2 in nessuno dei due spazi (significatività $\le 3/20$ esecuzioni). Questo suggerisce che, a 124M parametri, la differenza tra "contesto debole" e "contesto mal indirizzato" non produce firme geometriche distinte nello spazio degli stati nascosti, o che queste sono troppo sottili per essere rilevate con le metriche attuali.

C. Il Regime del "Micro-Segnale" e la Pseudoreplicazione

Micro-Segnale: Gli stati nascosti contestuali di GPT-2 operano in uno spazio quasi saturato (similarità coseno > 0.98). Le differenze tra le condizioni sono reali ma minuscole (es. una riduzione del 3.5% nella norma per il Tipo 3).
Pseudoreplicazione: Un risultato critico è la dimostrazione che i test a livello di token inflazionano la significatività statistica di 4-16 volte rispetto ai test a livello di prompt. Le metriche angolari ( $H(v)$ ) appaiono significative a livello di token in molte esecuzioni, ma svaniscono completamente quando aggregate correttamente a livello di prompt. Questo conferma che le metriche angolari in generazione autoregressiva sono spesso artefatti dell'autocorrelazione interna.

4. Contributi Principali

Primo test di induzione controllata: Collega per la prima volta i tipi di allucinazione alle loro firme geometriche, quantificando la stabilità su 20 esecuzioni indipendenti.
Validazione asimmetrica: Dimostra che il Tipo 3 (vuoto di copertura) è il fallimento più distintivo, guidato dalla magnitudine (norma) piuttosto che dalla direzione, e che questa distinzione è robusta nello spazio statico ma debole (sebbene stabile nella direzione) in quello contestuale.
Avvertenza sulla Pseudoreplicazione: Fornisce una prova empirica replicata che l'analisi a livello di token in LLM genera falsi positivi massicci (inflazione 4-16x), stabilendo un benchmark per future ricerche.
Ipotesi Spettrale: Propone che la mancata separazione tra Tipo 1 e Tipo 2 potrebbe essere dovuta al fatto che le loro firme risiedono in bande spettrali specifiche degli stati nascosti, diluite dalle metriche a dimensionalità piena.

5. Significato e Implicazioni

Lo studio delinea un confine rappresentazionale reale:

Le allucinazioni da "vuoto di copertura" (Tipo 3) sono l'unico fallimento abbastanza potente da rompere parzialmente la saturazione geometrica del modello, riducendo la norma degli stati nascosti.
I modelli piccoli (124M) non "sanno" di non sapere in senso macroscopico geometrico; le firme di fallimento sono micro-perturbazioni all'interno del regime operativo normale.
La tassonomia geometrica è valida, ma la sua rilevazione richiede pre-elaborazione rappresentazionale (es. whitening, decomposizione spettrale) e campioni più grandi ( $N \ge 30$ ) per superare il regime del micro-segnale.
Il lavoro suggerisce che la distinzione tra i tipi di fallimento potrebbe richiedere modelli più grandi o analisi su bande spettrali specifiche, piuttosto che metriche geometriche globali.

In sintesi, il paper trasforma una tassonomia teorica in una validazione empirica rigorosa, evidenziando sia il successo nella rilevazione dei vuoti di copertura sia le limitazioni attuali nella distinzione di altri tipi di allucinazione, fornendo al contempo avvertenze critiche sulla metodologia statistica nell'analisi degli LLM.