Detecting LLM Hallucinations via Embedding Cluster Geometry: A Three-Type Taxonomy with Measurable Signatures

1. Il Problema

I Large Language Models (LLM) soffrono di allucinazioni: generano testi fluenti e convincenti ma fattualmente errati. Le attuali metodologie di rilevamento si basano principalmente sull'analisi dell'output (es. verifica della coerenza, calibrazione dei logit, retrieval augmentation). Tuttavia, questi approcci presentano un limite fondamentale: operano sul risultato finale senza indagare la struttura geometrica sottostante nello spazio di embedding che ha generato quell'output. Il paper si propone di colmare questa lacuna chiedendosi non se un modello stia allucinando, ma che tipo di fallimento geometrico abbia prodotto l'allucinazione.

2. Metodologia

L'autore analizza gli spazi di embedding statici di 11 modelli transformer (comprendenti architetture encoder come BERT, RoBERTa, ELECTRA, DeBERTa, ALBERT, MiniLM, DistilBERT e decoder come GPT-2).

La metodologia si articola in tre fasi principali:

1. Estrazione della Struttura a Cluster: Viene applicato l'algoritmo k-means (con $k=40$) sulle matrici di embedding filtrate (solo token di parole intere) per identificare gruppi semantici.
2. Definizione di Statistiche Geometriche: Vengono introdotti tre indicatori misurabili per caratterizzare la geometria dello spazio:
   • $\alpha$ (Accoppiamento di Polarità): Misura la forza degli assi di polarità (es. antonimi) all'interno dei cluster.
   • $\beta$ (Coesione del Cluster): Verifica se i token di un cluster sono più vicini al proprio centroide rispetto alla media degli altri centroidi (confermando che i cluster sono reali e non artefatti).
   • $\lambda_r$ (Gradiente Radiale di Informazione): Quantifica la relazione non lineare tra la norma dell'embedding (distanza dall'origine) e il contenuto informativo (self-information) del token.
3. Classificazione delle Allucinazioni: Si propone una tassonomia basata su come l'embedding di un token generato si relaziona con la struttura dei cluster.

3. Tassonomia delle Allucinazioni (Tre Tipi)

Il paper definisce tre tipi distinti di allucinazione, ciascuno con una "firma" geometrica osservabile:

• Tipo 1: Deriva dal Centro (Center-Drift)
  • Meccanismo: In contesti deboli o ambigui, la generazione collassa verso il centroide dello spazio di embedding (token generici ad alta frequenza).
  • Firma Geometrica: Bassa appartenenza al cluster e bassa norma dell'embedding. Produce risposte vaghe ma plausibili ("generalità confidente").
• Tipo 2: Convergenza nel Pozzo Errato (Wrong-Well Convergence)
  • Meccanismo: Il modello naviga con sicurezza verso un cluster specifico, ma sbagliato (semanticamente coerente ma contestualmente errato).
  • Firma Geometrica: Alta appartenenza al cluster locale e discontinuità nella traiettoria di generazione. Produce allucinazioni dettagliate e convincenti (confabulazione).
• Tipo 3: Lacuna di Copertura (Coverage Gap)
  • Meccanismo: La query richiede combinazioni semantiche assenti nel training, atterrando in regioni prive di struttura di cluster.
  • Firma Geometrica: Debole appartenenza a tutti i cluster e alta varianza nella similarità locale. Produce output erratici o privi di senso.

4. Risultati Chiave

L'analisi su 11 modelli ha prodotto i seguenti risultati empirici:

• Universalità della Struttura:
  • La struttura di polarità ($\alpha > 0.5$) è universale (presente in 11/11 modelli).
  • La coesione dei cluster ($\beta > 0$) è universale (presente in 11/11 modelli).
• Gradiente Radiale ($\lambda_r$):
  • Il gradiente informativo radiale è statisticamente significativo in 9 su 11 modelli ($p < 0.05$).
  • La maggior parte dei modelli mostra un $\lambda_r$ negativo (profilo concavo), indicando che l'informazione aumenta con la norma ma a un tasso decrescente.
  • Anomalie Architetturali: Due modelli non hanno mostrato significatività statistica per motivi architetturali spiegabili:
    • ALBERT: Utilizza embedding fattorizzati e compressi (128D), portando a una compressione estrema dello spazio e alta varianza.
    • MiniLM: Subisce una distillazione aggressiva che induce isotropia (distribuzione uniforme della varianza), appiattendo la struttura radiale e invertendo il gradiente ($\lambda_r$ positivo).
• Differenze Encoder vs Decoder: I modelli decoder (GPT-2) mostrano un gradiente radiale significativo ma di ordine di grandezza inferiore rispetto agli encoder, coerentemente con il loro obiettivo di previsione del prossimo token.

5. Contributi Principali

1. Tassonomia Geometrica: Una classificazione operativa delle allucinazioni basata su firme misurabili nello spazio di embedding, distinguibile tramite strumenti standard (clustering, similarità coseno, norme).
2. Nuovi Diagnostici: Introduzione e validazione di tre statistiche ($\alpha, \beta, \lambda_r$) che fungono da prerequisiti geometrici per il rilevamento.
3. Predizioni Architetturali: Dimostrazione che le proprietà geometriche sono indipendenti dall'architettura in termini di esistenza, ma le loro firme quantitative dipendono dall'architettura. In particolare, si predice che modelli con spazi compressi o isotropi (come ALBERT e MiniLM) siano più vulnerabili alle allucinazioni di Tipo 1 a causa della degradazione del segnale radiale.
4. Architettura di Rilevamento Proposta: Un sistema a tre livelli (Tiered Detection System) che combina screening di appartenenza, analisi della traiettoria e analisi della densità per rilevare i diversi tipi di allucinazione con costi computazionali scalabili.

6. Significato e Implicazioni

Questo lavoro sposta il paradigma del rilevamento delle allucinazioni dall'analisi dell'output all'analisi della struttura interna del modello.

• Indipendenza dai Fatti: Il framework non verifica la verità fattuale, ma classifica il modo geometrico in cui il modello fallisce. Questo è complementare ai metodi di verifica fattuale.
• Vulnerabilità Specifiche: Fornisce una base teorica per prevedere quali architetture sono più a rischio di specifici tipi di errori (es. modelli distillati o compressi per le allucinazioni vaghe).
• Scalabilità: Le metriche proposte sono calcolabili con strumenti standard, rendendo il metodo potenzialmente applicabile a vari modelli senza necessità di riaddestramento costoso.

In sintesi, il paper stabilisce che le allucinazioni non sono un fenomeno monolitico, ma emergono da difetti geometrici specifici e misurabili negli spazi di embedding, offrendo nuovi strumenti per diagnosticare e mitigare tali errori in base all'architettura del modello.