Visualizing and Benchmarking LLM Factual Hallucination Tendencies via Internal State Analysis and Clustering

1. Il Problema: Allucinazioni e Citazioni Ingannevoli

I Large Language Models (LLM) sono strumenti potenti ma soffrono di un problema critico noto come "allucinazione": la generazione di informazioni plausibili ma fattualmente errate, nonsensiche o irrilevanti. Questo è particolarmente pericoloso in settori sensibili come medicina e legge.

Mentre esistono benchmark esistenti (come TruthfulQA o HaluEval) che valutano la correttezza fattuale delle risposte, la letteratura attuale trascura un aspetto specifico: il ruolo delle citazioni. Il paper ipotizza che l'uso di citazioni false o fuorvianti possa amplificare le allucinazioni, spingendo i modelli a giustificare affermazioni false con maggiore sicurezza. L'obiettivo è studiare sistematicamente come le citazioni ingannevoli influenzino la propensione all'allucinazione e analizzare i meccanismi interni (stati nascosti) dei modelli durante questi eventi.

2. Metodologia

A. Creazione del Dataset: FalseCite

Gli autori hanno sviluppato FalseCite, un dataset curato composto da 82.000 affermazioni false, progettato per testare la suscettibilità dei modelli a citazioni ingannevoli.

• Fonti dei dati: Il dataset combina due corpora:
  • FEVER: Fornisce circa 47.000 affermazioni false su cultura popolare, politica e storia.
  • SciQ: Fornisce 35.000 affermazioni false in contesti scientifici (costruite trasformando le risposte errate dei quiz in frasi dichiarative).
• Generazione delle Citazioni: Per ogni affermazione falsa, sono state generate citazioni utilizzando un mix di nomi di fonti e template predefiniti (es. "Secondo {fonte}...").
• Strategie di Accoppiamento: Le citazioni sono state abbinate alle affermazioni false in due modi per creare condizioni di test complementari:
  1. Accoppiamento Casuale: Citazioni e affermazioni non hanno allineamento semantico (baseline).
  2. Accoppiamento Semantico: Le citazioni sono state selezionate in base alla massima similarità cosena (usando l'embedding NovaSearch/stella_en_1.5B_v5) rispetto all'affermazione, rendendo la citazione ingannevole più credibile e coerente con il tema.

B. Sperimentazione e Valutazione

• Modelli Testati: GPT-4o-mini (modello grande e robusto), Falcon-7B e Mistral-7B (modelli più piccoli).
• Etichettatura (Expert Model): A causa della mancanza di risorse per annotazioni umane o modelli RAG (Retrieval-Augmented Generation), è stato utilizzato GPT-4.1 come "modello esperto" per etichettare le risposte come allucinate o meno.
  • Nota metodologica: Poiché GPT-4.1 non ha accesso a internet per verificare l'autenticità delle fonti citate, è stato istruito a valutare la plausibilità della citazione e la correttezza fattuale dell'affermazione stessa. Se la citazione era plausibile ma l'affermazione falsa, il modello esperto ha talvolta classificato la risposta come non allucinata (vedendo la citazione come credibile), mentre citazioni completamente implausibili venivano segnate come allucinazioni.

C. Analisi degli Stati Interni (Activation Capture & Clustering)

Per comprendere come avviene l'allucinazione, gli autori hanno analizzato gli stati interni del modello:

1. Cattura dell'Attivazione: Per ogni risposta allucinata, sono stati estratti i vettori degli stati nascosti (hidden states) e dei vettori di attenzione (attention vectors) dai livelli più influenti del modello.
2. Metriche Statistiche: Per ogni token e livello, sono stati calcolati media, massimo ed entropia dei vettori di attenzione.
3. Selezione dei Livelli: Utilizzando la correlazione di Spearman tra le etichette di allucinazione (a livello di token) e le metriche di attenzione, sono stati identificati i 5 livelli più correlati all'errore per ogni risposta.
4. Clustering: I vettori degli stati nascosti aggregati sono stati ridotti a 100 dimensioni tramite PCA e sottoposti a clustering k-means per visualizzare la distribuzione degli stati durante la generazione di contenuti allucinati vs. corretti.

3. Risultati Chiave

A. Impatto delle Citazioni False

L'analisi quantitativa (Tabella 2) rivela che le citazioni false aumentano significativamente il tasso di allucinazione in tutti i modelli rispetto alla baseline (nessuna citazione):

• Aumento Generale: L'introduzione di citazioni false causa un salto sostanziale nelle allucinazioni.
• Effetto del Tipo di Citazione:
  • Le citazioni casuali producono l'aumento maggiore nelle allucinazioni (es. +39,65% per GPT-4o-mini).
  • Le citazioni semanticamente allineate causano un aumento minore ma ancora significativo.
• Differenze tra Modelli:
  • Falcon-7B e Mistral-7B: Mostrano tassi di allucinazione molto più alti con citazioni casuali rispetto a quelle semantiche.
  • GPT-4o-mini: Pur avendo il tasso di allucinazione di base più basso (23,97%), mostra l'aumento assoluto più drastico quando esposto a citazioni false. Inoltre, la differenza tra l'effetto delle citazioni casuali e semantiche è minima, suggerendo che questo modello è più robusto nel distinguere la plausibilità della citazione, ma comunque vulnerabile quando la citazione è credibile.

B. Analisi degli Stati Nascosti (Visualizzazione)

L'analisi dei vettori degli stati nascosti ha rivelato una struttura geometrica interessante:

• Indipendentemente dal fatto che la risposta sia un'allucinazione o meno, i vettori tendono a tracciare una forma distintiva a "corno" (horn-like shape) quando visualizzati attraverso i livelli del modello.
• Il clustering non ha rivelato pattern ovvi di separazione netta tra "allucinato" e "non allucinato", ma i cluster superiori mostrano tassi di allucinazione leggermente più elevati. Questo suggerisce che le allucinazioni non sono isolate in uno stato specifico, ma evolvono attraverso una traiettoria continua nello spazio degli stati.

4. Contributi Principali

1. FalseCite: Un nuovo benchmark di 82k campioni che isola l'effetto delle citazioni ingannevoli, distinguendo tra affermazioni false con e senza citazioni, e tra citazioni casuali e semanticamente coerenti.
2. Analisi Comparativa: Dimostrazione empirica che le citazioni false amplificano le allucinazioni, specialmente nei modelli più piccoli, e che la coerenza semantica della citazione influenza la percezione di veridicità del modello.
3. Visualizzazione Interna: Un approccio innovativo per visualizzare e clusterizzare gli stati interni dei modelli durante la generazione di allucinazioni, rivelando la struttura geometrica ("a corno") degli stati di attenzione.

5. Significato e Limitazioni

Significato:
Il lavoro sottolinea che la valutazione delle allucinazioni non può limitarsi alla correttezza fattuale della risposta, ma deve considerare il contesto delle fonti fornite. FalseCite offre una base solida per sviluppare futuri metodi di mitigazione delle allucinazioni, specialmente in scenari dove i modelli devono gestire riferimenti esterni. La visualizzazione degli stati interni suggerisce che le allucinazioni potrebbero essere rilevabili analizzando la traiettoria degli stati nascosti, aprendo la strada a tecniche di rilevamento in tempo reale.

Limitazioni:

• Etichettatura Automatica: L'uso di GPT-4.1 come "esperto" per l'etichettatura è un compromesso necessario dovuto alla mancanza di risorse umane e di accesso a RAG. Questo introduce un potenziale bias, poiché il modello esperto non può verificare l'autenticità reale delle fonti citate.
• Scalabilità: L'analisi degli stati interni è computazionalmente costosa e limitata a modelli specifici e a un sottoinsieme di risposte.

In conclusione, il paper fornisce una comprensione più profonda di come le LLM siano ingannabili da riferimenti esterni e offre strumenti metodologici per studiare i meccanismi neuronali sottostanti a questo fenomeno.