From Architecture to Output: Structural Origins of Hallucination in Large Language Models and the Amplifying Role of Data

Sintesi Tecnica: Origini Strutturali dell'Allucinazione nei Large Language Models

Definizione del Problema
I large language models (LLM) producono costantemente output fluidi, sicuri, ma fattualmente errati — un fenomeno noto come allucinazione. Sebbene le tassonomie esistenti (ad esempio, Alansari e Luqman [1]; Huang et al. [2]) classifichino rigorosamente le allucinazioni in base alle loro caratteristiche di output (intrinseche vs estrinseche, fedeltà vs fattualità), esse non riescono a identificare i meccanismi architettonici interni specifici responsabili della generazione di tali errori. Gli attuali framework descrivono il sintomo ma non individuano la causa, lasciando le strategie di intervento indirette e focalizzate sulla gestione degli output piuttosto che sull'indirizzamento delle origini. Questo articolo sostiene che l'allucinazione non sia un fenomeno superficiale casuale, ma una conseguenza strutturale di tre specifiche decisioni architettoniche che formano un "sistema di fallimento composto".

Metodologia
Il documento impiega un'analisi meccanicistica dell'architettura Transformer, tracciando l'allucinazione fino a tre componenti fondamentali:

1. Self-Attention (Auto-attenzione): Analizzata come un meccanismo che apprende la co-occorrenza statistica piuttosto che la verità semantica.
2. Maximum Likelihood Estimation (MLE - Stima della Massima Verosimiglianza): Analizzata come un obiettivo di addestramento che ottimizza la plausibilità statistica senza vincoli fattuali.
3. Autoregressive Decoding (Decodifica Autoregressiva): Analizzata come un processo di generazione soggetto a bias di esposizione (exposure bias), in cui gli errori si propagano in modo irreversibile.

Per validare queste affermazioni teoriche, gli autori hanno condotto esperimenti empirici controllati utilizzando GPT-2 (un trasformatore autoregressivo decoder-only). Gli esperimenti hanno isolato ciascun meccanismo sotto specifiche condizioni di prompting:

• Self-Attention: Testata per errori di co-occorrenza e bias posizionale utilizzando prompt progettati per attivare associazioni apprese in contesti non validi.
• Obiettivo MLE: Testata per l'indifferenza verso l'accuratezza fattuale confrontando i punteggi di log-probabilità di falsità comuni rispetto a verità verificate.
• Autoregressive Decoding: Testata per i fallimenti a cascata introducendo un singolo errore fattuale nel prefisso del prompt e osservando la propagazione di tale errore attraverso la sequenza generata.

Il documento sintetizza inoltre i risultati della letteratura precedente (ad esempio, Liu et al. [8] sul bias dell'attenzione; Lin et al. [9] sulla scala inversa; Shumailov et al. [12] sul collasso del modello) per dimostrare come le patologie dei dataset (carenze nella "long-tail", bias di addestramento, inquinamento sintetico) interagiscano con questi meccanismi architettonici.

Contributi Principali
Il documento apporta tre contributi primari:

1. Mappatura Meccanismo-Output: Stabilisce una mappatura diretta tra i tre meccanismi architettonici e le specifiche categorie di allucinazione nella tassonomia di Alansari e Luqman [1]:
   • La self-attention è identificata come la fonte dell'allucinazione intrinseca (confusione di entità, errata attribuzione di fatti, deriva semantica) causata dalla sostituzione della prossimità semantica con la vicinanza statistica.
   • L'MLE è identificato come la fonte dell'allucinazione estrinseca (falsità imitative) causata dalla premiazione di pattern statisticamente frequenti indipendentemente dalla verità.
   • La decodifica autoregressiva è identificata come la fonte dell'incoerenza logica causata dall'impegno permanente da sinistra a destra dei token sotto l'effetto del bias di esposizione.
2. Riformulazione delle Patologie dei Dataset: Il documento sostiene che le patologie dei dataset (carenze nella long-tail, bias di addestramento e inquinamento sintetico) non causano l'allucinazione in modo indipendente. Esse agiscono invece come amplificatori che sfruttano le vulnerabilità preesistenti dei tre meccanismi architettonici. Ad esempio, le carenze nella long-tail sfruttano la natura guidata dalla frequenza dell'obiettivo MLE, mentre l'inquinamento sintetico alimenta pattern corrotti in tutti e tre i meccanismi simultaneamente, portando al collasso del modello.
3. Limitazione Diagnostica e Proposta di Redesign: Il documento identifica una lacuna critica nei framework diagnostici attuali: classificare l'allucinazione solo per tipo di output impedisce interventi mirati. Propone un sistema di classificazione a due assi che mantiene l'asse del tipo di output (intrinseco/estrinseco) e aggiunge un asse meccanicistico (attenzione, MLE, autoregressivo) per individuare l'operatore architettonico specifico responsabile di un errore.

Risultati

• Validazione Empirica: Gli esperimenti su GPT-2 hanno confermato le modalità di fallimento strutturale.
  • Self-Attention: In 13 dei 15 prompt (86,7%), il modello ha generato completamenti fattualmente errati basandosi su forti schemi di co-occorrenza piuttosto che sul radicamento semantico. I pesi dell'attenzione si sono concentrati su coppie di token statisticamente dominanti anziché su contesti semanticamente rilevanti.
  • MLE: Il modello ha assegnato una massa di probabilità maggiore o quasi equivalente a falsità comuni rispetto a verità verificate, confermando che l'obiettivo premia la frequenza rispetto all'accuratezza.
  • Autoregressive Decoding: In 4 dei 5 casi di test, un singolo token errato nel prefisso del prompt ha causato la generazione di una sequenza fluida ma fattualmente compromessa che ha amplificato l'errore iniziale, dimostrando l'effetto a cascata del bias di esposizione.
• Osservazioni sulla Scalabilità: Il documento nota che scalare i modelli sotto l'obiettivo MLE non risolve l'allucinazione; al contrario, i modelli più grandi apprendono la distribuzione di addestramento (incluse le sue falsità) in modo più completo, aumentando potenzialmente la fedeltà delle allucinazioni estrinseche (scala inversa della veridicità).

Significatività
Il documento sostiene che comprendere l'allucinazione come una conseguenza strutturale delle decisioni architettoniche è un prerequisito necessario per un'efficace attività di intervento. Spostando l'attenzione da "che tipo di allucinazione si è verificata" a "quale meccanismo l'ha prodotta", il campo può superare le strategie di mitigazione indirette (come il prompt engineering o il retrieval augmentation) verso interventi architettonici mirati. Gli autori sostengono che senza identificare l'operatore architettonico specifico (attenzione, MLE o decodifica) responsabile di un errore, gli interventi rimangono ciechi rispetto alla causa radice. Questa analisi strutturale fornisce un framework diagnostico che collega specifici modi di fallimento alle loro origini architettoniche, offrendo un quadro più completo dell'affidabilità degli LLM e una base per la ricerca futura sulla mitigazione a livello di meccanismo.