From Architecture to Output: Structural Origins of Hallucination in Large Language Models and the Amplifying Role of Data

Technische Samenvatting: Structurele Oorsprong van Hallucinatie in Large Language Models

Probleemstelling
Large language models (LLM's) produceren consistent vloeiende, zelfverzekerde, maar feitelijk onjuiste outputs—een fenomeen dat bekend staat als hallucinatie. Hoewel bestaande taxonomieën (bijv. Alansari en Luqman [1]; Huang et al. [2]) hallucinaties rigoureus classificeren op basis van hun outputkenmerken (intrinsiek vs. extrinsiek, getrouwheid vs. feitelijkheid), falen zij in het identificeren van de specifieke interne architecturale mechanismen die verantwoordelijk zijn voor deze fouten. Huidige kaders beschrijven het symptoom, maar lokaliseren de oorzaak niet, waardoor interventiestrategieën indirect blijven en gericht zijn op het beheren van outputs in plaats van het aanpakken van de oorsprong. Dit artikel betoogt dat hallucinatie geen willekeurig oppervlakteverschijnsel is, maar een structureel gevolg van drie specifieke architecturale beslissingen die een "samengesteld faalsysteem" vormen.

Methodologie
Het artikel hanteert een mechanische analyse van de Transformer-architectuur, waarbij hallucinatie herleidt naar drie kerncomponenten:

1. Self-Attention: Geanalyseerd als een mechanisme dat statistische co-occurrence leert in plaats van semantische waarheid.
2. Maximum Likelihood Estimation (MLE): Geanalyseerd als een trainingsdoelstelling die optimaliseert voor statistische plausibiliteit zonder feitelijke beperkingen.
3. Autoregressieve Decodering: Geanalyseerd als een generatieproces dat onderhevig is aan exposure bias, waarbij fouten onomkeerbaar escaleren.

Om deze theoretische claims te valideren, voerden de auteurs gecontroleerde empirische experimenten uit met GPT-2 (een decoder-only autoregressieve transformer). De experimenten isoleerden elk mechanisme onder specifieke prompting-condities:

• Self-Attention: Getest op co-occurrence misfires en positionele bias met prompts die ontworpen zijn om geleerde associaties in ongeldige contexten te triggeren.
• MLE Objective: Getest op onverschilligheid ten opzichte van feitelijke nauwkeurigheid door de log-waarschijnlijkheidsscores van veelvoorkomende onwaarheden te vergelijken met geverifieerde waarheden.
• Autoregressieve Decodering: Getest op cascade-fouten door een enkele feitelijke fout in de prompt-prefix te introduceren en te observeren hoe die fout zich door de gegenereerde sequentie voortplant.

Het artikel synthetiseert ook bevindingen uit eerdere literatuur (bijv. Liu et al. [8] over attention bias; Lin et al. [9] over inverse scaling; Shumailov et al. [12] over model collapse) om aan te tonen hoe dataset-pathologieën (long-tail tekortkomingen, trainingsbias, synthetische vervuiling) interageren met deze architecturale mechanismen.

Belangrijkste Bijdragen
Het artikel levert drie primaire bijdragen:

1. Mapping van Mechanisme naar Output: Het stelt een directe koppeling vast tussen de drie architecturale mechanismen en specifieke hallucinatiecategorieën in de Alansari en Luqman [1] taxonomie:
   • Self-attention wordt geïdentificeerd als de bron van intrinsieke hallucinatie (entiteit-verwarring, foutieve attributie van feiten, semantische drift) veroorzaakt door de substitutie van statistische nabijheid voor semantische betekenis.
   • MLE wordt geïdentificeerd als de bron van extrinsieke hallucinatie (imiterende onwaarheden) veroorzaakt door het belonen van statistisch frequente patronen ongeacht de waarheid.
   • Autoregressieve decodering wordt geïdentificeerd als de bron van logische inconsistentie veroorzaakt door de permanente links-naar-rechts commitment van tokens onder exposure bias.
2. Herformulering van Dataset-pathologieën: Het artikel betoogt dat dataset-pathologieën (long-tail tekortkomingen, trainingsbias en synthetische vervuiling) hallucinatie niet onafhankelijk veroorzaken. In plaats daarvan fungeren ze als versterkers die de reeds aanwezige kwetsbaarheden van de drie architecturale mechanismen exploiteren. Bijvoorbeeld: long-tail tekortkomingen exploiteren de frequentie-gestuurde aard van de MLE-doelstelling, terwijl synthetische vervuiling gecorrumpeerde patronen in alle drie de mechanismen tegelijkertijd injecteert, wat leidt tot model collapse.
3. Diagnostische Beperking en Voorgesteld Herontwerp: Het artikel identificeert een kritiek gat in huidige diagnostische kaders: het classificeren van hallucinatie enkel op basis van het type output voorkomt gerichte interventie. Het stelt een tweeledig classificatiesysteem voor dat de output-type-as behoudt (intrinsiek/extrinsiek) en een mechanisme-as toevoegt (attention, MLE, autoregressief) om de specifieke verantwoordelijke architecturale operator aan te wijzen.

Resultaten

• Empirische Validatie: Experimenten op GPT-2 bevestigden de structurele faalmodi.
  • Self-Attention: In 13 van de 15 prompts (86,7%) genereerde het model feitelijk onjuiste completions gebaseerd op sterke co-occurrence patronen in plaats van semantische gronding. Attention-gewichten concentreerden zich op statistisch dominante token-paren in plaats van semantisch relevante context.
  • MLE: Het model kende een hogere of nagenoeg gelijke waarschijnlijkheidsmassa toe aan veelvoorkomende onwaarheden vergeleken met geverifieerde waarheden, wat bevestigt dat de doelstelling frequentie boven accuratesse beloont.
  • Autoregressieve Decodering: In 4 van de 5 testparen veroorzaakte een enkel foutief token in de prompt-prefix het genereren van een vloeiende maar feitelijk gebroken sequentie die de initiële fout versterkte, wat het cascade-effect van exposure bias demonstreert.
• Scaling Observaties: Het artikel merkt op dat het schalen van modellen onder MLE de hallucinatie niet oplost; in plaats daarvan leren grotere modellen de trainingsdistributie (inclusclusief de onwaarheden daaruit) vollediger, wat potentieel de getrouwheid van extrinsieke hallucinaties verhoogt (inverse scaling van waarachtigheid).

Betekenis
Het artikel beweert dat het begrijpen van hallucinatie als een structureel gevolg van architecturale beslissingen een noodzakelijke voorwaarde is voor effectieve interventie. Door de focus te verleggen van "welk type hallucinatie trad op" naar "welk mechanisme het produceerde", kan het vakgebied bewegen van indirecte mitigatiestrategieën (zoals prompt engineering of retrieval augmentation) naar gerichte architecturale interventies. De auteurs stellen dat zonder de specifieke architecturale operator (attention, MLE of decoding) te identificeren die verantwoordelijk is voor een fout, interventies blind blijven voor de werkelijke oorzaak. Deze structurele analyse biedt een diagnostisch kader dat specifieke faalmodi koppelt aan hun architecturale oorsprong, wat een completer beeld geeft van de betrouwbaarheid van LLM's en een basis biedt voor toekomstig onderzoek naar mitigatie op mechanisme-niveau.