Technische Samenvatting: Hallucinatie als Commitment Failure

Probleemstelling

Grote Taalmodellen (LLMs) produceren vaak vloeiende maar feitelijk incorrecte outputs, bekend als hallucinaties. Een heersende aanname in het veld is dat hallucinatie een direct gevolg is van ontbrekende kennis: het model hallucineert alleen wanneer het juiste antwoord afwezig is in zijn distributie op het moment van generatie. Recent werk heeft "kritieke tokens" of "forking tokens" geïdentificeerd waar entropie piekt, wat suggereert dat hallucinaties worden beslist op specifieke stappen in de generatietrajectorie. Echter, bestaande onzekerheidsgebaseerde detectiemethoden (zoals semantische entropie) falen vaak bij het identificeren van "zekere hallucinaties"—gevallen waarbij het model een fout antwoord met hoge zekerheid uitbrengt ondanks het bezitten van de juiste kennis.

Dit artikel daagt de aanname uit dat hallucinatie impliceert dat kennis ontbreekt. Het vraagt: Op het moment dat een model zich vastlegt op een antwoord, bezit het dan het juiste concept in zijn waarschijnlijkheidsdistributie, zelfs als het een verkeerd token uitbrengt?

Methodologie

Concept en Semantische Waarschijnlijkheidsmassa ($P_{mass}$)

De auteurs introduceren een semantische notie van antwoordbeschikbaarheid. In plaats van individuele tokens te analyseren, definiëren ze een concept $c$ als een equivalentieklasse van token-volledigingen die hetzelfde antwoord aanduiden (bijv. "Saint Basil's Cathedral", "St. Basil's", "Cathedral of...").
Ze definiëren de stapsgewijze semantische waarschijnlijkheidsmassa als:
$$P_{mass}(t; c) = \sum_{v \in S_c} P_\theta(v \mid Q, y_{<t})$$
waarbij $S_c$ de set van eerste-token-ID's is die overeenkomen met de oppervlaktevormen van concept $c$. Deze metricaggregeert de waarschijnlijkheidsmassa toegewezen aan alle geldige aliassen van het juiste antwoord op een specifieke generatiestap.

Experimentele Opzet

• Modellen: De studie bestrijkt 18 modellen uit de Qwen (0,8B tot 72B) en Llama (1B tot 70B) families, inclusief zowel Instruct (op instructies getrainde) als Base varianten.
• Datasets: Korte QA (TriviaQA, NQ-Open) en Meerkeuze-QA (MMLU, ARC-Challenge).
• Commitment-stap ($t_c$): Bij op instructies getrainde korte QA is de commitment-stap vastgesteld op $t=1$ (het eerste gegenereerde token). Voor langere generatie wordt $t_c$ geïdentificeerd als de stap waar het antwoord-entiteit wordt uitgegeven.
• Definitie van Commitment Failure: Een gehallucineerd voorbeeld wordt geclassificeerd als een commitment failure als $P_{mass}(t_c; c^*) \geq 0,2$, waarbij $c^*$ het ground-truth concept is. Dit geeft aan dat het model aanzienlijke waarschijnlijkheidsmassa toekende aan het juiste concept, maar toch een verkeerd eindantwoord uitbracht.

Analyse-dimensies

1. Commitment Failure Rate (CF%): Het aandeel hallucinaties dat commitment failures zijn.
2. Decompositie: Het scheiden van failures in First-Token Selection Failures (greedy token $\notin S_{c^*}$) en Multi-Token Divergences (greedy token $\in S_{c^*}$ maar daaropvolgende tokens divergeren).
3. Distributie-analyse: Het vergelijken van de waarschijnlijkheidsdistributie van commitment failures met gematchte correcte voorbeelden (voorbeelden met vergelijkbare $P_{mass}$ maar correcte output).
4. Instructie-tuning versus Schaal: Het isoleren van de effecten van modelgrootte versus instructie-tuning door Instruct- en Base-modellen te vergelijken.

Belangrijkste Resultaten

1. Commitment Failures zijn Veelvoorkomend en Afhankelijk van Schaal

Over alle op instructies getrainde modellen heen zijn 16% tot 47% van de hallucinaties commitment failures. Cruciaal is dat dit percentage monotoon stijgt met de modelgrootte.

• Qwen Instruct: CF% stijgt van 16% (0,8B) naar 41% (72B).
• Llama Instruct: CF% stijgt van 16% (1B) naar 47% (70B).
  Deze bevinding weerlegt de intuïtie dat grotere modellen simpelweg "meer weten" en minder hallucineren; eerder hallucineren grotere modellen vaker ondanks het hebben van het juiste concept in hun distributie.

2. Het Mechanisme: Instructie-geïnduceerde Verscherping

Het artikel identificeert instructie-tuning als de primaire drijvende kracht van dit fenomeen, niet de schaal alleen.

• Base-modellen: Tonen vlakke verkeerde-token-waarschijnlijkheden (~0,30) over schalen heen en lagere commitment failure-rates.
• Instruct-modellen: Vertonen monotone verscherping. De waarschijnlijkheid van het verkeerde greedy token bij selectiefailures neemt toe met de schaal (bijv. Qwen Instruct: 0,31 bij 0,8B $\to$ 0,57 bij 72B).
• Distributieverschuiving: Bij commitment failures is de massa van het juiste concept vaak gefragmenteerd over meerdere alias-tokens (bijv. "Saint", "St", "C"), waardoor geen enkel alias de argmax wint tegen een dominante token van een concurrerend concept. Bij grotere Instruct-modellen stort deze fragmentatie in (massa concentreert zich op één alias), maar het token van het verkeerde concept wordt nog scherper, wat leidt tot "wrong-attractor" failures.

3. Multi-Token en Verborgen State Bewijs

• Multi-Token Divergences: Bij grote Instruct-modellen (70B+), wanneer het eerste token overeenkomt met een correct alias, daalt de entropie van het tweede token ($H_{t=2}$) tot bijna nul (0,05–0,10). Het model legt zich onmiddellijk vast op een specifieke multi-token-phrase, zelfs als die phrase leidt tot een verkeerde entiteit (bijv. "George Washington Carver" in plaats van "George Washington").
• Verborgen States: Pre-generatie verborgen states bij $t=1$ bevatten voorspellende informatie over correctheid. Instruct-modellen tonen een hogere AUROC in verborgen-state probes vergeleken met Base-modellen, en dit signaal is "front-loaded" (sterker bij $t=1$).
• Output Mapping: Het gat tussen Instruct- en Base-modellen is groter bij detectie op output-niveau (AUROC +0,29) dan bij verborgen-state probes (+0,08), wat suggereert dat instructie-tuning het signaal versterkt tijdens de projectie naar de output-vocabulaire.

4. Twee Gezichten van Commitment Failure

Het artikel onderscheidt twee structurele failure-modi:

1. Fragmentatie-gedreven: (Veelvoorkomend bij kleinere/Base-modellen) Correcte massa is verdeeld over aliassen; geen enkel token wint.
2. Wrong-Attractor-gedreven: (Veelvoorkomend bij grote Instruct-modellen) Correcte massa is ingestort op één alias, maar het token van een verkeerd concept is nog scherper ($P_{greedy} > P_{mass}(c^*)$).

Betekenis en Claims

Het artikel herformuleert zekere hallucinatie niet als een momentane slip of een gebrek aan kennis, maar als een structureel gevolg van hoe waarschijnlijkheidsmassa wordt gevormd op de commitment-stap.

• Unificerend Mechanisme: Dezelfde instructie-geïnduceerde verscherping die zekere correctheid produceert (wanneer het vastgelegde concept juist is), produceert ook zekere misselectie (wanneer het vastgelegde concept verkeerd is).
• Alignment Tax: Dit fenomeen wordt gepositioneerd als één gezicht van de bredere "alignment tax", waarbij alignering (instructie-tuning) nuttigheid en vloeiendheid verbetert maar kalibratie verslechtert en leidt tot mode collapse, wat leidt tot overzekere fouten.
• Beperkingen van Onzekerheidsdetectie: De resultaten verklaren waarom standaard onzekerheidsmetrieken (zoals token-entropie of semantische entropie) falen bij het flaggen van zekere hallucinaties: het model heeft het juiste concept (hoge $P_{mass}$), maar de distributie is zo gevormd dat het verkeerde token de argmax wint.
• Analytische Probe: De auteurs stellen $P_{mass}$ voor als een analytische probe om modelgedrag te begrijpen, waarbij ze opmerken dat het geen inzetbare detector is (aangezien het ground-truth aliassen vereist), maar wel onthult dat "het antwoord weten" en "het antwoord uitzenden" distincte gebeurtenissen zijn in het generatieproces.

Het artikel concludeert dat grotere modellen niet alleen meer weten; ze schieten vaker mis op wat ze weten, gedreven door een verscherpende dispositie die het model beslissend maakt bij zowel correcte als incorrecte commitments.