Listen to the Layers: Mitigating Hallucinations with Inter-Layer Disagreement

Dit paper introduceert CoCoA, een trainingsvrije decoderingsalgoritme dat hallucinaties in grote taalmodellen vermindert door de inconsistentie van representaties tussen de interne lagen te detecteren en te straffen, waardoor de feitelijke juistheid van de output zonder hertraining wordt verbeterd.

De kern

Stel je voor dat een kunstmatige intelligentie (zoals een chatbot) een zeer slimme, maar soms wat dromerige schrijver is. Hij kan prachtige zinnen schrijven die vloeiend klinken, maar die helaas niet waar zijn. Dit fenomeen noemen we hallucinaties. Het is alsof de schrijver een verhaal verzint dat logisch klinkt, maar feitelijk onzin is.

De onderzoekers van deze paper hebben een slimme oplossing bedacht die ze CoCoA noemen. Hier is hoe het werkt, vertaald naar een begrijpelijke analogie:

1. Het Probleem: De "Dromerige" Schrijver

Normaal gesproken vraagt een AI: "Wat is het volgende woord dat ik moet schrijven?" en kiest hij het woord dat het meest waarschijnlijk lijkt. Het probleem is dat de AI soms een woord kiest dat klinkt alsof het waar is, maar dat in zijn "hersenen" eigenlijk onzekerheid uitstraalt.

2. De Oplossing: Luister naar de "Interne Kruisverhoren"

De onderzoekers hebben ontdekt dat de "hersenen" van een AI uit vele lagen bestaan (denk aan een gebouwtje met veel verdiepingen).

• De onderste lagen zijn als de bouwvakkers: ze bouwen de basis van de zin.
• De bovenste lagen zijn als de aflevering: ze geven het eindresultaat.
• De middelste lagen (waar de feiten worden verwerkt) zijn als de controleurs.

Wanneer de AI een waar feit weet, zijn de controleurs in de middelste lagen het met elkaar eens. Ze knikken allemaal instemmend: "Ja, dit klopt!"
Maar wanneer de AI gaat hallucineren (leugens vertellen), beginnen de controleurs in de middelste lagen met elkaar te twisten. De ene laag denkt: "Misschien is het Californië?", terwijl de andere laag denkt: "Nee, het is Georgia!". Er is een interne onenigheid.

3. De CoCoA Decoder: De "Luisteraar"

De nieuwe methode, CoCoA, fungeert als een slimme redacteur die tijdens het schrijven luistert naar deze ruzie.

• Hoe het werkt: Voordat de AI een zin definitief maakt, kijkt de CoCoA-decoder naar de middelste lagen.
• De Meting: Hij meet hoe groot de onenigheid is. Is er veel ruzie (hoge onzekerheid)? Dan is de kans groot dat het een leugen is.
• De Straf: Als er veel ruzie is, geeft de decoder een "boete" aan dat antwoord. Hij zegt: "Nee, dit woord klinkt goed, maar je interne controleurs zijn het er niet over eens. Laten we een ander woord proberen."
• Het Resultaat: De AI wordt gedwongen om te kiezen voor antwoorden waarbij de interne controleurs het met elkaar eens zijn. Dit zorgt voor feitelijke juistheid.

4. De Slimme Variant: CoCoA-SIG

Er is ook een nog slimmere versie genaamd CoCoA-SIG.
Stel je voor dat de AI soms twijfelt over een heel belangrijk, verrassend feit. De standaardversie straft elke twijfel even hard. Maar CoCoA-SIG is slimmer: hij zegt: "Als je twijfelt over iets heel onwaarschijnlijks (een verrassing), dan moet je extra voorzichtig zijn." Hij past de straf dus dynamisch aan, zodat hij alleen ingrijpt waar het echt nodig is, zonder de vloeiheid van de tekst te verstoren.

Waarom is dit belangrijk?

• Geen nieuwe training nodig: Je hoeft de AI niet opnieuw te leren (wat duur en moeilijk is). Je past alleen de manier aan waarop hij zijn antwoorden kiest.
• Veelzijdig: Het werkt voor alles: van het beantwoorden van vragen en het samenvatten van nieuws, tot het schrijven van computercode en wiskundige problemen.
• Betrouwbaarheid: Het maakt AI-systemen veiliger en betrouwbaarder, zodat we ze kunnen vertrouwen in belangrijke situaties (zoals medische of juridische adviezen).

Kort samengevat:
CoCoA is als een kwaliteitscontroleur die tijdens het schrijven van een tekst luistert naar de interne ruzie in de AI's hersenen. Als de AI begint te liegen, hoor je de ruzie in de middelste lagen. De controleur stopt de leugen en dwingt de AI om te kiezen voor een antwoord waarbij iedereen het eens is. Zo krijgen we minder leugens en meer waarheid, zonder dat we de AI zelf hoeven te herscholen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Listen to the Layers: Mitigating Hallucinations with Inter-Layer Disagreement" in het Nederlands.

Titel: Luister naar de lagen: Het verminderen van hallucinaties met inter-lagen onenigheid

Auteurs: Koduvayur Subbalakshmi et al. (Stevens Institute of Technology)

---

1. Het Probleem

Gepretrainde Large Language Models (LLM's) zijn vatbaar voor het genereren van vloeiende maar feitelijk onjuiste teksten, een fenomeen dat bekend staat als hallucinaties. Dit ondermijnt de betrouwbaarheid en bruikbaarheid van deze modellen in kritieke toepassingen en agente systemen. Bestaande oplossingen om hallucinaties te verminderen omvatten:

• Training-benaderingen: Specialisatie-finetuning of Reinforcement Learning with Human Feedback (RLHF), wat rekenkrachtintensief is en nieuwe training vereist.
• Retrieval-Augmented Generation (RAG): Het gebruik van externe kennisbronnen, wat echter afhankelijk is van de kwaliteit van de externe data.
• Post-hoc verificatie: Het corrigeren van fouten na het genereren van een antwoord.

De auteurs richten zich op een derde categorie: inference-time decoder-methoden. Het doel is om hallucinaties te verminderen zonder het model opnieuw te hoeven trainen, door gebruik te maken van interne signalen van het model zelf.

2. Methodologie

De kernhypothese van het paper is dat de feitelijke juistheid van een gegenereerde tekstspan correleert met de representatieve stabiliteit van die tekst door de interne lagen van het LLM heen.

• De Hypothese: Feitelijke kennis wordt voornamelijk verwerkt in de intermediaire (middelste) lagen van een transformer-architectuur. Als een model een feit correct "herinnert", zullen de representaties in deze middenlagen stabiel en consistent zijn. Als het model hallucineert, ontstaat er representatieve instabiliteit en semantische onenigheid tussen deze lagen.
• De Oplossing (CoCoA): De auteurs stellen CoCoA (Confusion and Consistency Aware) voor, een trainingsvrije decoder die deze instabiliteit detecteert en gebruikt om de generatie te sturen.

Kerncomponenten:

1. Metrieken voor Instabiliteit (MLDS):
   De auteurs definiëren twee metrieken om de "onvermogen" (confusion) in de middenlagen te kwantificeren voor een kandidaat-tekstspan $S$:

   • ConMLDS (Consecutive Middle Layer Disagreement Score): Meet de gemiddelde cosine-afstand tussen de representaties van opeenvolgende middenlagen. Een hoge score duidt op grote variatie (instabiliteit) terwijl de tekst door de lagen gaat.
   • fMLDS (Relative Middle Layer Disagreement Score): Meet de cosine-afstand tussen elke middenlaag en de finale laag. Dit vergelijkt de tussentijdse representaties met het uiteindelijke resultaat.

2. De CoCoA Decoder:
   In plaats van alleen de log-probabiliteit van het volgende token te gebruiken (zoals bij Greedy Decoding), straft CoCoA kandidaat-spans die hoge instabiliteit vertonen.

   • De nieuwe score voor een span $S$ wordt berekend als:
     $$\text{Score}(S) = \log p(S) - \alpha \cdot \text{MLDS}(S)$$
     Waarbij $\alpha$ een wegingsfactor is. Spans met hoge onenigheid in de middenlagen krijgen een lagere totale score en worden minder vaak geselecteerd.

3. CoCoA-SIG (Self-Information Gated):
   Een geavanceerde variant die de straf dynamisch moduleert op basis van de zelfinformatie (surprise factor) van de span.

   • Formule: $\text{Score}(S) = \log p(S) \cdot [1 + \alpha \cdot \text{MLDS}(S)]$
   • Redenering: Hallucinaties komen vaker voor bij spans die voor het model "verrassend" zijn (lage waarschijnlijkheid, hoge zelfinformatie). CoCoA-SIG past de straf zwaarder toe op deze onzekere spans, terwijl het minder ingrijpt bij waarschijnlijke, vloeiende spans.

4. Divergentiepunten:
   De decoder wordt niet op elk token toegepast, maar selectief op divergentiepunten. Dit zijn momenten waar het model meerdere kandidaat-tokens met vergelijkbare hoge waarschijnlijkheid heeft. Hier worden spans gegenereerd en beoordeeld op basis van de MLDS-metriek.

3. Belangrijkste Bijdragen

• Nieuwe Hypothese & Metrieken: Het introduceren van het concept dat inter-lagen onenigheid in de middenlagen een intrinsiek signaal is voor hallucinaties, gekwantificeerd door ConMLDS en fMLDS.
• Trainingsvrije Decoder: De ontwikkeling van CoCoA en CoCoA-SIG, die hallucinaties verminderen zonder enige aanpassing van de modelgewichten of extra training.
• Dynamische Straf: De introductie van de zelfinformatie-gated variant (CoCoA-SIG) die de straf intelligent toepast op de meest risicovolle generaties.
• Uitgebreide Validatie: Experimenten over diverse taken (vraag-antwoord, samenvatting, wiskunde, code) en model families (Llama-3, Mistral, Qwen).

4. Resultaten

De auteurs hebben hun methode getest op diverse benchmarks, waaronder TruthfulQA, Natural Questions (NQ), SAMSum, XSum, MBPP (code) en GSM8K (wiskunde).

• Foutreductie: CoCoA en CoCoA-SIG presteren significant beter dan de standaard Greedy Decoding en sterke baselines zoals DoLa, DeCoRe en Diver.
• TruthfulQA: Op de Llama-3-8b model verbeterde CoCoA-SIG de combinatie van waarheid en informativiteit ($T \times I$) met 12,39% ten opzichte van Greedy Decoding en 1,57% ten opzichte van de beste baseline (DeCoRe).
• Generalisatie: De methode werkt consistent goed over verschillende modelgroottes (van 7B tot 32B parameters) en architecturen.
• Samenvatting & Code: Op taken zoals samenvattingen (SAMSum/XSum) en code-generatie (MBPP) toonde CoCoA-SIG de hoogste scores voor feitelijke juistheid (Truthfulness en FActScore) zonder de kwaliteit van de samenvatting (ROUGE-L) of code-pass-rate (Pass@1) te verstoren.
• Efficiëntie: De latente overhead is bescheiden (ongeveer 1,3x langzamer dan Greedy Decoding), wat aanzienlijk efficiënter is dan andere geavanceerde methoden zoals Diver (6,2x) of DeCoRe (2,16x).

5. Betekenis en Conclusie

Dit paper biedt een krachtige, model-intrinsieke aanpak om de betrouwbaarheid van LLM's te vergroten. Door te "luisteren" naar de interne onenigheid in de middenlagen, kan het model zichzelf corrigeren tijdens het generatieproces.

• Praktische Toepassing: Omdat de methode trainingsvrij is, kan deze direct worden toegepast op bestaande, gepretrainde modellen zonder dure hertraining of het verzamelen van nieuwe datasets.
• Inzicht: Het bevestigt en benut de bevindingen uit mechanistische interpretatie dat feitelijke kennis in de middenlagen van transformers wordt verwerkt.
• Toekomst: CoCoA biedt een robuust fundament voor het bouwen van meer betrouwbare AI-systemen, vooral in domeinen waar feitelijke nauwkeurigheid cruciaal is, zoals juridische analyse, medische informatie en nieuwsrapportage.

Samenvattend stelt CoCoA dat hallucinaties niet alleen een probleem van de output zijn, maar een signaal van interne instabiliteit dat gedetecteerd en gecorrigeerd kan worden door slimme decoding-strategieën.