Lyapunov Probes for Hallucination Detection in Large Foundation Models

Dit artikel introduceert Lyapunov-probes, een methode die hallucinaties in grote taal- en multimodelmodellen detecteert door het probleem te benaderen via stabiliteitstheorie van dynamische systemen, waarbij hallucinaties worden geïdentificeerd als onstabiele gebieden in de representatieruimte.

De kern

Stel je voor dat een kunstmatige intelligentie (zoals een grote chatbot) een enorme bibliotheek is, vol met feiten, verhalen en kennis. Maar soms, als je een vraag stelt die net aan de rand van die bibliotheek ligt, begint de AI te verzinnen. Ze zegt dingen die klinken alsof ze waar zijn, maar eigenlijk zijn het pure fantasie. Dit noemen we hallucinaties.

Deze paper, getiteld "Lyapunov Probes", komt met een slimme nieuwe manier om deze hallucinaties op te sporen. In plaats van te kijken wat de AI zegt, kijken ze naar hoe de AI denkt. Ze gebruiken een idee uit de natuurkunde: stabiliteit.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. De AI als een berglandschap

Stel je de kennis van een AI voor als een berglandschap:

• De valleien (Stabiele gebieden): Dit zijn plekken waar de AI zeker weet wat het antwoord is. Als je hier een steen rolt (een kleine verandering in de vraag), rolt hij gewoon weer terug naar dezelfde plek. De AI blijft rustig en geeft het juiste antwoord.
• De randen van de afgrond (Instabiele gebieden): Dit is waar de hallucinaties gebeuren. Het is de grens tussen wat de AI weet en wat ze niet weet. Als je hier een klein steentje rolt, valt hij de afgrond in. De AI begint te verzinnen omdat ze niet zeker is.

De auteurs zeggen: "Hallucinaties gebeuren niet willekeurig. Ze gebeuren precies op die onstabiele randen."

2. De "Lyapunov-Probe": Een trillingsmeter

Hoe kun je zien of de AI op een stabiel terrein staat of op de rand van een afgrond? De auteurs bouwen een klein hulpmiddel, een Lyapunov-Probe.

Je kunt dit zien als een trillingsmeter of een stabiliteits-test:

• Je geeft de AI een vraag.
• De probe "schudt" de vraag een beetje (net als een lichte trilling).
• Bij een stabiel antwoord: De AI blijft kalm. Het antwoord verandert niet of nauwelijks. De probe zegt: "Alles goed, dit is een feit."
• Bij een hallucinatie: De AI begint te wiebelen. Een klein beetje schudden zorgt voor een heel groot, gek antwoord. De probe ziet deze onrust en zegt: "Pas op! Dit is onstabiel, de AI is aan het verzinnen."

3. Hoe werkt het precies? (De "Twee-Fasen" Training)

Deze probe is niet zomaar een detector; hij is getraind met een specifieke regel, gebaseerd op een wiskundig principe (de Lyapunov-stabiliteit).

• Fase 1: Leren wat waar is. Eerst leert de probe gewoon welke antwoorden waar zijn en welke niet.
• Fase 2: Leren op de trilling. Daarna leren ze de probe een belangrijke regel: "Als ik de vraag een beetje verander, moet je vertrouwen in het antwoord altijd iets zakken."
  • Als de AI zeker is, zakt het vertrouwen heel langzaam.
  • Als de AI aan het verzinnen is, zakt het vertrouwen heel snel en hard.

Dit zorgt ervoor dat de probe heel goed kan zien of de AI op een "stabiele grond" staat of op "losse grond".

4. Waarom is dit beter dan andere methoden?

Tot nu toe keken andere methoden vaak alleen naar de woorden die de AI produceerde (zoals: "Zegt de AI 'misschien' of 'ik weet het niet'?"). Maar soms zegt een AI heel zelfverzekerd "Ik weet het zeker!" terwijl ze het helemaal niet weet.

Deze nieuwe methode kijkt naar de interne trillingen van de AI. Het is alsof je niet luistert naar wat iemand zegt, maar voelt of zijn stem trilt van onzekerheid.

5. De resultaten in het kort

De auteurs hebben dit getest op verschillende grote AI-modellen (zowel voor tekst als voor beelden).

• Het werkt beter dan de oude methoden.
• Het werkt zelfs als je het probeert op vragen waar het niet voor getraind is (bijvoorbeeld: getraind op geschiedenisvragen, maar dan testen op natuurkunde).
• Het helpt de AI om te zeggen: "Ik weet het niet zeker" in plaats van om een leugen te vertellen.

Samenvatting in één zin

Deze paper bedacht een slimme "stabiliteits-test" die kijkt of de gedachten van een AI rustig en zeker zijn, of onrustig en aan het verzinnen, zodat we hallucinaties kunnen opsporen voordat ze gebeuren.

Het is een beetje zoals het hebben van een waarschuwingslampje dat aangaat zodra de AI begint te wankelen op de rand van haar kennis, zodat we niet in de valkuil van de hallucinatie stappen.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) en Multimodale Grote Taalmodellen (MLLMs) vertonen een neiging tot het genereren van feitelijk onjuiste inhoud, bekend als "hallucinaties". Dit vormt een kritieke belemmering voor de inzet in hoog-risico domeinen zoals gezondheidszorg, juridische analyse en financiële besluitvorming.

Bestaande detectiemethoden vallen in twee categorieën:

1. Externe verificatie: Vergelijking met kennisbanken (duur, beperkt in dekking).
2. Interne kenmerkgebaseerde methoden: Training van classifiers op modelrepresentaties of token-kansen. Deze methoden missen vaak een theoretische onderbouwing en behandelen hallucinatie als een standaard binaire classificatie, zonder in te gaan op waarom en waar hallucinaties optreden in de kennisruimte van het model.

De auteurs stellen dat hallucinaties niet willekeurig zijn, maar systematisch voorkomen op de grenzen van kennis: overgangsgebieden tussen stabiele (feitelijke) en instabiele (onzekere) zones in de representatieruimte van het model.

Methodologie

De kern van de aanpak is het herformuleren van het hallucinatieprobleem door de lens van stabiliteitstheorie uit dynamische systemen.

1. Dynamisch Systemen Model:
LLMs worden gemodelleerd als hoogdimensionale dynamische systemen in een continue representatieruimte.

• Stabiele Evenwichtspunten: Gebieden waar kleine perturbaties (verstoringen) leiden tot feitelijk consistente outputs (feitelijke kennis).
• Instabiele Randen: Gebieden waar kleine variaties leiden tot grote afwijkingen in het antwoord (hallucinaties).
• De representatieruimte wordt opgedeeld in drie zones:
  • Stabiele Bekende Zone (SK): Feitelijk onderbouwde kennis.
  • Stabiele Onbekende Zone (SU): Gebieden waar het model correct "onbekend" antwoordt zonder te speculeren.
  • Instabiele Kennisgrens (B): Het overgangsgebied waar hallucinaties het meest waarschijnlijk zijn.

2. Lyapunov Probes:
Om deze instabiliteit te detecteren, introduceren de auteurs Lyapunov Probes: lichtgewicht netwerken die de stabiliteit van modelrepresentaties evalueren.

• Input: Het probe neemt hidden states uit meerdere lagen van het (M)LLM en expliciete perturbatie-informatie (δ) als input.
• Architectuur: Bestaat uit een HiddenProcessor (Transformer-based) voor het verwerken van inter-lagen afhankelijkheden en een Classifier (MLP) die een betrouwbaarheidsscore $V(h, \delta) \in [0, 1]$ voorspelt.
• Perturbatie Strategie: Er worden twee soorten perturbaties toegepast tijdens training:
  • Semantische perturbaties: Woordsubstituties, invoeging van tokens, etc.
  • Representational perturbaties: Injectie van Gaussisch ruis in de hidden states.
• Training en Verliesfunctie: Het model wordt getraind met een samengestelde verliesfunctie:
  $$\mathcal{L}_{total} = \mathcal{L}_{BCE} + \lambda \mathcal{L}_{Lyapunov}$$
  • $\mathcal{L}_{BCE}$: Standaard binaire cross-entropy om feitelijke juistheid te voorspellen op niet-gestoorde data.
  • $\mathcal{L}_{Lyapunov}$: Een constraint die monotone afname van vertrouwen eist naarmate de perturbatie ($\delta$) toeneemt. Dit forceert het model om te leren dat grotere afwijkingen van een stabiele toestand leiden tot lagere zekerheid over de feitelijke juistheid. Dit implementeert de Lyapunov-stabiliteitsvoorwaarde ($\frac{\partial V}{\partial \|\delta\|} < 0$).
• Twee-fasen Training: Eerst training op feitelijke juistheid, gevolgd door de geleidelijke introductie van de Lyapunov-constraint om stabiliteitseigenschappen te versterken.

Belangrijkste Bijdragen

1. Theoretische Koppeling: Eerste werk dat een duidelijke link legt tussen stabiliteitstheorie van dynamische systemen en hallucinatie-detectie, waarbij kennisgrenzen worden gedefinieerd als overgangen tussen stabiele en instabiele regio's.
2. Lyapunov Probes Ontwerp: Een praktische implementatie die gebruikmaakt van afgeleide-gebaseerde verliesfuncties, multi-schaal perturbaties en een tweestaps-training om hallucinaties te detecteren.
3. Validatie en Analyse: Uitgebreide validatie op diverse benchmarks en modellen, met de bevinding dat stabiliteitssignalen het sterkst zijn in de middelste tot late lagen van de transformer-architectuur.

Resultaten

De methode is getest op zes open-source modellen (o.a. Llama-2/3, Qwen, Falcon, LLaVA, Qwen-VL) en diverse datasets (TriviaQA, PopQA, CoQA, MMLU, POPE, etc.).

• Prestatieverbetering: De Lyapunov Probes presteren consistent beter dan bestaande baselines (zoals Verbalized Confidence, Surrogate-methoden en standaard Probes).
  • Gemiddelde verbetering van 6,2% ten opzichte van standaard probes en 18,5% ten opzichte van probabilistische baselines op LLM-taken.
  • Op multimodale taken (MLLMs) werd een gemiddelde verbetering van 2,1% geboekt, met name op uitdagende datasets zoals VizWiz-VQA (ruis in beelden).
• AUPRC (Area Under Precision-Recall Curve): De methode scoort hoog op AUPRC, wat cruciaal is vanwege de onbalans in hallucinatie-datasets. Bijvoorbeeld, op TriviaQA met Llama-3-8B werd een score van 86,46% behaald (vs. 78,82% voor de beste baseline).
• Generalisatie: Cross-domein experimenten tonen aan dat de probes, getraind op TriviaQA, goed generaliseren naar CoQA en PopQA, wat suggereert dat ze universele eigenschappen van kennisgrenzen leren in plaats van dataset-specifieke patronen.
• Ablatie Studies:
  • Het verwijderen van de Lyapunov-constraint leidt tot een prestatiedaling van 3-5 punten, wat het belang van de monotone afname-beperking bevestigt.
  • Multi-layer aggregatie is essentieel; het gebruik van alleen één laag resulteert in aanzienlijk lagere prestaties.
  • De probes tonen een gladde, monotone afname van vertrouwen bij toenemende perturbatie, in tegenstelling tot de chaotische respons van bestaande methoden.

Significantie

Dit paper biedt een fundamenteel nieuwe perspectief op hallucinatie-detectie. In plaats van te vertrouwen op oppervlakkige patronen of externe verificatie, biedt het een principiële, theoretisch onderbouwde methode die de interne dynamiek van het model benut.

De belangrijkste implicaties zijn:

• Betrouwbaarheid: Het biedt een manier om te bepalen of een model in een "stabiele" (feitelijke) of "instabiele" (speculatieve) modus verkeert, wat essentieel is voor veilige AI-inzet.
• Efficiëntie: De probes zijn lichtgewicht en kunnen worden toegepast op bestaande modellen zonder de basisarchitectuur te wijzigen.
• Interpreteerbaarheid: Het concept van stabiliteit in de representatieruimte maakt het mogelijk om waarom een hallucinatie optreedt te verklaren (namelijk: het model bevindt zich op een instabiele kennisgrens).

Samenvattend transformeert deze aanpak hallucinatie-detectie van een puur classificatieprobleem naar een probleem van het identificeren van dynamische stabiliteit, wat leidt tot robuustere en betrouwbaardere Large Foundation Models.