Eliciting Intrinsic Hallucinations in LLMs via Semantically Equivalent Adversarial Attacks

Stel je voor dat je praat met een superintelligente robotbibliothecaris die bijna elk boek in het universum heeft gelezen. Je stelt hem een vraag en, om extra zeker te zijn, overhandig je hem een specifieke pagina uit een boek om als antwoordmodel te gebruiken. Deze opstelling wordt Retrieval-Augmented Generation, of RAG, genoemd. Het is alsof je de robot een referentieblad geeft, zodat hij niet hoeft te gokken vanuit zijn eigen geheugen. De hoop is dat de robot zich strikt aan het referentieblad houdt en zijn eigen interne kennis negeert als deze niet overeenkomt. Maar hier komt de adder onder het gras: soms raakt de robot, zelfs met het referentieblad in de hand, in de war, vergeet hij wat hij leest, of begint hij toch zelf dingen te verzinnen. Dit wordt een "intrinsieke hallucinatie" genoemd. Het is niet dat de robot expres liegt; het is dat zijn brein gewoon te springerig is om trouw te blijven aan het bewijs dat recht voor zijn neus ligt.

Stel je nu voor dat je een detective bent die probeert uit te zoeken hoe springerig die robot werkelijk is. Je zou hem op honderd verschillende manieren dezelfde vraag kunnen stellen, maar als je de betekenis van de vraag verandert, kan de robot door dat nieuwe onderwerp in de war raken. Om zijn concentratie echt te testen, moet je exact dezelfde vraag stellen, maar hem fluisteren in een dozijn verschillende accenten, dialecten of zinstructuren. Als de robot je een ander (en foutief) antwoord geeft alleen omdat je "Hoe laat is het?" zei in plaats van "Zou u de huidige tijd kunnen noemen?", dan heeft de robot een serieus probleem met consistentie. Dit papier gaat over het bouwerken van een machine die die lastige, betekenis-behoudende variaties fluistert om te zien of de robot onder de druk bezwijkt.

De onderzoekers achter deze studie besloten deze AI-systemen te testen met een slim nieuw framework. Ze vroegen de modellen niet alleen om hun veiligheidsregels te breken (wat een gebruikelijke manier is om AI te testen); in plaats daarvan vroegen ze hen om hun eigen eerlijkheid te breken. Ze gebruikten een team van digitale "aanvallers"—sommigen gebruikten wiskunde om woorden aan te passen, anderen gebruikten genetische algoritmen om nieuwe zinnen te laten evolueren, en weer anderen gebruikten andere AI om vragen te herschrijven—om de perfecte, betekenis-behoudende herformulering te vinden die de model zou laten hallucineren. Het doel was om te zien of ze het model erin konden krijgen om de verstrekte context te negeren en een verhaal te verzinnen, zelfs terwijl de vraag logisch identiek was aan de oorspronkelijke.

De resultaten waren een schok. Het team ontdekte dat zelfs de meest geavanceerde, state-of-the-art modellen verrassend fragiel zijn. Wanneer ze deze semantisch equivalente aanvallen gebruikten, daalde het vermogen van de modellen om zich aan de feiten te houden drastisch. In sommige gevallen nam de trouw van het model aan het verstrekte bewijs met wel 50% af voor specifieke modellen zoals GPT-5-mini op bepaalde datasets. Bijvoorbeeld, op de FaithEval-dataset daalde de trouw van GPT-5-mini van 0,72 naar 0,22—een afname van 41,7%—waardoor het plotseling niet meer in staat was om correct te antwoorden wanneer de vraag slechts net iets anders werd geformuleerd, ook al was de betekenis totaal niet veranderd.

Het artikel suggereert dat het simpelweg groter of slimmer maken van modellen niet genoeg is om dit op te lossen. De onderzoekers testten alles, van kleine, open-source modellen tot enorme, gesloten reuzen, en ze struikelden allemaal wanneer ze werden geconfronteerd met deze betekenis-behoudende trucjes. De aanvallen waren zo effectief dat ze de modellen konden dwingen om dingen te zeggen als "Niet in staat om te antwoorden" of om details te verzinnen die niet in de tekst stonden, terwijl de vraag logisch identiek bleef aan de oorspronkelijke.

Interessant genoeg maakte het type aanval uit. Sommige methoden die simpelweg woorden vervingen door synoniemen (zoals "groot" vervangen door "omvangrijk") maakten de vragen vaak vreemd en onnatuurlijk klinkend, waardoor de modellen ze gemakkelijk konden herkennen. Maar de methoden die andere AI gebruikten om de hele zin natuurlijk te herschrijven—waarbij de flow en betekenis perfect bleven—waren de echte probleemoplossers. Deze natuurlijk klinkende aanvallen waren de methoden die de grootste daling in prestaties veroorzaakten, wat bewees dat de modellen niet alleen fragiel zijn voor vreemde wartaal, maar ook voor de natuurlijke variëteit van menselijke taal.

De studie keek ook naar hoe de modellen faalden. Soms weigerden ze simpelweg te antwoorden, maar vaak kregen ze de feiten verkeerd, lazen ze de context verkeerd of maakten ze slechte logische sprongen. Dit vertelt ons dat het probleem niet alleen is dat de modellen koppig zijn; het is dat hun vermogen om hun antwoorden te funderen in de verstrekte tekst fundamenteel wankel is. De onderzoekers concluderen dat we nieuwe architecturen en trainingsmethoden moeten bouwen die modellen dwingen om bij het bewijs te blijven, ongeacht hoe de vraag wordt geformuleerd. Tot die tijd kunnen zelfs de slimste AI-bibliothecarissen slechts één licht afwijkende zin verwijderd zijn van het verzinnen van een hele nieuwe geschiedenis.