Stel je voor dat je een robot leert om een foto te beschrijven. Je laat hem een foto zien van een gezellige keuken, en hij begint te praten over het fornuis en de koelkast. Maar dan houdt hij plotseling vol dat er een reusachtige olifant in de hoek staat, ook al is de foto leeg. Dit is geen robot die met opzet liegt; het is een foutje genaamd "hallucinatie", waarbij de machine wat hij ziet verwart met wat hij denkt dat hij zou moeten zien. Dit gebeurt omdat moderne AI-modellen als enorme bibliotheken van tekst zijn die hebben geleerd om het volgende woord in een zin te voorspellen, waardoor ze soms de afbeelding volledig negeren en gewoon gokken op basis van hun geheugen van hoe zinnen er normaal gesproken uitzien. Wetenschappers maken zich hier grote zorgen over, want als een robot die een auto bestuurt of een patiënt diagnosticeert, details begint te "hallucineren" die er niet zijn, kunnen de gevolgen gevaarlijk zijn. De grote vraag is geweest: hoe vangen we deze fouten op voordat ze gebeuren, en waarom maakt de robot deze fouten in de eerste plaats?

Lange tijd probeerden onderzoekers deze fouten te vangen door te zoeken naar één specifieke "smoking gun". Misschien dachten ze dat de robot altijd de afbeelding negeerde, of misschien dachten ze dat hij altijd te veel luisterde naar zijn eigen vorige woorden. Ze bouwden detectoren die zochten naar één enkele patroon. Maar het nieuwe paper, "Role-Break in Attention Heads," suggereert dat deze aanpak lijkt op het proberen te vinden van een dief door alleen te zoeken naar iemand met een rode hoed. In werkelijkheid dragen de "dieven" (de hallucinaties) allerlei vermommingen. Soms negeren ze de afbeelding, soms raken ze afgeleid door de prompt, en soms blijven ze hangen in hun eigen geschiedenis. Omdat de fouten op zoveel verschillende manieren voorkomen, faalt een detector die naar slechts één patroon zoekt wanneer de robot van gedrag verandert of de taak verandert.

De auteurs van dit paper besloten te stoppen met het zoeken naar één enkel patroon en keken in plaats daarvan vanuit een zeer specifieke hoek naar het brein van de robot: de "attention heads" (aandachtskoppen). Beschouw een Vision-Language Model (VLM) als een enorm orkest met honderden muzikanten (de attention heads). In een perfecte uitvoering (wanneer de robot de waarheid spreekt), heeft elke muzikant een specifieke, stabiele taak. De een is bijvoorbeeld verantwoordelijk voor het luisteren naar de afbeelding, een ander voor de vraag van de gebruiker, en weer een ander voor de eigen vorige woorden van de robot. Het paper noemt deze stabiele, betrouwbare taak de "faithful role" (getrouwe rol).

De onderzoekers ontdekten dat wanneer de robot begint te hallucineren, het niet is dat het hele orkest gek wordt. In plaats daarvan stoppen specifieke muzikanten plotseling met het uitvoeren van hun toegewezen taken. Ze breken uit hun rol. Misschien begint de muzikant die normaal gesproken naar de afbeelding luistert, plotseling de afbeelding te negeren en alleen naar de eigen stem van de robot te luisteren. Of degene die normaal gesproken de vraag van de gebruiker controleert, begint naar het verkeerde deel van de foto te staren. De auteurs noemen dit fenomeen "Role-Break" (rolbreuk). Het is als een violist in een symfonie die plotseling besluit een drumsolo te spelen; het is een duidelijk, meetbaar signaal dat er iets mis is gegaan, zelfs als de rest van het orkest prima speelt.

Het paper voert aan dat er niet één enkel "hallucinatie-signaal" is dat voor elke situatie werkt. Ze testten veel verschillende theorieën en ontdekten dat geen enkel enkel patroon (zoals "lage beeld-aandacht") stabiel genoeg is om alle fouten over verschillende modellen en taken heen te vangen. In plaats daarvan zit het signaal verborgen in het patroon van veranderingen over alle verschillende muzikanten heen. Wanneer je kijkt naar hoe elke specifieke attention head afwijkt van zijn gebruikelijke "getrouwe rol", komt er een duidelijk beeld naar voren.

Met dit inzicht bouwden het team een zeer eenvoudige, lichte detector. Ze hadden geen noodzaak om de enorme robot opnieuw te trainen of complexe nieuwe lagen toe te voegen. Ze leerden simpelweg een kleine, eenvoudige "coach" (een lineaire classifier) om naar het orkest te kijken. Deze coach leert hoe de "getrouwe rol" van elke muzikant eruitziet tijdens normaal gebruik. Vervolgens, terwijl de robot tekst genereert, houdt de coach de "Role-Breaks" in de gaten: momenten waarop een muzikant buiten de lijntjes kleurt. Omdat de coach alleen maar hoeft te controleren of de muzikanten hun werk doen, is hij ongelooflijk snel en efficiënt.

De resultaten zijn indrukwekkend. De auteurs testten deze methode op zes verschillende grote vision-language modellen en vier verschillende benchmarks (tests ontworpen om hallucinaties te vangen). De detector bereikte een gemiddelde AUROC (een score die meet hoe goed het onderscheid maakt tussen waarheid en leugens) van 93,23. Dit betekent dat het het overgrote deel van de hallucinaties heeft gevangen, waarmee het veel complexere methoden die zware rekenkracht vereisen, overtreft. Bovendien is de detector klein; de dimensie van de kenmerken blijft onder de 5.000, wat klein is in vergelijking met de enorme omvang van de modellen die hij monitort.

Het paper suggereert ook dat dit signaal actiegericht is. In een klein experiment, wanneer de detector een token (een woord) als een hallucinatie markeerde, draaiden de onderzoekers simpelweg het antwoord van de robot om in een ja/nee-vraag. Deze eenvoudige aanpassing verbeterde de nauwkeurigheid van de robot aanzienlijk, wat bewijst dat het "Role-Break"-signaal niet alleen een theoretische curiositeit is—het wijst direct naar de fout.

De auteurs merken echter voorzichtig op wat ze niet weten. Ze ontdekten dat deze "Role-Breaks" weliswaar plaatsvinden, maar ze hebben niet bewezen waarom ze plaatsvinden. Het is mogelijk dat de rolbreuk de oorzaak van de hallucinatie is, of dat het brein van de robot probeert zichzelf te corrigeren en daarin faalt. Ze merken ook op dat hoewel dit goed werkt voor ja/nee-vragen, het corrigeren van de vrije, vloeiende verhalen van de robot (generatieve taken) moeilijker is, omdat je een woord in een zin niet zomaar kunt "omdraaien" zonder de grammatica te breken.

Kortom, dit paper suggereert dat om een leugende robot te betrappen, we niet moeten zoeken naar één enkele leugen. In plaats daarvan moeten we naar de individuele onderdelen van zijn brein kijken om te zien wanneer ze stoppen met hun werk te doen. Door hallucinaties te behandelen als een "Role-Break" in het orkest van de attention heads, kunnen we een eenvoudige, snelle en zeer effectieve detector bouwen die werkt voor verschillende soorten AI-modellen, waardoor onze digitale assistenten eerlijk en betrouwbaar blijven.