Same Attention, Different Truths: Put Logit-Lens over Visual Attention to Detect and Mitigate LVLM Object Hallucination

Stel je voor dat je praat met een superintelligente robotvriend die miljoenen plaatjes heeft gezien en miljarden boeken heeft gelezen. Je laat het de robot een foto zien van een zonnig park, en de robot begint de scène te beschrijven. Maar soms wordt deze robot een beetje te creatief. Het kan vol zelfvertrouwen beweren dat er een "reusachtige rode ballon" boven de bomen zweeft, ook al is de foto daar volkomen leeg. Dit wordt "hallucinatie" genoemd, en het is een grote hoofdpijn voor de wetenschappers die deze AI-systemen bouwen. Als een robot dingen ziet die er niet zijn, kunnen we hem niet echt vertrouwen bij het helpen bij belangrijke taken.

Lange tijd dachten onderzoekers dat het probleem was dat de robot niet hard genoeg "keek" naar de afbeelding. Ze geloofden dat de AI gewoon aan het dagdromen was omdat zijn ogen afdwaalden, en daarom probeerden ze de AI te dwingen om meer aandacht aan de afbeelding te besteden. Maar wat als de robot wel kijkt? Wat als hij recht naar de plek staart waar de neppe ballon zou moeten zijn, maar hij de situatie simpelweg verkeerd interpreteert? Dit paper, getiteld "Same Attention, Different Truths", duikt in dat exacte mysterie. Het gebruikt een slimme truc genaamd "Logit Lens" (denk aan een röntgenfoto voor de hersenen van de robot) om in de geest van de AI te gluren terwijl hij praat. Het doel is om te ontdekken waarom de robot liegt over wat hij ziet, zodat we hem kunnen leren de waarheid te spreken zonder hem vanaf nul opnieuw te hoeven trainen.

Het Mysterie: Intens Staren, Maar Het Verkeerd Krijgen

De auteurs begonnen door een populaire idee te testen: dat AI-hallucinaties voorkomen omdat het model niet genoeg aandacht besteedt aan de afbeelding. Ze volgden de AI terwijl hij afbeeldingen beschreef en hielden nauwgezet bij waar zijn "blik" (aandacht) landde. Ze kwamen tot een verrassende ontdekking: de AI besteedde net zoveel aandacht aan de echte objecten (zoals een stoel) als aan de neppe objecten (zoals een kom die er niet was).

Het is alsoals een detective die intens naar een lege muur staart, ervan overtuigd dat er een geheime boodschap verborgen zit. De detective negeert de muur niet; hij kijkt er recht naar! Het probleem is niet hoeveel hij kijkt, maar wat hij denkt te zien. Het paper noemt dit "Same Attention, Different Truths". De AI concentreert zijn energie, maar de verbinding tussen wat hij ziet en wat hij zegt is verbroken.

De Röntgenfoto: In de Geest van de AI Lezen

Om te begrijpen wat er aan de hand was, gebruikten de onderzoekers een hulpmiddel genaamd Logit Lens. Stel je de hersenen van de AI voor als een gelaagde taart. Terwijl de AI een afbeelding verwerkt, reist de informatie door deze lagen. De Logit Lens laat de onderzoekers toe om in de "vulling" van de taart op verschillende lagen te gluren en te vragen: "Als we de AI hier zouden stoppen, welk woord zou hij dan zeggen?"

Toen ze dit deden, vonden ze een duidelijke splitsing:

• Echte Objecten: Wanneer de AI naar een echte stoel keek, decodeerde de "vulling" van zijn brein de afbeelding correct als "stoel". Het visuele bewijs kwam overeen met het woord.
• Neppe Objecten: Wanneer de AI naar een wazige plek op de grond keek en besloot dit een "kom" te noemen, lieten de Logit Lens en de onderzoekers zien dat het brein eigenlijk geen kom zag. Het visuele bewijs was rommelig en onzeker, maar de AI hield toch vol dat het een "kom" was.

Twee Soorten Liegers

Het paper ontdekte dat de AI om twee heel verschillende redenen liegt, zoals twee verschillende soorten studenten die een toets maken.

1. De "Wazige Visie" Lieger (Visuele Onzekerheid)
Soms is de afbeelding gewoon verwarrend. Misschien is er een donkere, vage vorm die een beetje op een kom lijkt. De AI staart naar deze wazige plek, raakt in de war en raadt: "Ik wed dat dat een kom is!"

• De Oplossing: De onderzoekers ontdekten dat als ze die wazige, verwarrende plek simpelweg afdekten (maskeerden), de AI stopte met liegen. De AI realiseerde zich: "Oh, ik kan daar niets zien, dus ik zal niet gokken." Dit wordt High-Attention Regions Masking (HARM) genoemd. Het is alsof je tegen de detective zegt: "Kijk niet naar die wazige muur; kijk naar het heldere raam in plaats daarvan."

2. De "Dagdromende" Lieger (Contextuele Prior)
Andere keren is de afbeelding duidelijk, maar wordt de AI te veel beïnvloed door wat hij verwacht te zien. Stel je voor dat de AI een keuken beschrijft. Zelfs als er geen magnetron in de afbeelding staat, kan de AI zeggen: "Er is een magnetron," omdat hij in zijn training heeft geleerd dat keukens meestal magnetrons hebben. Hij is zo gewend aan het idee van een magnetron dat hij er een hallucineert.

• De Twist: Als je het deel van de afbeelding afdekt waar de AI naar kijkt, stopt hij niet met liegen! Hij verplaatst simpelweg zijn blik naar een andere plek en blijft "magnetron" zeggen. De AI volgt een script: "Ik moet ergens naar kijken voordat ik 'magnetron' zeg."
• De Oplossing: Voor dit type gebruikten de onderzoekers een methode genaamd Visual Evidence Enhanced Decoding (VEED). Ze dwongen de AI om extra aandacht te besteden aan het werkelijke visuele bewijs dat hij al had gevonden (wat in dit geval geen magnetron liet zien) en gebruikten dat om het dagdromen te overstemmen. Het is alsof je de detective eraan herinnert: "Check je aantekeningen nog eens; de aantekeningen zeggen dat er geen magnetron is, dus stop met gokken."

De Oplossing: Een Gereedschapskist voor de Detective

Op basis van deze bevindingen bouwden de auteurs een eenvoudige, "training-vrije" toolkit. Dit betekent dat ze de AI niet vanaf nul opnieuw hoefden te leren; ze voegden gewoon een slimme controle-stap toe voordat de AI zijn definitieve antwoord geeft.

1. De Controle: Terwijl de AI een zin genereert, gebruikt het systeem de Logit Lens om te controleren: "Ondersteunt de foto dit woord echt?" Als het antwoord nee is, markeert het systeem het woord als een hallucinatie.
2. De Diagnose: Het bepaalt vervolgens waarom de AI loog. Was het omdat de afbeelding wazig was (Type 1) of omdat de AI aan het dagdromen was (Type 2)?
3. De Genezing:
   • Als het Type 1 is, maskeren ze het wazige deel en vragen ze de AI om het opnieuw te proberen.
   • Als het Type 2 is, versterken ze het signaal van het echte visuele bewijs om het dagdromen te overstemmen.

De Resultaten

Het team testte deze methode op verschillende verschillende AI-modellen en ontdekte dat het ongelooflijk goed werkte. Het verminderde het aantal neppe objecten dat de AI verzon meer dan welke andere methode dan ook die ze hadden getest, zonder dat de AI vergat om de echte objecten te benoemen.

Kortom, dit paper laat zien dat AI-hallucinaties niet alleen gaan over het feit dat de robot niet hard genoeg kijkt. Soms kijkt hij recht naar het probleem, maar interpreteert hij een wazige aanwijzing verkeerd, en andere keren is hij te enthousiast om een verhaal te volgen dat hij eerder heeft gehoord. Door te begrijpen hoe deze twee verschillende "leugens" werken, vonden de onderzoekers een manier om ze te betrappen en te corrigeren, waardoor onze robotvrienden een stuk eerlijker en een stuk betrouwbaarder worden.