Look Clearly Before Answering: Mitigating Hallucinations in LVLMs via Saliency-Driven Perceptual Realignment

In de snel evoluerende wereld van kunstmatige intelligentie is een nieuwe generatie systemen opgekomen die tegelijkertijd kunnen zien en spreken. Deze grote visuele-taalmodellen fungeren als digitale waarnemers, in staat om naar een foto te kijken en te beschrijven wat erin gebeurt, of vragen over de scène te beantwoorden. Ze hebben geleerd de visuele wereld te verbinden met menselijke taal, waardoor een brug wordt geslagen tussen pixels en woorden. Echter, ondanks hun indrukwekkende vermogen om vloeiende en vaak zinvolle zinnen te genereren, lijden deze systemen aan een hardnekkig en frustrerend gebrek: ze liegen regelmatig. Ze kunnen vol vertrouwen een persoon beschrijven die een rode ballon vasthoudt terwijl de afbeelding een blauwe vlieger laat zien, of details verzinnen die simpelweg niet bestaan. Deze neiging om valse informatie te genereren, bekend als hallucinatie, komt voort uit een diepe afhankelijkheid van wat het model eerder heeft gelezen in plaats van wat het op dit moment daadwerkelijk ziet. Wanneer het visuele bewijs onduidelijk of complex is, valt het systeem vaak terug op gokken op basis van zijn interne bibliotheek van taalpatronen, waardoor antwoorden worden geproduceerd die correct klinken maar feitelijk onjuist zijn. Deze onbetrouwbaarheid verhindert dat deze krachtige tools vertrouwd kunnen worden in realistische situaties waar nauwkeurigheid essentieel is.

Onderzoekers van de Xidian Universiteit en de Tsinging Hua Universiteit hebben de grondoorzaken van deze visuele verwarring geïdentificeerd en een methode ontwikkeld om deze modellen te helpen "helder te kijken" voordat ze antwoorden. Hun werk onthult dat het probleem niet alleen een gebrek aan kennis is, maar een falen in de manier waarop het model ziet en onthoudt wat het ziet tijdens de fractie van een seconde waarin het nadenkt. Het team ontdekte dat terwijl het model een afbeelding analyseert, de aandacht vaak wordt gekaapt door onbelangrijke achtergronddetails, waardoor het de meest cruciale delen van de foto negeert. Bovendien, naarmate het model begint zijn reactie woord voor woord te genereren, degradeert het geheugen van de visuele scène, waardoor het vervormd raakt en minder verbonden is met de specifieke vraag die gesteld wordt. Om dit op te lossen, introduceerden de onderzoekers een training-vrije framework genaamd Saliency-Driven Perceptual Realignment. Deze aanpak vereist geen hertraining van het enorme AI-model vanaf nul; in plaats daarvan fungeert het als een gids tijdens het denkproces, waarbij het de focus en het geheugen van het model voorzichtig corrigeert om ervoor te zorgen dat het geworteld blijft in de visuele realiteit van de afbeelding.

De eerste stap in dit correctieproces richt zich op het moment dat het model de afbeelding voor het eerst bekijkt. De onderzoekers ontdekten dat het interne aandachtmechanisme van het model vaak blijft steken op "sink tokens", wat in essentie betekenisloze achtergrondelementen zijn die per ongeluk te veel aandacht trekken. Stel je een persoon voor die probeert naar een gesprek te luisteren in een lawaaierige kamer; als de aandacht van die persoon wordt gekaapt door een luid, irrelevant geluid, mist diegene de belangrijke woorden die gesproken worden. Op een vergelijkbare manier liet het model deze achtergrondafleidingen de prominente visuele aanwijzingen, zoals een gezicht van een persoon of een specifiek object, overstemmen. De nieuwe methode detecteert wanneer deze kaping plaatsvindt en herverdeelt de aandacht van het model, waardoor de focus wordt weggetrokken van de ruis en terug naar de betekenisvolle delen van de afbeelding. Door dit te doen, herstelt het model de onderdrukte visuele bewijslast die het eerder negeerde, waardoor het de scène nauwkeuriger kan zien nog voordat het begint te spreken.

Zodra het model een helderder beeld heeft, ontstaat de tweede uitdaging naarmate het begint zijn antwoord te genereren. Het model slaat een geheugen van de afbeelding op om naar terug te verwijzen terwijl het elk nieuw woord schrijft. De onderzoekers observeerden echter dat dit geheugen in de loop van de tijd vervormt. Omdat het model de afbeelding en de vraag in een specifieke volgorde verwerkt, wordt het geheugen van de visuele details gekoppeld aan hun positie in de sequentie in plaats van aan hun werkelijke belang voor de vraag. Het is also[f het model vergeet dat een specifiek object belangrijk is omdat het vroeg in de sequentie werd gezien, terwijl later, minder belangrijke details juist te prominent worden in zijn geheugen. Om dit tegen te gaan, herlijnt dit nieuwe framework het interne geheugen. Het injecteert een signaal dat benadrukt welke delen van de afbeelding daadwerkelijk relevant zijn voor de huidige vraag, waardoor wordt gewaarborgd dat het geheugen van het model gedurende het gehele generatieproces gefocust blijft op het juiste visuele bewijs, in plaats van af te drijven naar irrelevante details.

Ten slotte, zelfs met een helder zicht en een goed geheugen, krijgt het model nog steeds de verleiding om te vertrouwen op zijn bestaande taalgewoonten. Soms weet het model op basis van de afbeelding dat het antwoord "ja" is, maar suggereren de interne taalpatronen sterk "nee" omdat dat een veelvoorkomende frase is in de trainingsdata. Om dit te voorkomen, voegden de onderzoekers een laatste controle toe die de visuele voorspelling van het model vergelijkt met een referentie die is opgebouwd uit zijn eigen taalgewoonten. Als deze twee verschillen, onderdrukt het systeem actief de op taal gebaseerde gok en dwingt het model om vast te houden aan het visuele bewijs. Dit contrastieve proces zorgt ervoor dat het uiteindelijke antwoord wordt gedreven door wat er daadwerkelijk in de afbeelding zit, en niet door wat het model verwacht te zien.

De resultaten van het toepassen van deze drieledige strategie zijn significant. Bij tests over diverse verschillende grote visuele-taalmodellen heen, verminderde de methode consistent het aantal hallucinaties en verbeterde het de nauwkeurigheid van de antwoorden. In specifieke tests die meten hoe vaak modellen objecten correct identificeren, liet de nieuwe aanpak verbeteringen zien van bijna zeven punten, en in tests die de frequentie van gehallucineerde details meten, verminderde het de fouten met meer dan een derde. Cruciaal is dat dit alles werd bereikt zonder de noodzaak van dure hertraining of extra data, simpelweg door aan te passen hoe het model aandacht besteedt en informatie onthoudt terwijl het werkt. Door systematisch de degradatie van visueel bewustzijn aan te pakken, van de eerste blik tot de laatste zin, biedt dit onderzoek een robuuste manier om deze krachtige AI-systemen betrouwbaarder te maken, zodat ze de waarheid vertellen over wat ze zien.