Direct Visual Grounding by Directing Attention of Visual Tokens

Stel je een wereld voor waarin computers naar een afbeelding kunnen kijken en erover kunnen praten, precies zoals jij en ik over een foto op onze telefoons chatten. Dit is het domein van Vision-Language Models (VLMs), een tak van kunstmatige intelligentie die probeert de kloof te overbruggen tussen wat een camera ziet en wat een mens zegt. Denk aan deze modellen als superintelligente vertalers die een afbeelding nemen, deze afbreken in kleine digitale puzzelstukjes genaamd "visuele tokens", en deze mengen met woorden om vragen te beantwoorden als "Welke kleur heeft de kat?" of "Hoeveel appels zijn er?".

Lange tijd dachten wetenschappers dat deze modellen hier heel goed in werden. Maar er was een hardnekkig mysterie: soms, zelfs wanneer het antwoord juist was, leek de computer de afbeelding volledig te negeren. Het was alsof een student een toets maakte, de vraag las, even naar het diagram glipte, en vervolgens antwoordde op basis van wat hij uit een tekstboek had onthouden, waarbij hij de specifieke lijnen en vormen direct voor zich volledig vergat te bekijken. De grote vraag voor onderzoekers was: Waarom stopt het "brein" van de computer met aandacht besteden aan de visuele aanwijzingen op het moment dat het het definitieve antwoord moet geven? Dit artikel duikt in exact dat probleem, in een poging te ontdekken of we deze AI-modellen kunnen leren om daadwerkelijk naar de juiste delen van de afbeelding te kijken wanneer ze spreken.

---

Het Probleem: De "Geest" in de Machine

Maak kennis met het Vision-Language Model. Je kunt het zien als een zeer pratende robot die een miljoen boeken heeft gelezen en een miljoen foto's heeft bekeken. Wanneer je het een vraag stelt over een afbeelding, breekt het de afbeelding af in een raster van kleine vierkantjes (visuele tokens) en mengt deze met de woorden die je hebt getypt.

Hier is het vreemde deel: het artikel ontdekte dat in de laatste momenten van het denken, vlak voordat de robot zijn antwoord typt, hij vaak stopt met kijken naar de afbeelding. Het is als een chef-kok die alle ingrediënten op het aanrecht heeft liggen, maar wanneer het tijd is om het gerecht op te maken, besluit het eten te negeren en gewoon te gokken hoe het zou moeten smaken op basis van een recept dat hij uit zijn hoofd heeft geleerd. De onderzoekers ontdekten dat de "aandacht" die de computer geeft aan de belangrijkste delen van de afbeelding (zoals het snijpunt van twee lijnen of een specif object) bijna nul is. Het is alsof de visuele aanwijzingen geesten zijn—aanwezig in het systeem, maar onzichtbaar voor het deel van het brein dat het antwoord schrijft.

Het artikel betoogt dat de standaardmanier waarop deze modellen worden getraind (genaamd "Next-Token Prediction") lijkt op een leraar die alleen het uiteindelijke essay beoordeelt, maar nooit controleert of de student daadwerkelijk naar de referentiefoto's heeft gekeken. De computer leert het volgende woord correct te raden, maar leert niet waarom het het juiste woord is of welk deel van de afbeelding het juist maakte.

De Oplossing: Een "Laserpointer" voor Aandacht

Om dit op te lossen, kwamen de auteurs met een slimme nieuwe trainingsmethode genaamd KL Attention Loss (KLAL).

Stel je voor dat je een hond leert om een bal te halen. Bij de oude methode zou je alleen zeggen "Goede hond!" wanneer hij de bal terugbrengt, maar de hond had de bal misschien ook gewoon door willekeurig rond te rennen per ongeluk gegrepen. In de nieuwe methode die dit artikel voorstelt, gebruik je een laserpointer. Elke keer dat de hond naar de bal kijkt, schijn je met het licht erop en zeg je: "Ja! Kijk daarheen!"

In de computerwereld is de "laserpointer" een speciaal wiskundig signaal dat het model dwingt zijn aandacht te richten op de specifie specifieke pixels van de afbeelding die belangrijk zijn voor het antwoord.

• Als de vraag is "Hoe vaak kruisen deze lijnen elkaar?", schijnt de laserpointer op de exacte plekken waar de lijnen elkaar snijden.
• Als de vraag is "Is deze knoop verbonden met die andere?", volgt de laserpointer het pad van de lijn die hen verbindt.

Het model wordt vervolgens gestraft (via een loss-functie) als het ergens anders naar kijkt. Het is alsof je tegen de robot zegt: "Je mag het antwoord niet zomaar raden; je moet bewijzen dat je naar de juiste plek in de afbeelding kijkt."

Wat Ze Vonden: Van Gokken naar Zien

De onderzoekers testten dit idee op enkele lastige taken die precieze visuele redenering vereisen, zoals tellen hoe vaak twee kronkelige lijnen elkaar kruisen of het volgen van een pad door een complexe grafiek om te zien of twee punten verbonden zijn. Ze bedachten zelfs een nieuw spel genaamd "Line Tracing", waarbij de computer een pad door een doolhof van stippen moet volgen.

Dit is wat er gebeurde toen ze de "laserpointer" aanzetten (KLAL):

1. Betere Antwoorden: De modellen werden aanzienlijk beter in de taken. Bijvoorbeeld, bij de "Line Intersection"-taak verbeterde één model zijn nauwkeurigheid van ongeveer 47% naar meer dan 70% toen ze deze nieuwe trainingsmethode toevoegden. Bij een "Pointing"-taak (waarbij het model precies moet aangeven waar een object zich bevindt) was de verbetering enorm: een sprong van een bijna willekeurige gok naar het bijna de helft van de tijd goed hebben.
2. Betere Focus: Het meest opwindende deel was niet alleen de score, maar hoe het model dacht. Wanneer de onderzoekers naar de "attention maps" van het model keken (die laten zien waar de computer naar kijkt), zagen ze een dramatische verandering. Vóór de nieuwe training keek het model naar willekeurige delen van de afbeelding. Na de training was de aandacht van het model strak gefocust op de snijpunten of het specifieke object, precies zoals een mens zou kijken.
3. Sterker Geheugen: Het artikel vond ook dat deze training niet alleen veranderde waar het model naar keek; het maakte het interne geheugen van de afbeelding van de computer ook sterker. De digitale "gewichten" van de belangrijke delen van de afbeelding werden zwaarder en duidelijker, wat betekent dat het model de visuele data echt beter "begreep", en niet alleen de woorden.

Het Oordeel

Het artikel suggereert dat de reden waarom deze AI-modellen soms falen bij eenvoudige visuele taken niet is dat ze niet slim genoeg zijn, maar omdat ze niet geleerd worden om correct te kijken. Door tijdens de training een direct "laserpointer"-signaal toe te voegen, dwongen ze de modellen om hun woorden direct te verbinden met de pixels die ze vertegenwoordigen.

De resultaten laten zien dat deze methode werkt bij verschillende soorten modellen, van open-source tot aan sommige van de grootste commerciële AI-systemen. Zelfs de meest geavanceerde commerciële modellen hadden moeite met deze specifieke geometrische taken totdat deze methode werd toegepast. De auteurs concluderen dat als we willen dat AI de wereld echt begrijpt, we het niet simpelweg mogen laten raden; we moeten het leren om aandacht te besteden aan de juiste zaken, net zoals een leraar de ogen van een student naar het juiste deel van een diagram leidt.

Kortom, het artikel bewijst dat wanneer je een AI dwingt om naar het bewijs te kijken voordat het spreekt, het stopt met hallucineren en daadwerkelijk begint te zien.