Investigating Relational Reasoning in VLMs

In het moderne landschap van kunstmatige intelligentie heeft een nieuwe generatie computers geleerd om tegelijkertijd te zien en te spreken. Deze systemen, bekend als vision-language modellen, kunnen naar een foto kijken en de inhoud ervan beschrijven, vragen beantwoorden over wat ze zien, of zelfs puzzels oplossen op basis van een afbeelding. Voor de menselijke waarnemer lijken ze een oprechte begrip van de visuele wereld te bezitten, vergelijkbaar met een persoon die een scène kan overzien en direct begrijpt hoe objecten zich tot elkaar verhouden. Echter, een fundamentele vraag blijft onbeantwoord: begrijpen deze machines werkelijk de ruimtelijke relaties en verbindingen tussen objecten, of zijn ze slechts slimme patroonherkenners die vertrouwen op taalkundige trucjes en statistische gissingen? Deze onzekerheid is van belang omdat, indien deze systemen begrip slechts nabootsen via sluiproutes, ze onvoorspelbaar kunnen falen wanneer ze worden geconfronteerd met situaties die niet overeenkomen met hun trainingsdata, wat leidt tot fouten in kritieke toepassingen.

Een team van onderzoekers zette zich in om de innerlijke werking van deze modellen te ontrafelen door de complexiteit van de echte wereld weg te strippen en deze te vervangen door een gecontroleerde, synthetische omgeving. Ze creëerden een aangepaste dataset bestaande uit duizenden eenvoudige afbeeldingen, elk met een klein aantal basisgeometrische vormen zoals cirkels, vierkanten en driehoeken die in specifieke patronen zijn gerangschikt. Aan deze vormen werden verschillende kleuren en groottes toegewezen, en in sommige gevallen werden er pijlen getekend om ze expliciet te verbinden, terwijl in andere gevallen de verbinding alleen werd gesuggereerd door hun relatieve posities. De onderzoekers stelden vervolgens een reeks precieze vragen aan een modern vision-language model, waarbij ze het model vroegen het aantal vormen te identificeren, specifieke kleuren te herkennen, of de richting van een pijl tussen twee objecten te bepalen. Door de antwoorden van het model te vergelijken met de bekende feiten van de synthetische afbeeldingen, konden zij exact meten hoe goed de machine presteerde.

De resultaten toonden een scherp contrast tussen wat het model gemakkelijk kon en waar het moeite mee had om te begrijpen. Wanneer er eenvoudige herkenningsvragen werden gesteld, zoals het tellen van het totale aantal vormen of het identificeren of een groene vierkant aanwezig was, presteerde het model met bijna perfecte nauwkeurigheid, vaak meer dan negentig zes procent. Het leek een stevige grip te hebben op de tastbare elementen van de afbeelding. Echter, zodra de vragen vereisten dat het model relaties begreep zonder expliciete visuele aanwijzingen, daalde de prestatie aanzienlijk. Bijvoorbeeld, wanneer het model moest identificeren welke objecten door een pijl verbonden waren zonder dat de pijl getekend was, of de positie van een vorm ten opzien van een andere moest beschrijven op basis van enkel hun lay-out, daalde de nauwkeurigheid van het model naar ongeveer zestig procent of lager. Interessant genoeg, wanneer de vraag expliciete visuele markeringen bood, zoals het vragen naar de richting van een getekende pijl, behield het model een hoge nauwkeurigheid van meer dan tweeën negentig procent. Dit suggereerde dat de machine geen coherent mentaal beeld van de scène opbouwde, maar in plaats daarvan zwaar vertrouwde op de specifieke woorden die in de vraag werden gebruikt en de expliciete visuele markeringen die werden geboden.

Om te bepalen of het model werkelijk de relaties "zag" of simpelweg gokte op basis van taal, voerden de onderzoekers een rigoureuze test uit door de afbeeldingen zelf te wijzigen. Ze maakten gemodificeerde versies van de originele plaatjes waarbij ze één specifiek element digitaal verwijderden, zoals een enkele vorm of een pijl, en stelden vervolgens dezelfde vragen opnieuw. Als het model werkelijk zou redeneren over het visuele bewijs, zou het verwijderen van een cruciaal deel van de afbeelding de nauwkeurigheid drastisch moeten doen kelderen. In sommige gevallen gebeurde dit precies; wanneer het model werd gevraagd om vormen te tellen of een pijlrichting te volgen, zorgde het verwijderen van het relevante visuele element ervoor dat de prestaties met bijna vijfentwintig procent daalden. Dit gaf aan dat het model voor deze taken inderdaad naar de afbeelding keek, maar dat het die visuele data ook mengde met interne vooroordelen die het kwetsbaar maakten wanneer de scène veranderde.

Nog verrassender was dat de onderzoekers ontdekten dat voor andere soorten vragen het verwijderen van visuele elementen de prestaties van het model verbeterde of onveranderd liet. Wanneer er werd gevraagd naar de relatieve positie van vormen of het bestaan van een verbinding zonder een pijl, gaf het model iets betere antwoorden wanneer het visuele bewijs werd vertroebeld. Dit contra-intuïtieve resultaat, dat de paper als "verrassend" en "direct tegenstrijdig aan visueel redeneren" omschrijft, suggereert sterk dat het model de visuele data helemaal niet gebruikte om deze problemen op te lossen. In plaats daarvan vertrouwde het op statistische patronen die het had geleerd uit zijn trainingsdata, en gokte het in essentie het antwoord op basis van hoe de vraag werd geformuleerd, in plaats van op basis van wat er daadwerkelijk in de afbeelding stond. De machine redeneerde niet over de ruimte; het reciteerde een waarschijnlijke reactie op basis van taalkundige aanwijzingen.

Door in de lagen van de verwerking van het model te kijken, volgden de onderzoekers hoe informatie stroomde van de initiële beeldinput naar het uiteindelijke antwoord. Ze ontdekten dat de vroegste lagen van het model zeer goed waren in het opsporen van eenvoudige details zoals de aanwezigheid van een specifieke kleur of vorm. Naarmate de informatie dieper in het systeem bewoog, werd het model beter in het tellen en identificeren van grove relaties. Echter, de diepere lagen faalden erin om consequent complexe, abstracte relaties tussen objecten te coderen, zoals de precieze richting van een pijl of de ruimtelijke ordening van items zonder expliciete markeringen. De studie concludeert dat hoewel deze krachtige systemen hoge scores kunnen behalen op veel visuele taken, hun begrip strikt beperkt is tot wat expliciet waarneembaar is. Ze vertonen geen echt visueel begrip, maar vertrouwen in plaats daarvan op een hybride strategie die genuante visuele perceptie combineert met taalkundige sluiproutes. Deze ontdekking benadrukt een cruciale beperking in de huidige kunstmatige intelligentie, en suggereert dat echt visueel begrip meer vereist dan alleen het verwerken van pixels en woorden; het vereist een diepere, robuustere vorm van redeneren die deze modellen nog niet hebben bereikt.