CARD: Diagnosing Belief to Action Routing Failures in Vision Language Models
Dit artikel introduceert CARD, een diagnostische methode die onthult dat vision-language-modellen er niet in slagen om interne overtuigingsrepresentaties effectief door te sluizen naar hun actievoorspellingen, een beperking die is geïdentificeerd via een nieuwe coöperatieve grid-world benchmark genaamd Relay Chain.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het groeiende veld van kunstmatige intelligentie zijn onderzoekers steeds meer geïnteresseerd in de vraag of machines de geest van anderen kunnen begrijpen. Dit vermogen, bekend als een "theory of mind" (theory of mind), stelt een persoon in staat om af te leiden wat iemand anders ziet, weet of wil, zelfs wanneer die informatie verborgen is voor hun eigen gezichtsveld. Het is de mentale lijm die samenwerking mogelijk maakt, waardoor we de volgende zet van een partner kunnen voorspellen op basis van diens perspectief in plaats van alleen op ons eigen. Nu AI-systemen worden ingezet om samen met mensen te werken — als robotische assistenten, co-piloten in voertuigen of teamleden — moeten wetenschappers weten of deze systemen over ditzelfde vermogen beschikken. Als een AI niet werkelijk kan vatten wat zijn partner weet, kan het niet effectief samenwerken, ongeacht hoe intelligent het op andere gebieden ook lijkt te zijn.
Om dit te onderzoeken, heeft een team van onderzoekers aan de Universiteit van Stuttgart een nieuwe manier ontwikkeld om in het "brein" van moderne vision-language modellen te kijken. Dit zijn geavanceerde computerprogramma's die gelijktijdig afbeeldingen kunnen zien en taal kunnen begrijpen. De onderzoekers wilden weten of deze modellen daadwerkelijk hun interne begrip van de mentale toestand van een partner gebruiken bij het beslissen over een volgende actie. Ze creëerden een nieuwe testomgeving genaamd Relay Chain, een coöperatief spel dat gespeeld wordt op een digitaal raster. In dit spel houden twee agenten hendels vast die poorten openen zodat een derde agent kan passeren. Succes hangt volledig af van de vraag of de agenten weten of hun partner de passerende reiziger kan zien. Als een agent de oversteek niet kan zien, moet hij de hendel vasthouden; als hij de oversteek wel kan zien, moet hij de hendel loslaten. Deze opzet dwingt de AI om beslissingen te nemen op basis van wat zij gelooft dat de partner ziet, in plaats van alleen op basis van wat er in de wereld gebeurt.
De onderzoekers gebruikten een techniek genaamd "activation steering" om de modellen te bevragen. Stel je de interne gedachten van de AI voor als een uitgestrekt landschap van signalen. Het team identificeerde specifieke signalen die "overtuiging" (belief) vertegenwoordigden — het interne verslag van de AI over wat de partner ziet. Vervolgens versterkten of verzwakten ze deze overtuigingssignalen kunstmatig terwijl de AI het spel speelde, wat de interne toestand van het model in feite een duwtje gaf om meer of minder zeker te zijn over het zicht van de partner. Als de AI werkelijk haar begrip van de geest van de partner zou gebruiken om beslissingen te nemen, zou het veranderen van die interne overtuiging de actie die de AI koos moeten veranderen. Bijvoorbeeld, als het model werd gestuurd om te geloven dat de partner de reiziger kon zien, zou het de hendel moeten loslaten. Als het werd gestuurd om te geloven dat de partner het niet kon zien, zou het de hendel moeten vasthouden.
De resultaten onthulden een kritiek falen in de werking van deze modellen. De experimenten toonden aan dat de modellen inderdaad beschikten over een duidelijke, leesbare representatie van de overtuiging van de partner. Wanneer hen direct gevraagd werd: "Ziet jouw partner de reiziger?", antwoordden de modellen correct, en de onderzoekers konden zelfs het antwoord veranderen door de interne signalen te sturen. Echter, wanneer de modellen werden gevraagd om de coöperatieve handeling uit te voeren — het besluit om de hendel los te laten of vast te houden — werden hun interne overtuigingssignalen volledig genegeerd. Zelfs toen de onderzoekers de interne overtuiging van het model over wat de partner zag met geweld veranderden, bleef de beslissing van het model over wat te doen exact hetzelfde. Het gedroeg zich alsof het een perfect geheugen had van het zicht van de partner, maar simpelweg koos om dat geheugen niet te gebruiken bij het maken van een zet.
Deze discrepantie was consistent aanwezig bij vier verschillende soorten open-source modellen die werden getest, variërend van kleinere tot grotere systemen. De modellen faalden niet omdat ze de informatie misten; ze faalden omdat ze die informatie niet naar het deel van het systeem stuurden dat over de acties beslist. De onderzoekers sloten verschillende andere mogelijkheden uit, zoals het feit dat de modellen in de war waren door de formulering van de vragen of dat de sturingsmethode te zwak was om geregistreerd te worden. Ze testten tientallen verschillende manieren om de instructies te formuleren en ontdekten dat geen enkele vorm van prompting de modellen kon dwingen om hun interne overtuigingen te gebruiken om hun acties te sturen. De modellen waren effectief "blind" voor hun eigen kennis wanneer het aankwam op het ondernemen van een stap.
De studie concludeert dat hoewel deze systemen van kunstmatige intelligentie getraind kunnen worden om de mentale toestand van een partner te beschrijven, zij die beschrijving niet automatisch koppelen aan hun eigen gedrag. Ze kunnen praten over wat iemand anders weet, maar ze gebruiken die kennis niet om te beslissen wat ze moeten doen. Dit suggereert dat het simpelweg trainen van een model om vragen over overtuigingen te beantwoorden, niet voldoende is om een werkelijk coöperatieve agent te creëren. Voor AI om naadloos met mensen te kunnen samenwerken, moet het interne begrip van anderen direct in het besluitvormingsproces worden verweven, een verbinding die huidige modellen blijkbaar missen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.