When Seeing Is Not Enough: Benchmarking Interactive Visual Grounding in LVLMs
Dit artikel introduceert een benchmark voor interactieve visuele gronding in grote visie-taalmodellen (LVLM's), waarbij wordt onthuld dat huidige modellen significant onderpresteren ten opzichte van menselijke baselines, moeite hebben met proactief informatie zoeken wanneer er geen initiële beschrijving wordt verstrekt, en een slechte kalibratie vertonen tussen vertrouwen en nauwkeurigheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie bestaat een specifieke vaardigheid genaamd visuele gronding (visual grounding). Het is het vermogen voor een computer om naar een afbeelding te kijken en precies naar het object te wijzen waar een mens over praat. Als je zegt: "Zoek de rode bal," moet het systeem die specifieke bal tussen vele anderen vinden. Jarenlang hebben wetenschappers deze vaardigheid getest door de computer een perfecte, gedetailleerde beschrijving te geven en te vragen de overeenkomst te vinden. Dit is alsof je iemand een complete kaart geeft en vraagt om een verborgen schat te vinden. De computer is erg goed geworden in deze eenstaps-taak, waarbij het vaak menselijke prestaties evenaart of zelfs overtreft wanneer de instructies duidelijk en volledig zijn.
Echter, het echte leven is zelden zo eenvoudig. Wanneer mensen met elkaar praten, zijn beschrijvingen vaak vaag, incompleet of zelfs foutief. Wij overhandigen elkaar geen perfecte kaarten; in plaats daarvan bouwen we samen ons begrip op. We stellen vragen zoals: "Staat het aan de linkerkant?" of "Heeft het een handvat?" om de ontbrekende stukjes in te vullen. Dit artikel onderzoekt wat er gebeurt wanneer we kunstmatige intelligentie hetzelfde vragen: om naar een afbeelding te kijken, te beseffen dat het niet genoeg informatie heeft, en vervolgens de juiste vragen te stellen om het doelwit te vinden. De onderzoekers wilden zien of deze slimme computersystemen de rommelige, heen-en-weer gaande aard van een echt gesprek konden aan, of dat ze zouden falen wanneer de instructies niet op een zilveren dienblad aan hen werden gepresenteerd.
Het team zette een gecontroleerd experiment op om deze interactieve vaardigheid te testen. Ze creëerden een spel met twee rollen: een "Directeur" die het doelwit-object kent en een "Matcher" die het moet vinden. Ze gebruikten vier verschillende visuele werelden voor het spel: een collectie honden, manden en abstracte vormen genaamd tangrams. In het spel ziet de Matcher een raster van veel mogelijke items, terwijl de Directeur alleen het juiste doelwit ziet. De onderzoekers testten de Matcher onder vier verschillende omstandigheden om te zien hoe deze met informatie omging. In de eerste omstandigheid kreeg de Matcher een volledige, perfecte beschrijving en moest het het object vinden zonder te praten. In de tweede kreeg het een volledige beschrijving maar mocht het vervolgvragen stellen om het eigen werk te controleren. In de derde begon het met een zeer vage aanwijzing, zoals "het is een mand," en moest het vragen stellen om uit te zoeken welke het was. In de laatste, moeilijkste omstandigheid kreeg de Matcher helemaal geen beschrijving en moest het vanaf nul ja-of-nee-vragen stellen om een beeld van het doelwit in zijn geest op te bouwen.
Ze voerden dit spel uit met acht verschillende grote visie-taalmodellen (large vision-language models), wat de meest geavanceerde soorten kunstmatige intelligentie zijn die kunnen zien en lezen. De resultaten waren duidelijk en enigszins verrassend. Zelfs wanneer de modellen perfecte beschrijvingen kregen, hadden ze moeite om de prestaties van menselijke spelers te evenaren. Maar de kloof werd veel groter wanneer de taak vereiste dat er interactie plaatsvond. Wanneer de modellen vragen moesten stellen om het doelwit te vinden, daalde hun prestatie aanzienlijk. Ze waren bijzonder slecht in de moeilijkste taak, waarbij ze zonder informatie moesten beginnen en het gesprek zelf moesten leiden. Hoewel ze wel vragen konden stellen, stelden ze vaak de verkeerde vragen of slaagden ze er niet in om de ontvangen antwoorden effectief te gebruiken om hun keuzes te verfijnen.
De studie keek ook naar hoe zelfverzekerd de modellen waren in hun antwoorden. De onderzoekers ontdekten dat de modellen vaak overmoedig waren. Ze rapporteerden een hoog niveau van zekerheid dat ze het juiste object hadden gevonden, zelfs wanneer ze eigenlijk ongelijk hadden. Dit gebrek aan zelfbewustzijn was het meest uitgesproken wanneer de modellen vragen moesten stellen om het doelwit te vinden. Ze leken te geloven dat ze genoeg informatie hadden, terwijl dat niet zo was. Interessant genoeg toonden de modellen wel enige bekwaamheid om te verbeteren wanneer ze de mogelijkheid kregen om vervolgvragen te stellen om een beschrijving te verfijnen, maar deze hulp was beperkt. Ze konden een fout herstellen als iemand erop wees, maar ze waren niet goed in het proactief zoeken naar de informatie die ze nodig hadden om de fout vooraf te voorkomen.
Om deze bevindingen solide te maken, voerden de onderzoekers verschillende vervolgtests uit. Ze controleerden of de resultaten veranderden als de beschrijvingen door een computer in plaats van een mens geschreven werden, of als de modellen werden gedwongen harder na te denken voordat ze antwoordden, of als ze het spel meerdere keren met dezelfde partner speelden. In elk geval bleef het patroon hetzelfde. De modellen presteerden beter met door de computer gegenereerde beschrijvingen, maar ze hadden nog steeds moeite met de interactieve delen van de taak. Ze ontdekten ook dat hoewel de modellen iets beter konden worden in het spel na het een paar keer spelen, ze nooit het menselijke prestatieniveau inhaalden. De moeilijkheid van het starten van een gesprek vanaf nul en het opbouwen van een gedeeld begrip bleef een grote hindernis. Eén vervolgstudie testte de modellen op gezichtsimago's, maar het hoofdspel richtte zich op honden, manden en tangrams.
De onderzoekers concludeerden dat hoewel deze kunstmatige intelligentiesystemen uitstekend zijn in het matchen van een duidelijke beschrijving aan een afbeelding, ze nog niet klaar zijn voor de echte wereld van menselijke communicatie. Ze missen het vermogen om te herkennen wanneer ze informatie missen en om de juiste vragen te stellen om die te verkrijgen. Ze zijn ook slecht in het beoordelen hoe zeker ze moeten zijn van hun antwoorden. Dit suggereert dat voor robots of AI-assistenten om echt naast mensen te kunnen werken, ze meer moeten leren dan alleen hoe ze moeten zien; ze moeten leren hoe ze moeten praten, hoe ze om hulp moeten vragen en hoe ze moeten beseffen wanneer ze het antwoord niet weten. Totdat ze dat kunnen, zullen ze beperkt blijven tot taken waarbij de instructies perfect zijn, waardoor de complexe, interactieve aard van menselijke referentie een uitdaging blijft die ze nog niet hebben opgelost.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.