MissingBench-Verified: Probing Vision-Language Models' Inability to Detect Missing Object Parts
Het artikel introduceert MissingBench-Verified, een benchmark die aantoont dat toonaangevende Vision-Language Modellen consequent falen in het detecteren van ontbrekende objectdelen vanwege inherente biases en schaarste aan trainingsdata, een beperking die blijft voortbestaan ondanks het gebruik van externe tools, uitgebreide redenering of fine-tuning, waardoor een fundamenteel architecturaal gebrek in huidige VLMs wordt onthuld.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot leert de wereld te zien. Je laat het een miljoen foto's van katten, honden en vliegtuigen zien, en het leert de regels: "Katten hebben een staart," "Vliegtuigen hebben vleugels," en "iPhones hebben een homebutton." Dit is de wereld van Vision-Language Models (VLM's). Dit zijn superintelligente computerprogramma's die naar een plaatje kunnen kijken en het in woorden kunnen beschrijven, of vragen kunnen beantwoorden over wat ze zien. Ze zijn als een bibliothecaris die elk boek in het universum heeft gelezen en direct het plot van een verhaal kan vertellen door alleen de omslag te bekijken.
Maar hier komt het lastige deel: soms wordt deze bibliothecaris te zelfverzekerd over wat hij weet. Als je hem een foto van een kat laat zien die zijn staart is verloren, kan zijn brein schreeuwen: "Dat is onmogelijk! Alle katten hebben een staart!" en kan hij volhouden dat de staart er wel is, ook al ziet zijn ogen duidelijk dat hij weg is. Dit wordt een hallucinatie genoemd. Het is niet dat de robot liegt; het is dat zijn interne kennis zo sterk is dat deze overheerst wat zijn ogen daadwerkelijk zien. Wetenschappers geven hierom omdat, als we willen dat deze robots ons helpen bij het inspecteren van bruggen, het controleren van medische scans of het monitoren van fabrieken, ze in staat moeten zijn om te zeggen: "Hé, er ontbreekt iets," in plaats van dingen te verzinnen.
Het Grote Mysterie van het "Ontbrekende Deel"
Maak kennis met MissingBench-Verified, een nieuw experiment dat precies deze koppigheid test. De onderzoekers achter deze studie wilden weten: Als we een foto van een vliegtuig nemen en de motoren er chirurgisch uit verwijderen, zal de robot dan toegeven dat de motoren weg zijn, of zal hij hallucineren dat ze er nog steeds zijn?
Om dit te ontdekken, creëerde het team een speciale set van 118 afbeeldingen. Ze namen echte foto's van alledaagse objecten — zoals een telefoon waarvan de homebutton is weggegumd, of een vliegtuig zonder staart — en lieten deze aan tien van de slimste AI-modellen op de markt zien. Ze stelden een simpele vraag: "Is dit onderdeel zichtbaar?" De modellen moesten kiezen tussen "Duidelijk zichtbaar," "Moeilijk te zien," of "Niet zichtbaar."
De resultaten waren een beetje een schok. Zelfs de meest geavanceerde AI-modellen, de modellen die normaal gesproken elke test met vlag en wimpel halen, faalden jammerlijk. Wanneer de motoren weg waren, beweerden de modellen dat ze er nog steeds waren. Sterker nog, bijna de helft van de modellen zat vaker naast het doel dan goed (meer dan 50% van de tijd). De slechtste presteerder, Claude Sonnet 4.6, identificeerde het ontbrekende deel slechts 44,1% van de tijd correct. Het was alsof de robots blinddoeken droegen gemaakt van hun eigen herinneringen, waarbij ze weigerden te geloven wat hun ogen zagen.
De "Magische Gereedschappen" die niet werkten
De onderzoekers stopten niet bij het vragen aan de robots om beter te kijken. Ze probeerden hen te helpen met een hele gereedschapskist vol trucjes, in de hoop hen uit hun dagdromen te helpen. Ze probeerden drie hoofdstrategieën:
- Het "Detectiveverslag" (Externe Tools): Ze gaven de modellen een nepverslag van een supernauwkeurige objectdetector die zei: "Ik heb gekeken, en ik heb de motor absoluut niet gevonden." Ze hoopten dat het model het verslag zou vertrouwen. In plaats daarvan negeerden de meeste modellen het verslag en bleven ze bij hun eigen standpunt. Zelfs toen de "perfecte detector" zei dat het object weg was, hallucineerden de modellen nog steeds dat het er was.
- De "Zoomlens" (Beeldbewerking): Ze lieten de modellen tools gebruiken om de afbeelding bij te snijden, te verhelderen of te verscherpen, in de hoop dat een nadere blik de waarheid zou onthullen. Eén model gebruikte zelfs een bijsnijtool om in te zoomen op een ontbrekende vliegtuigstaart, zag de lege ruimte, en beweerde toch nog dat de staart er was, waarbij het de ontbrekende staart de schuld gaf van een "bijsnijfout" in plaats van toe te geven dat hij weg was.
- Het "Diepe Denken" (Meer Tijd): Ze dwongen de modellen om meer tijd te besteden aan denken en redeneren voordat ze antwoord gaven, in de hoop dat meer hersenkracht de fout zou herstellen. Verrassend genoeg hielp het langer nadenken niet; in sommige gevallen maakte het hen zelfs alleen maar zelfverzekerder in hun foute antwoorden.
Het Oordeel: Het is geen bug, het is een feature (die kapot is)
Het artikel suggereert dat dit niet zomaar een simpele fout is die de modellen met een snelle prompt of een beetje extra nadenken kunnen "afleren". Het probleem zit diep. De modellen hebben een "prior" geleerd — een sterke overtuiging dat vliegtuigen moeten hebben om te kunnen vliegen. Wanneer het visuele bewijs (de lege ruimte) botst met deze diepgewortelde overtuiging, wint de overtuiging. De modellen zeggen in feite: "Ik weet hoe een vliegtuig eruitziet, en deze foto klopt niet, dus ik zal het vliegtuig beschrijven zoals ik het verwacht te zien, niet zoals het is."
De onderzoekers probeerden dit op te lossen door de modellen toegang te geven tot betere tools en meer tijd, maar het artikel concludeert dat deze huidige methoden verwaarloosbare verbetering bieden. De foutpercentages bleven koppig hoog, waarbij de meeste modellen nog steeds niet in staat waren om de ontbrekende onderdelen correct te identificeren, zelfs met hulp.
Deze studie beweert het probleem niet opgelost te hebben. In plaats daarvan klinkt het als een alarmbel. Het laat zien dat voor taken zoals het controleren of een machineonderdeel ontbreekt of of een veiligheidsfunctie intact is, onze huidige beste AI-modellen gevaarlijk onbetrouwbaar zijn. Ze zijn zo overtuigd van hun interne kennis dat ze deze niet kunnen overrulen, zelfs niet wanneer het bewijs recht voor hun "ogen" ligt. Het artikel suggereert dat het oplossen hiervan niet zal gebeuren met betere prompts of meer denktijd; het zal waarschijnlijk een complete herziening vereisen van de manier waarop deze modellen worden gebouwd of getraind, zodat ze leren te vertrouwen op wat ze zien boven wat ze denken te weten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.