How Do VLMs Behave When Blind or Misled? Behavioral Evaluation of VLMs on Scientific Figures
Dit artikel introduceert SciFigBench, een uitgebreide benchmark en het Admittance-Resistance-Inductance (A-R-I) raamwerk om de gedragsbetrouwbaarheid van Vision-Language Modellen onder onzekerheid bij het begrijpen van wetenschappelijke figuren te evalueren, waarbij wordt onthuld dat een hoge perceptie- en redeneernauwkeurigheid geen garantie biedt voor het vermogen van een model om ontbrekend bewijs te erkennen of weerstand te bieden aan misleidende context.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente assistent inhuurt om je te helpen een complexe kaart te lezen. Je wilt iemand die niet alleen de bergen en rivieren kan zien, maar ook precies kan vertellen hoe hoog de pieken zijn en welk pad de kortste is. In de wereld van kunstmatige intelligentie worden deze assistenten Vision-Language Models (VLM's) genoemd. Het zijn als digitale detectives die naar plaatjes kijken (zoals grafieken, diagrammen of schema's) en praten over wat ze zien. Lange tijd hebben wetenschappers deze AI-detectives getest door hen eenvoudige vragen te stellen: "Welke kleur heeft deze staaf?" of "Hoeveel items staan er in deze lijst?" Als de AI het juiste antwoord geeft, gaan we ervan uit dat de AI slim en betrouwbaar is.
Maar hier komt het lastige deel: wat gebeurt er als de kaart veeg is, of wanneer iemand de AI een valse kaart geeft en vraagt: "Waar is de schat?" Een echt betrouwbare detective zou niet zoma van de locatie van de schat moeten raden omdat de valse kaart zegt dat die daar is; een echte detective zou moeten toegeven: "Ik kan dat deel niet zien," of "Die kaart ziet er niet goed uit." Dit artikel duikt in een specifiek hoekje van AI-onderzoek genaamd "gedragsbetrouwbaarheid" (behavioral reliability). Het stelt een cruciale vraag: weten deze AI-modellen wanneer ze blind zijn, of verzinnen ze gewoon antwoorden om behulpzaam te lijken? De onderzoekers wilden zien of een AI die geweldig is in het beschrijven van een helder plaatje, ook eerlijk zou zijn wanneer het plaatje wazig of misleidend is.
De Grote "Blinde Vlek" Test
De onderzoekers bouwden een speciale speeltuin genaamd SCIFIGBENCH om dit te testen. Stel je een enorme bibliotheek voor met 250 wetenschappelijke grafieken — zoals staafdiagrammen en lijngrafieken — uit echte onderzoeksartikelen. Maar in plaats van de AI alleen normaal te vragen om ze te beschrijven, besloot het team om wat trucs uit te halen. Ze namen deze grafieken en:
- Vervaagden specifieke labels zodat ze onleesbaar waren.
- Roteerden de afbeeldingen zodat ze gekanteld waren.
- Voegden valse bijschriften toe die leugens vertelden over wat de grafiek liet zien.
- Stelden vragen over dingen die helemaal niet in de grafiek voorkwamen.
Ze wilden zien hoe acht verschillende topmodellen (waaronder grote namen zoals GPT-5.2 en Gemini 3.1 Pro) op deze vallen zouden reageren. Om dit te meten, creëerden ze een nieuw scoresysteem genaamd A-R-I, wat staat voor Admittance (Toelaten), Resistance (Weerstand) en Inductance (Inductie). Denk aan een drieledige test voor eerlijkheid en slimheid:
- Admittance (Toelaten): Als de AI iets niet kan zien (omdat het vervaagd is), geeft het dan toe: "Ik kan dat niet lezen"? Of raadt het gewoon?
- Resistance (Weerstand): Als iemand een leugen tegen de AI vertelt (zoals een vals bijschrift), zegt de AI dan: "Nee, dat komt niet overeen met de afbeelding"? Of stemt de AI gewoon in om aardig te zijn?
- Inductance (Inductie): Als een deel van de grafiek verborgen is, maar de rest van de afbeelding een aanwijzing geeft (zoals een patroon), kan de AI het ontbrekende deel dan afleiden zonder het te verzinnen?
De Schokkende Resultaten: De "Zelfverzekerde Fabulator"
De resultaten waren een beetje als een plotwending in een mysteryfilm. De onderzoekers ontdekten dat het goed zijn in het beschrijven van een helder plaatje niet betekent dat je goed bent in het afhandelen van een lastig plaatje.
De Sterprestatie (GPT-5.2):
Dit model was het beste in het beschrijven van heldere grafieken en scoorde een 91,6 op 100 op een kwaliteitschaal genaamd MQM. Het was een superster in het zien van wat er direct voor zich lag. Maar toen de onderzoekers een label vervaagden zodat het onleesbaar was, gedroeg dit model zich als een zelfverzekerde fabulator. In 96% van de gevallen waarin het het antwoord niet kon zien, verzon het toch een antwoord! Het zei bijvoorbeeld: "Het label zegt 'Klantenservice'", ook al was dat woord er niet en was het duidelijk vervaagd. Het was zo enthousiast om een antwoord te geven dat het vergat eerlijk te zijn.
De Eerlijke Detective (Gemini 3.1 Pro):
Dit model was bijna net zo goed in het beschrijven van heldere grafieken (score 90,2), maar gedroeg zich heel anders wanneer het lastig werd. Wanneer geconfronteerd werd met een vervaagd label, gaf het in 71% van de gevallen toe dat het onzeker was. Het was bereid om te zeggen: "Ik kan dat niet lezen," in plaats van te gokken. Het had ook de hoogste Resistance-score van 0,91, wat betekent dat het uitstekend was in het negeren van valse bijschriften en valse vragen. Het liet zich niet foppen door leugens.
De Anderen:
De andere modellen in de test, zoals Llama 4 en diverse Qwen-modellen, hadden over het algemeen meer moeite. Sommige modellen, zoals Phi-4 Multimodal, waren zo graag behulpzaam dat ze valse bijschriften bijna 100% van de tijd volgden, zelfs als de afbeelding duidelijk iets anders liet zien.
Waarom dit ertoe doet
Het artikel laat zien dat we niet alleen naar de nauwkeurigheid van een AI kunnen kijken bij het beschrijven van een plaatje om te weten of het veilig is voor gebruik in het echte leven. Als je een AI gebruikt om je te helpen bij wetenschappelijk onderzoek, wil je geen model dat zelfverzekerd gegevens verzint alleen maar omdat het je een antwoord wil geven.
De auteurs concluderen dat hoge nauwkeurigheid op schone tests geen betrouwbaar gedrag garandeert. Een model kan een geweldige kunstenaar zijn in het beschrijven van een helder schilderij, maar een verschrikkelijke detective wanneer het schilderij veeg is of wanneer iemand het probeert te bedriegen. Voor AI om echt nuttig te zijn in serieuze velden zoals de wetenschap, moet het de kunst leren om te zeggen: "Ik weet het niet," wanneer het daadwerkelijk blind is. Deze nieuwe benchmark, SCIFIGBENCH, geeft ons een manier om op die eerlijkheid te testen, zodat we kunnen verzekeren dat onze AI-assistenten niet alleen slim zijn, maar ook betrouwbaar.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.