🤖 AI

Discovering Failure Modes in Vision-Language Models using RL

Deze paper introduceert een op versterkingslering gebaseerd kader dat zonder menselijke tussenkomst automatisch foutpatronen in vision-language modellen ontdekt door een agent te trainen die adaptief vragen stelt om zwakke plekken in vaardigheden zoals tellen en ruimtelijk redeneren bloot te leggen.

Oorspronkelijke auteurs: Kanishk Jain, Qian Yang, Shravan Nayak, Parisa Kordjamshidi, Nishanth Anand, Aishwarya Agrawal

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kanishk Jain, Qian Yang, Shravan Nayak, Parisa Kordjamshidi, Nishanth Anand, Aishwarya Agrawal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, nieuwsgierige robot hebt die foto's kan bekijken en erover kan praten. Deze robot, een zogenaamde Vision-Language Model (VLM), is getraind op miljoenen foto's en tekstjes. Hij kan je vertellen wat hij ziet: "Dat is een hond," of "Die man loopt naar de winkel." Hij lijkt bijna perfect.

Maar, net als een kind dat net leren lezen heeft, heeft deze robot soms rare blinde vlekken. Hij kan bijvoorbeeld niet goed tellen, verwarren wat links en rechts is, of denken dat er objecten zijn die er niet zijn.

De onderzoekers van dit papier wilden weten: Waar precies zit de robot vast? En nog belangrijker: Hoe vinden we die fouten zonder dat we urenlang zelf naar foto's moeten staren en vragen moeten bedenken?

Hier is wat ze hebben bedacht, vertaald in een simpel verhaal:

1. Het oude probleem: De vermoeide leraar

Vroeger deden mensen dit werk. Ze bedachten zelf vragen als: "Hoeveel koeien zijn er?" of "Waar staat de magnetron?" en gaven ze aan de robot om te zien of hij het fout deed.

Het nadeel: Mensen zijn moe, hebben vooroordelen en vinden het saai om steeds weer nieuwe, rare vragen te bedenken. Ze kijken vaak naar de "opvallende" dingen (zoals een grote hond) en missen de kleine details (zoals de kleur van de halsband). Daardoor ontdekten ze maar een klein deel van de fouten.

2. De nieuwe oplossing: De slimme "Vraagger" (RL-agent)

De onderzoekers hebben een Reinforcement Learning (RL) systeem bedacht. Denk hierbij aan een slimme spelmeester die een spelletje speelt met de robot.

De Spelmeester (De Vraagger): Dit is een AI die de taak heeft om de robot op zijn zwakke punten te prikken. Hij mag niet zomaar vragen stellen. Hij moet vragen bedenken die de robot fout beantwoordt.
De Speler (De Robot): Dit is de robot die we testen. Hij probeert de vragen te beantwoorden.
De Scheidsrechter (De Verifier): Dit is een nog slimmere AI die kijkt: "Was de vraag goed gesteld? En was het antwoord van de robot echt fout?"

Hoe werkt het spel?
Stel je voor dat de spelmeester probeert de robot te verslaan.

Hij stelt een vraag: "Hoeveel ballonnen zijn er?"
De robot antwoordt: "Twee." (Terwijl er drie zijn).
De scheidsrechter zegt: "Goed! De robot maakte een fout. Jij krijgt een punt!"
De spelmeester is blij en leert: "Ah, tellen is een zwak punt. Ik moet daar meer op focussen."
Maar de spelmeester moet ook slim zijn. Als hij alleen maar vraagt "Hoeveel?", wordt het saai. De scheidsrechter straft hem als hij steeds dezelfde soort vragen stelt. Hij moet dus ook vragen stellen over kleuren, ruimte, schaduwen en combinaties.

Na verloop van tijd wordt de spelmeester een meester in het vinden van fouten. Hij leert dat de robot niet alleen fouten maakt bij tellen, maar ook bij vragen als: "Wat zie je links van de boom, maar dan in de schaduw?" of "Welke kleur heeft het voorwerp dat half verborgen is achter de stoel?"

3. Wat hebben ze ontdekt?

Door dit spel te spelen, ontdekten ze 36 nieuwe soorten fouten die niemand eerder had gezien.

Voorbeeld: De robot kan goed zien dat er een auto is, maar hij kan niet begrijpen of die auto naar links of naar rechts rijdt als hij vanuit een rare hoek wordt gefotografeerd.
Voorbeeld: De robot kan niet goed begrijpen wat er "achter" iets zit als het object deels bedekt is.

Het is alsof je een speler hebt die eerst probeert de robot te verslaan met simpele vragen ("Wat is dat?"), maar naarmate het spel vordert, steeds ingewikkelder wordt: "Welke van de drie schaduwen hoort bij het voorwerp dat net buiten beeld is, en wat zou er gebeuren als de zon 10 graden naar links zou verschuiven?"

4. Waarom is dit belangrijk?

Dit is als het hebben van een automatische testpiloot voor vliegtuigen.

Vroeger: Mensen testten het vliegtuig op bekende routes. Als er een nieuw type storm was, wisten ze het niet.
Nu: De AI-testpiloot vliegt het vliegtuig expres de rare, stormachtige hoeken in die de bouwers niet hadden bedacht. Hij vindt de zwakke plekken voordat het vliegtuig echt vliegt.

Samenvatting in één zin

In plaats van dat mensen moeizaam zoeken naar fouten in slimme beeld-robots, hebben de onderzoekers een automatische, leergierige AI gebouwd die als een jager door de zwakke plekken van de robot snuffelt, steeds slimmere en moeilijkere vragen bedenkt, en zo ontdekken waar de robot echt dom is.

Dit helpt ervoor te zorgen dat de robots in de toekomst veiliger, betrouwbaarder en slimmer worden, omdat we precies weten waar ze nog aan moeten werken.

Probleemstelling

Visuele-taalmodellen (VLMs) presteren indrukwekkend op veel multimodale benchmarks, maar vertonen vaak fundamentele tekortkomingen bij het interpreteren van simpele visuele concepten die mensen moeiteloos begrijpen, zoals tellen, ruimtelijk redeneren en het begrijpen van perspectieven. Bestaande methoden om deze "failure modes" (faalpatronen) te identificeren, zijn grotendeels handmatig. Dit leidt tot drie belangrijke beperkingen:

Kosten en schaalbaarheid: Het handmatig ontwerpen van benchmarks is tijdrovend en arbeidsintensief.
Menselijke bias: Menselijke onderzoekers neigen naar opvallende objecten en over het hoofd zien van subtiele details, wat resulteert in een onvolledig beeld van de kwetsbaarheden van een model.
Staticiteit: Bestaande methoden gebruiken vaak "open-loop" generatie (waarbij de vragensteller niet reageert op het antwoord van het doelmodel), waardoor ze niet kunnen aanpassen aan de specifieke zwaktes van een bepaald model.

Methodologie

De auteurs stellen een volledig geautomatiseerd framework voor op basis van Versterkingsleren (Reinforcement Learning - RL) om failure modes automatisch te ontdekken zonder menselijke tussenkomst. Het systeem bestaat uit drie componenten:

De Vragensteller (Questioner): Een VLM die fungeert als RL-agent. Deze agent leert adaptief vragen te genereren die specifiek gericht zijn op de zwaktes van het doelmodel. De agent genereert een reeks vragen per afbeelding in een autoregressieve volgorde om redundantie te voorkomen en verschillende visuele concepten te testen.
De Antwoordgever (Answerer): Het doel-VLM waarvan de failure modes worden onderzocht. De parameters hiervan zijn bevroren tijdens het trainen.
De Verifier: Een krachtig redenerend VLM dat de vragen en antwoorden evalueert om een beloningssignaal (reward) te genereren.

Het Beloningssignaal (Reward Function):
De kern van de methode is een zorgvuldig ontworpen beloningsfunctie die de agent motiveert om vragen te stellen die:

Geldig zijn: Grammaticaal correct, atomair, visueel onderbouwd en objectief.
Foutief worden beantwoord: Het doelmodel moet het verkeerde antwoord geven (dit is de kern van de "failure discovery").
Divers zijn: De vragen moeten semantisch en lexicaal verschillen van eerder gestelde vragen om "reward hacking" (het herhalen van dezelfde vraagpatronen) te voorkomen.

De totale beloning ( $R_Q$ ) wordt berekend als:
$R_Q = \Delta_Q \cdot V_Q \cdot (1 - C_Q) - P_Q$
Waarbij:

$V_Q$ : Validiteit (1 als geldig, anders 0).
$C_Q$ : Juistheid (1 als het antwoord correct is, 0 als fout). De agent wordt beloond als $C_Q = 0$ .
$\Delta_Q$ : Diversiteit (semantisch en lexicaal).
$P_Q$ : Straf voor ongeldige vragen.

De agent wordt getraind met het Group Relative Policy Optimization (GRPO) algoritme.

Taxonomie van Failure Modes:
Om de gevonden fouten te categoriseren, gebruiken de auteurs een viertraps-pijplijn:

Identificatie van primitieve vaardigheden.
Topic modelling (clustering van vaardigheden).
Vaardigheidsextractie (standaardiseren van namen).
Identificatie van "meta-vaardigheden" (hoger niveau categorieën).

Belangrijkste Bijdragen

Nieuw RL-framework: Een volledig geautomatiseerd systeem dat adaptief failure modes ontdekt voor elk willekeurig doel-VLM op een gegeven dataset.
Uitgebreide Analyse: Ontdekking van 36 nieuwe failure modes (vaardigheden) die door eerdere methoden niet waren geïdentificeerd, zoals "Prominence Detection" en "Threat Assessment".
Uitgebreide Evaluatie: Vergelijking met concurrerende baselines (Zero-Shot, ConMe, Supervised Fine-Tuning, Expert Iteration) over meerdere metrieken, waaronder faalpercentage, diversiteit en complexiteit.
Ablatie-studies: Diepgaand inzicht in welke componenten van de beloningsfunctie essentieel zijn voor effectieve ontdekking.

Resultaten

De experimenten zijn uitgevoerd op het COCO-dataset met verschillende VLM-architecturen (Qwen2.5-VL en Qwen3-VL series).

Faalpercentage (Failure Discovery Rate - FDR): De RL-methode behaalde een FDR van 47,58%, significant hoger dan de beste niet-RL baseline (ConMe met 39,89%). De variant met Supervised Fine-Tuning vooraf (RL+SFT) haalde zelfs 50,73%.
Diversiteit: RL-methoden genereren aanzienlijk meer semantisch diverse vragen (Vendi Score: 64,96 vs 61,78 voor ConMe) en een bredere variatie aan vraagtypes (Lexical Diversity).
Complexiteit: RL-vragen vereisen gemiddeld meer vaardigheden per vraag (3,30 vs 3,10 voor baselines) en onthullen complexere combinaties van vaardigheden (tot 15.389 unieke combinaties voor RL+SFT).
Novelty: Het framework ontdekte 36 exclusieve vaardigheden die door andere methoden werden gemist.
Generaliseerbaarheid: De methode werkt effectief over verschillende modelgroottes (3B tot 8B parameters) en architecturen, hoewel het faalpercentage afneemt naarmate het doelmodel sterker wordt.

Evolutie tijdens training:
De analyse toont aan dat de RL-agent een impliciete "curriculum" volgt:

Vroege fase: Ontdekking van makkelijke fouten (bijv. numeriek redeneren).
Late fase: Ontdekking van subtiele, complexe fouten (bijv. culturele symboliek en complexe ruimtelijke relaties).
De vragen worden in de loop van de training complexer en richten zich op fijnmazige details.

Betekenis en Conclusie

Dit paper markeert een paradigmaverschuiving in de evaluatie van VLMs: van statische, handmatig samengestelde benchmarks naar adaptieve, RL-gedreven failure discovery.

Scalabiliteit: Het elimineert de behoefte aan menselijke curatie, waardoor het mogelijk is om systematisch en continu de zwaktes van nieuwe modellen te testen.
Diepgang: Door zich te richten op niet-opvallende objecten en complexe vaardigheidscombinaties, onthult het "blinde vlekken" die voorheen verborgen bleven.
Toekomstperspectief: De auteurs wijzen op de potentie om deze methode uit te breiden naar multi-turn dialogen, video-interpretatie en het integreren van de gevonden fouten in fine-tuning pipelines om de modellen daadwerkelijk te verbeteren.

Kortom, dit werk biedt een robuust, schaalbaar en autonoom instrument om de cognitieve beperkingen van Vision-Language Models in kaart te brengen, wat essentieel is voor het ontwikkelen van betrouwbaardere AI-systemen.