AQuA: Toward Strategic Response Generation for Ambiguous Visual Questions

Dit paper introduceert AQuA, een gedetailleerd dataset en framework dat Vision-Language Models in staat stelt om ambiguïteit in visuele vragen te herkennen en strategisch te reageren door de juiste respons te kiezen, zoals het vragen om verduidelijking of het geven van alternatieve antwoorden, in plaats van overmoedig te antwoorden.

De kern

🎨 De Gids voor Verwarrende Vragen: rAQUA

Stel je voor dat je een zeer slimme robot hebt die naar foto's kijkt en vragen kan beantwoorden. Dit noemen we een Visueel Taalmodel (VLM). Tot nu toe waren deze robots getraind op heel duidelijke vragen, zoals: "Wat is de kleur van de auto?" als er maar één auto op de foto staat.

Maar in het echte leven is het leven niet altijd zo duidelijk. Soms vraag je: "Wat is de kleur van deze auto?" terwijl er op de foto drie auto's staan.

Tot nu toe maakten de slimme robots een grote fout: ze gaven gewoon een gokje, alsof ze wisten welke auto je bedoelde. Ze waren te zelfverzekerd. Ze zeiden: "Die is rood!" terwijl ze misschien naar de verkeerde auto keken.

De auteurs van dit paper zeggen: "Stop met gokken. Leer de robot om slim te reageren op verwarring."

🧩 Het Probleem: De Robot die niet durft te vragen

Stel je voor dat je op een drukke markt staat en je vraagt aan een verkoper: "Hoeveel kost dit?"

• Als er maar één appel ligt, zegt de verkoper: "€1,00."
• Als er drie appels liggen, zegt een goede verkoper: "Bedoelt u de rode, de groene of de gele?"
• Een slechte verkoper (zoals de oude AI's) zegt zomaar: "De rode is €1,00!" terwijl jij misschien de groene bedoelde.

De huidige AI's doen precies dat: ze gokken en zijn te zelfverzekerd, zelfs als ze het niet weten.

🌊 De Oplossing: rAQUA (De "Verwarrings-Map")

De onderzoekers hebben een nieuwe dataset gemaakt genaamd rAQUA. Ze hebben dit vergeleken met een verkeersbordensysteem voor robots. In plaats van één soort vraag, hebben ze de vragen ingedeeld in vier niveaus van verwarring, elk met zijn eigen juiste reactie:

1. Niveau 0: Geen verwarring (Het Duidelijke Pad)

   • Situatie: Er staat maar één auto.
   • Goede reactie: Geef direct het antwoord. "Die auto is blauw."
   • Metafoor: Een groen verkeerslicht. Gewoon doorrijden.

2. Niveau 1: Lichte verwarring (De Context-Sleutel)

   • Situatie: Er staan twee auto's, maar één staat heel groot in het midden en de andere is klein en ver weg. Je vraagt: "Wat is de kleur van deze auto?"
   • Goede reactie: De robot moet begrijpen dat "deze" duidelijk naar de grote auto verwijst.
   • Metafoor: Je wijst naar de grote boom in de tuin. Iedereen weet welke boom je bedoelt. De robot zegt: "Ah, je bedoelt die grote eik, die is bruin."

3. Niveau 2: Meerdere opties (De Lijst-Maker)

   • Situatie: Er staan twee auto's die even groot en even belangrijk zijn. Je vraagt: "Wat is de kleur van deze auto?"
   • Goede reactie: De robot mag niet gokken. Hij moet zeggen: "Er zijn twee auto's. De ene is blauw, de andere is rood. Welke bedoel je?" of gewoon beide opties noemen.
   • Metafoor: Je vraagt om de prijs van de "schoenen" in een winkel met twee verschillende paar. De verkoper zegt: "Deze hier zijn €50, en die daar zijn €70."

4. Niveau 3: Grote verwarring (De Vraag-Maker)

   • Situatie: Er staan tien auto's, allemaal even groot en dicht bij elkaar. Je vraagt: "Wat is de kleur van deze auto?"
   • Goede reactie: De robot moet zeggen: "Ik zie tien auto's. Ik kan niet weten welke je bedoelt. Kun je specifieker zijn?"
   • Metafoor: Je staat in een zaal met honderd mensen en vraagt: "Wie is die persoon?" De enige juiste reactie is: "Welke persoon precies?"

🛠️ Hoe hebben ze de robot getraind?

Ze hebben de robot niet alleen deze regels verteld, maar hem erop getraind om de juiste "strategie" te kiezen. Ze gebruikten twee stappen:

1. Supervised Fine-Tuning (SFT): Ze leerden de robot de regels uit de hand. "Als je dit ziet, doe dan dit."
2. GRPO (De Coach): Dit is een slimme methode waarbij de robot oefent en een "coach" (een andere AI) hem belooft als hij de juiste strategie kiest en hem straft als hij weer gaat gokken.
   • Metafoor: Het is alsof je een kind leert fietsen. Eerst houd je het zadel vast (SFT), en daarna laat je het los en geef je een lachje als het kind rechtop blijft (GRPO).

🏆 Wat was het resultaat?

Toen ze de getrainde robot testten, gebeurde er iets wonderlijks:

• De oude, ongetrainde robots (zelfs de zeer dure, commerciële modellen) bleven gokken en gaven vaak het verkeerde antwoord.
• De nieuwe, getrainde robot (rAQUA) wist precies wat hij moest doen.
  • Bij duidelijke vragen gaf hij direct antwoord.
  • Bij twijfel vroeg hij om verduidelijking of gaf hij een lijstje.
  • Hij was niet meer zelfverzekerd als hij het niet wist.

🚀 Conclusie

Dit paper laat zien dat slimme AI's niet alleen moeten leren antwoorden, maar ook moeten leren hoe ze moeten antwoorden als de situatie vaag is.

In plaats van een robot die denkt dat hij alles weet (en daardoor vaak fouten maakt), hebben ze een robot gemaakt die sociaal is: hij weet wanneer hij moet antwoorden, wanneer hij moet uitleggen, en wanneer hij moet vragen: "Bedoel je die ene of die andere?"

Dat is de sleutel tot AI die echt bruikbaar is in onze verwarrende, echte wereld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "rAQUA: TOWARD STRATEGIC RESPONSE GENERATION FOR AMBIGUOUS VISUAL QUESTIONS", gepresenteerd op ICLR 2026.

Probleemstelling

Bestaande benchmarks voor Visuele Vraagbeantwoording (VQA) en Vision-Language Models (VLM's) focussen voornamelijk op duidelijke, eenduidige beeld-vraagparen. In real-world scenario's komen echter vaak vragen voor met verschillende niveaus van ambiguïteit (onduidelijkheid). Bestaande modellen missen de capaciteit om deze nuances te hanteren; ze neigen er vaak toe om overmoedig een enkel antwoord te geven, zelfs wanneer de vraag onduidelijk is, in plaats van context te gebruiken, opties te lijsten of verduidelijking te vragen. Bestaande onderzoeken naar ambiguïteit zijn beperkt tot een binair "antwoorden of vragen"-strategie, wat niet voldoet aan de dynamiek van menselijke communicatie waar de strategie afhankelijk is van de mate van onduidelijkheid.

Methodologie

1. Het AQUA Dataset

De auteurs introduceren AQUA (Ambiguous Visual Question Answering), een fijnmazig dataset dat ambiguïteit in VQA systematisch categoriseert in vier niveaus, elk gekoppeld aan een optimale antwoordstrategie:

• Level 0 (Eenduidig): Duidelijke vragen met één uniek antwoord (bijv. "Welk voedsel ligt op de bakplaat?").
• Level 1 (Lage referentiële ambiguïteit): Vragen met onduidelijke termen (zoals "dit" of "dat"), maar waar de context het doelwit eenduidig maakt. De strategie is om de referentie expliciet te maken en het antwoord te geven.
• Level 2 (Meerdere geldige interpretaties): Er zijn 2-3 plausibele antwoorden. De strategie is om alle opties te lijsten in plaats van te vragen om verduidelijking.
• Level 3 (Hoge ambiguïteit): De vraag is zo vaag dat er geen redelijke gok mogelijk is. De strategie is om beleefd verduidelijking te vragen.

Het dataset is gegenereerd vanuit de COCO-dataset, waarbij objecten en hun salientie (opvallendheid) worden gebruikt om de niveaus te bepalen. Een strikt filterproces (geautomatiseerd via LLM's en menselijke validatie via MTurk) zorgt voor kwaliteit.

2. Training Strategie

Om modellen te leren deze strategieën dynamisch te kiezen, gebruiken de auteurs een twee-staps training op open-source VLM's (Qwen2.5-VL-3B en InternVL3-2B):

1. Supervised Fine-Tuning (SFT): Het model wordt getraind op het AQUA-dataset om de ruimte van mogelijke strategieën te leren.
2. Group Relative Policy Optimization (GRPO): Omdat SFT alleen niet altijd de juiste strategische keuze garandeert, wordt GRPO toegepast. Een "LLM-as-a-judge" (GPT-5-mini) beoordeelt de output en geeft een beloning (reward) op basis van:
   • Of de gekozen strategie overeenkomt met het juiste niveau van ambiguïteit.
   • Of de feitelijke inhoud consistent is met de afbeelding (geen hallucinaties).
   • Dit versterkt het vermogen van het model om contextueel de juiste strategie te selecteren.

Kernbijdragen

1. AQUA Dataset: Het eerste dataset dat VQA-voorbeelden fijnmazig classificeert in vier niveaus van ambiguïteit, elk met een specifieke, contextuele antwoordstrategie.
2. Strategische Aanpassing: Demonstratie dat VLM's getraind op AQUA autonoom de juiste strategie kunnen kiezen (direct antwoorden, infereren, lijsten, of vragen), wat leidt tot superieure prestaties ten opzichte van grotere open-source en gesloten modellen (zoals GPT-5 en Gemini 2.5 Flash).
3. Analyse van Foutpatronen: Uitgebreide analyse toont aan dat ongetrainde modellen een sterke bias hebben naar Level 0 (overmoedige antwoorden), terwijl getrainde modellen fouten vooral maken bij grensgevallen of door te focussen op saliente (opvallende) objecten in plaats van de vraag te analyseren.

Resultaten

• Prestaties: Getrainde modellen (Qwen2.5-VL-3B-Tuned en InternVL3-2B-Tuned) bereiken een strategische nauwkeurigheid van ongeveer 80-86% over alle niveaus, wat aanzienlijk hoger is dan de baselines (die vaak onder de 30% blijven bij ambiguïteit).
• Vergelijking: Zelfs zeer grote modellen (72B/78B parameters) en gesloten state-of-the-art modellen presteren slecht op ambiguïteit zonder specifieke training. Ze geven vaak overtuigende maar verkeerde antwoorden.
• Effectiviteit van Verduidelijking: In een experiment met Level 3-vragen bleek dat wanneer het model verduidelijking vraagt, het in 80% van de gevallen het juiste antwoord kan geven na één follow-up hint.
• Generalisatie: De modellen generaliseren goed naar andere datasets (Open Images V7), wat aantoont dat ze het concept van ambiguïteit hebben geleerd en niet alleen de COCO-beelden hebben gememoriseerd.
• Prompting vs. Training: Technieken zoals Chain-of-Thought (CoT) of strategische prompts verbeteren de prestaties van basismodellen nauwelijks. Effectieve strategievereis vereist expliciete training (SFT + GRPO).

Betekenis en Impact

Dit paper markeert een verschuiving in hoe we VQA-systemen evalueren en trainen. Het benadrukt dat "slim" zijn in VQA niet alleen gaat over het geven van het juiste feit, maar ook over het begrijpen van de intentie en de onzekerheid in de vraag.

• Het introduceert een nieuwe standaard voor het evalueren van het vermogen van AI om om te gaan met onduidelijkheid, een cruciale vaardigheid voor robuuste mens-machine interactie.
• Het bewijst dat kleinere, goed getrainde modellen (via GRPO) strategisch slimmer kunnen zijn dan veel grotere, ongetrainde modellen.
• Het biedt een blauwdruk voor het ontwikkelen van systemen die niet alleen antwoorden, maar ook weten wanneer ze moeten twijfelen, opties moeten bieden of verduidelijking moeten vragen, wat dichter bij menselijk gedrag ligt.