💬 NLP

Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems

Dit paper introduceert de MM-AQA-benchmark om de onderzochte vaardigheid van multimodale systemen om bij onvoldoende bewijs te onthouden van antwoorden, en concludeert dat effectieve abstentie vereist dat modellen specifiek voor dit doel worden getraind in plaats van dat ze worden gedwongen om altijd te antwoorden.

Oorspronkelijke auteurs: Nishanth Madhusudhan, Vikas Yadav, Alexandre Lacoste

Gepubliceerd 2026-04-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nishanth Madhusudhan, Vikas Yadav, Alexandre Lacoste

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super slimme robot hebt die foto's en teksten kan lezen. Deze robot is zo getraind dat hij op elke vraag een antwoord geeft. Of het nu een simpele vraag is over een kat, of een complexe vraag over een medische scan.

Het probleem? Soms is de informatie die de robot krijgt gewoon niet genoeg om een goed antwoord te geven. Misschien ontbreekt een stukje van de foto, of staat er een tegenstrijdige zin in de tekst. In die gevallen zou de robot eigenlijk moeten zeggen: "Ik weet het niet, ik heb niet genoeg bewijs."

Maar in de huidige wereld van kunstmatige intelligentie (AI) doen robots dat bijna nooit. Ze durven het risico niet aan om stil te vallen, dus ze verzinnen (hallucineren) een antwoord. Dit kan gevaarlijk zijn, bijvoorbeeld als de robot een arts adviseert over een patiënt op basis van een onduidelijke röntgenfoto.

De auteurs van dit paper hebben een nieuwe manier bedacht om te testen of robots kunnen leren weten wanneer ze moeten zwijgen.

Hier is de uitleg, vertaald naar alledaagse taal:

1. De Nieuwe Test: "MM-AQA"

De onderzoekers hebben een nieuwe test ontwikkeld, genaamd MM-AQA.

De Idee: Ze nemen bestaande vragen die een robot normaal gesproken goed kan beantwoorden. Vervolgens "verpesten" ze deze vragen op slimme manieren.
De Analogie: Stel je hebt een vraag: "Wat is de kleur van de auto op de foto?" en de foto toont een rode auto. Dat is een goed antwoord.
- Nu maken ze de foto onleesbaar (alsof er een vlek op zit of het beeld wazig is).
- Of ze veranderen de vraag in: "Wat is de kleur van de auto in de foto, terwijl de foto eigenlijk een landschap toont?"
Het Doel: Ze kijken of de robot nu zegt: "Ik zie de auto niet, ik kan het niet zeggen" (goed gedrag) of: "Het is blauw!" (slecht gedrag, want dat is een verzinsel).

2. Wat hebben ze ontdekt?

Ze hebben de beste robots van vandaag de dag (zoals GPT-5, Claude en Qwen) getest met deze nieuwe "verpeste" vragen. De resultaten waren verrassend en een beetje zorgwekkend:

Robots zijn te zelfverzekerd: Zelfs als de informatie ontbreekt, blijven de robots antwoorden geven. Ze doen alsof ze alles weten, terwijl ze eigenlijk raden.
Meer robots helpen niet altijd: De onderzoekers hebben geprobeerd om meerdere robots samen te laten werken (een "team" van robots). Eén robot denkt na, een andere controleert het antwoord.
- Het resultaat: Dit team werkt beter in het erkennen van onwetendheid, maar ze worden dan ook te voorzichtig. Ze zeggen vaak "Ik weet het niet", zelfs als ze het antwoord wél hadden kunnen vinden. Het is alsof je een team hebt dat zo bang is om een fout te maken, dat ze liever niets zeggen, zelfs niet als het antwoord voor het grijpen ligt.
Het is geen kwestie van "dieper denken": Je zou denken dat als je de robot meer tijd geeft om na te denken (meer rondjes laten draaien), het beter wordt. Maar nee, dat helpt niet echt. Het probleem is dat de robot zijn eigen onzekerheid niet goed kan meten.

3. De Grootste Les: "Oefening baart kunst"

De belangrijkste conclusie van het paper is dat je een robot niet kunt dwingen om te stoppen met antwoorden door hem alleen maar betere instructies te geven (zoals: "Wees voorzichtig!").

De Analogie: Het is alsof je een kind vertelt: "Probeer niet te liegen als je het antwoord niet weet." Als het kind niet echt begrijpt waarom het niet moet liegen, zal het toch liegen.
De Oplossing: De robot moet getraind worden op het herkennen van onzekerheid. Hij moet leren dat het niet geven van een antwoord, in sommige situaties, de beste en slimste keuze is. Dit moet in de "hersenen" van de robot worden ingebouwd, niet alleen als een tijdelijke regel.

Samenvattend in één zin:

Deze paper laat zien dat onze slimste AI-robots momenteel te zelfverzekerd zijn en niet weten wanneer ze moeten stoppen met raden; om dit op te lossen, moeten we ze niet beter instrueren, maar ze opnieuw leren dat "Ik weet het niet" soms het juiste antwoord is.

Titel: Weten wanneer niet te antwoorden: Evaluatie van abstentie in multimodale redeneersystemen

1. Probleemstelling

Bestaande Vision-Language Models (VLMs) en Multi-Agent Systemen (MAS) presteren goed op standaard benchmarks, maar deze benchmarks gaan er bijna altijd van uit dat elk voorbeeld een antwoord heeft. Dit creëert een fundamenteel probleem voor de betrouwbaarheid in hoog-risico scenario's (zoals medische beeldanalyse of juridische documentreview):

Gebrek aan abstentie: Modellen worden gestimuleerd om altijd een antwoord te geven, zelfs wanneer de bewijslast ontoereikend, dubbelzinnig of afwezig is.
Hallucinaties: Onder epistemische onzekerheid produceren modellen vaak zelfverzekerd, maar hallucinerende antwoorden.
Onvoldoende evaluatie: Bestaande benchmarks voor multimodale taken negeren "onbeantwoordbare" gevallen of gebruiken grove methoden die realistische faalmodi missen.

Het centrale onderzoeksvraag is: Kunnen multimodale redeneersystemen betrouwbaar bepalen wanneer ze moeten abstineren (geen antwoord geven) in plaats van een onzeker antwoord te hallucineren?

2. Methodologie: De MM-AQA Benchmark

De auteurs introduceren MM-AQA (MultiModal Abstention Question Answering), een nieuw benchmark- en evaluatiekader bestaande uit 2.079 voorbeelden.

Dataseeropbouw: De dataset is afgeleid van bestaande benchmarks (MMMU en MMLongBench-Doc) en bevat twee subsets:
- Abstain-MMMU: STEM-vragen waarbij visuele bewijslast cruciaal is.
- Abstain-MMLongBench-Doc: Vragen over lange documenten waarbij bewijs uit verspreide bronnen moet worden gehaald.
Transformatie Taxonomie: Om onbeantwoordbare voorbeelden te creëren, worden antwoordbare voorbeelden getransformeerd langs twee assen:
1. Modale afhankelijkheid: Voor visuele taken (bijv. het verbergen van cruciale delen van een afbeelding, vervaging, of het wijzigen van de vraag zodat deze niet meer bij de afbeelding past).
2. Voldoende bewijs: Voor document-taken (bijv. het verwijderen van pagina's, het corrumperen van numerieke waarden in tabellen, of het introduceren van semantische tegenstrijdigheden).
Validatie: Een "Dual-Consensus VLM QC-module" (twee onafhankelijke VLMs) en menselijke annotatoren filteren de data om te garanderen dat de gegenereerde onbeantwoordbare voorbeelden echt onoplosbaar zijn zonder externe kennis.
Evaluatiekader:
- Systemen: Drie frontier-modellen (GPT-5, Claude Sonnet 4.5, Qwen 2.5-32B-VL) en twee MAS-architecturen (sequentieel en iteratief, gebaseerd op AutoGen).
- Condities: Basis prompting, Verbaal Vertrouwen (vconf), en Chain-of-Thought (CoT).
- Metrieken: Een vijf-weg confusiematrix wordt gebruikt om True Positives, False Positives, False Negatives, True Negatives en "Answers on Unanswerable" (AU) te onderscheiden. De belangrijkste metriek is de Matthews Correlation Coefficient (MCC), die de balans tussen nauwkeurigheid op antwoordbare vragen en correcte abstentie op onbeantwoordbare vragen meet.

3. Belangrijkste Bijdragen

MM-AQA Benchmark: Een principieel opgebouwde dataset met 22 transformatietypes die realistische faalmodi simuleren, specifiek gericht op het testen van abstentie.
Evaluatie van MAS: Een uitgebreide vergelijking tussen standalone VLMs en Multi-Agent Systemen (met een Reasoner en Verifier agent).
Empirische Bevindingen: Het blootleggen van een duidelijke "Accuracy-Abstention" trade-off en de miscalibratie van huidige modellen.
Open Source: Publicatie van de dataset en infrastructuur voor reproduceerbaar onderzoek.

4. Resultaten

De experimenten leveren vier kernbevindingen op:

Standaard prompting faalt: Onder standaard prompting abstineren VLMs bijna nooit. Zelfs op onbeantwoordbare vragen geven ze een antwoord, wat leidt tot hallucinaties. Simpele vertrouwen-baselines (gebaseerd op zelfgerapporteerd vertrouwen) presteren vaak beter dan de standaard setup.
MAS verbetert abstentie, maar introduceert een trade-off: Multi-Agent Systemen (waarbij een Verifier-agent het antwoord controleert) verhogen de abstentie significant. Echter, dit gaat ten koste van de nauwkeurigheid op antwoordbare vragen. Geen enkel systeem slaagt erin om zowel op antwoordbare als onbeantwoordbare vragen boven de 65% nauwkeurigheid te blijven.
Iteratie helpt niet noodzakelijk: Sequentiële MAS-ontwerpen (één ronde Reasoner-Verifier) presteren gelijk aan of beter dan iteratieve varianten (meerdere rondes). Dit suggereert dat de bottleneck niet de "redeneerdiepte" is, maar de miscalibratie van het model. Als de basisredenering slecht gekalibreerd is, verergeren extra rondes de fouten.
Structuur vs. Modale: Modellen abstineren betrouwbaar wanneer de onbeantwoordbaarheid structureel expliciet is (bijv. een ontbrekende pagina of een gebroken vraag). Ze proberen echter vaak een antwoord te reconstrueren of te reconciliëren wanneer het bewijs wel aanwezig is maar grotendeels beschadigd of tegenstrijdig is.

Kerncijfers:

De beste geëvalueerde systemen (bijv. Claude Sonnet 4.5) halen een MCC van ongeveer 0,34.
De geschatte "Oracle" (menselijke expert) prestatie ligt rond de 0,83.
Er is een kloof ( $\Delta$ MCC) van ongeveer 0,49, wat aangeeft dat huidige systemen minder dan de helft van de weg naar menselijk niveau hebben afgelegd op het gebied van abstentie.

5. Betekenis en Conclusie

Het paper concludeert dat het verbeteren van prompt-engineering of het toevoegen van meer agenten niet voldoende is om betrouwbare abstentie in multimodale systemen te bereiken. De huidige modellen onderdrukken hun eigen onzekerheidssignalen in plaats van ze te missen.

De belangrijkste implicaties zijn:

Abstentie-bewust training is noodzakelijk: Modellen moeten specifiek worden getraind om onzekerheid te herkennen en abstentie te hanteren, in plaats van alleen op prestatie op antwoordbare vragen te worden geoptimaliseerd.
Nieuwe richtingen: Er is behoefte aan methoden voor onzekerheidsschatting die specifiek zijn ontworpen voor multimodale inputs (bijv. semantische entropie over visuele inputs).
Veiligheid: Voor inzet in kritieke domeinen is het vermogen om te zeggen "Ik weet het niet" essentieel om schadelijke hallucinaties te voorkomen.

Samenvattend biedt MM-AQA een robuust kader om de beperkingen van huidige multimodale AI te kwantificeren en markeert het de noodzaak voor een verschuiving van "altijd antwoorden" naar "intelligent abstineren".