Benchmarking Deflection and Hallucination in Large Vision-Language Models

Deze paper introduceert VLM-DeflectionBench, een dynamisch benchmark en evaluatieprotocol dat de prestaties van Large Vision-Language Models meet bij het omgaan met tegenstrijdige of onvolledige multimodale informatie en het vermogen om correct af te wijzen wanneer kennis ontbreekt.

De kern

Stel je voor dat je een zeer slimme, maar soms wat onzekere assistent hebt die alles over de wereld weet. Je vraagt hem: "Wat is de naam van dit dier op de foto?" en je geeft hem ook een boekje met feiten over dieren.

Soms is het antwoord in het boekje, en dan is je assistent geweldig. Maar wat gebeurt er als het antwoord niet in het boekje staat, of als het boekje vol staat met verkeerde informatie?

Dit is precies het probleem dat deze nieuwe studie onderzoekt. De onderzoekers hebben een nieuwe test ontwikkeld, genaamd VLM-DeflectionBench, om te kijken hoe slimme computers (die zowel kunnen zien als lezen) reageren op deze situaties.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Dwaze" Assistent

Vroeger dachten we dat slimme computers alleen maar beter werden als ze meer feiten uit hun hoofd leerden. Maar in de echte wereld moeten ze vaak informatie opzoeken (zoals in een bibliotheek of op internet).

Het probleem is dat deze computers vaak hallucineren.

• De analogie: Stel je voor dat je een detective bent. Je hebt een dossier (de foto) en een getuige (de tekst). Als de getuige zegt: "Ik heb niets gezien," zou de detective moeten zeggen: "Oké, dan kunnen we het niet weten."
• Wat de computers doen: In plaats van te zeggen "Ik weet het niet", verzinnen ze vaak een antwoord. Ze zeggen bijvoorbeeld: "Het is een tijger!" terwijl de getuige duidelijk zei dat er geen tijgers in de buurt waren. Ze durven niet toe te geven dat ze het niet weten.

2. De Oplossing: Een Nieuwe Testbaan

De onderzoekers hebben een nieuwe testbaan gebouwd (de Benchmark) om dit gedrag te meten. Ze noemen het "Deflection" (het afstoten van een vraag).

• Deflectie is als een beleefde butler die zegt: "Mijnheer, ik kan die vraag niet beantwoorden omdat ik de informatie niet heb." Dit is een goede manier om te falen.
• Hallucineren is als een butler die een verhaal verzint om je tevreden te stellen, zelfs als hij het niet weet. Dit is een slechte manier om te falen.

3. Hoe werkt de test? (De 4 Scenario's)

De onderzoekers hebben de computers in vier verschillende situaties gezet om te zien hoe ze reageren:

1. De "Geheugen" Test (Parametric): Geen boekje, alleen de foto.
   • Verwacht gedrag: De computer moet zeggen: "Ik weet het niet."
   • Resultaat: Veel computers proberen het toch te raden en verzinnen iets.
2. De "Perfecte" Test (Oracle): Alleen het juiste boekje.
   • Verwacht gedrag: De computer moet het antwoord vinden in het boekje.
   • Resultaat: Ze doen het vaak goed, maar soms vergeten ze toch om naar het boekje te kijken en verzinnen ze iets uit hun hoofd.
3. De "Realistische" Test: Een boekje met het juiste antwoord, maar ook met veel verkeerde antwoorden erin verwerkt.
   • Verwacht gedrag: De computer moet het juiste antwoord vinden en de verkeerde negeren.
   • Resultaat: Ze raken in de war. Ze kiezen vaak het verkeerde antwoord uit het boekje.
4. De "Valstrik" Test (Adversarial): Alleen maar een boekje vol met verkeerde informatie.
   • Verwacht gedrag: De computer moet zeggen: "Dit boekje is nutteloos, ik kan het niet beantwoorden."
   • Resultaat: Dit is waar het misgaat. De computers lezen de verkeerde informatie en zeggen: "Ah, hier staat het antwoord!" terwijl het een leugen is.

4. De Verbazingwekkende Bevindingen

Wat hebben ze ontdekt na het testen van 20 van de slimste computers ter wereld?

• Ze durven niet "nee" te zeggen: Zelfs als ze zien dat de informatie niet klopt of ontbreekt, proberen ze toch een antwoord te geven. Ze zijn bang om "dom" over te komen.
• Tekst is sterker dan beelden: Als er een verkeerde tekst bij een goede foto staat, luisteren de computers naar de tekst en negeren ze de foto. Het is alsof iemand een foto van een hond laat zien, maar de tekst zegt "dit is een kat", en de computer gelooft de tekst.
• Strikte regels helpen niet altijd: Als je de computers streng instrueert: "Geef alleen antwoord als je 100% zeker bent," dan doen ze soms helemaal niets, zelfs als het antwoord er wel is. Ze worden te voorzichtig.

5. Waarom is dit belangrijk?

Voor nu denken we dat deze slimme computers al heel goed zijn. Maar deze studie laat zien dat ze nog niet betrouwbaar genoeg zijn voor belangrijke taken (zoals medische diagnoses of juridisch advies).

Als een computer een fout maakt, is het veel veiliger als hij zegt: "Ik weet het niet, vraag het aan een mens" (deflectie), dan dat hij een gevaarlijke leugen vertelt (hallucineren).

Kortom:
De onderzoekers hebben een nieuwe "rijbewijstest" voor slimme computers gemaakt. Ze ontdekten dat de beste computers nog steeds te snel een antwoord verzinnen in plaats van eerlijk toe te geven dat ze het niet weten. De toekomst ligt niet alleen in het maken van slimmere computers, maar in het leren van bescheidenheid: weten wanneer je moet zwijgen.

Technische samenvatting

Titel: Benchmarking Deflectie en Hallucinatie in Grote Visueel-Taalmodellen (LVLMs)

Auteurs: Nicholas Moratelli, Christopher Davis, Leonardo F. R. Ribeiro, Bill Byrne, Gonzalo Iglesias.
Affiliaties: Universiteit van Modena en Reggio Emilia, Amazon AGI, Universiteit van Cambridge.

---

1. Het Probleem

Grote Visueel-Taalmodellen (LVLMs) worden steeds vaker ingezet voor kennisintensieve multimodale vragen (KB-VQA), vaak ondersteund door retrieval-augmented generation (RAG). Echter, bestaande benchmarks hebben drie fundamentele tekortkomingen:

1. Gebrek aan onderscheid in faalmodi: Ze meten voornamelijk nauwkeurigheid, maar onderscheiden niet tussen hallucinatie (het genereren van een onjuist antwoord zonder bewijs) en deflectie (het correct erkennen van onvoldoende informatie en het weigeren te antwoorden). Voor een betrouwbaar systeem is deflectie de voorkeursmodus bij gebrek aan bewijs.
2. Conflicterend bewijs: Bestaande benchmarks negeren vaak scenario's waarin visuele en tekstuele bewijzen met elkaar in strijd zijn of waar retrieval-resultaten onvolledig zijn.
3. Snelle veroudering: Omdat LVLMs steeds meer parametrische kennis opslaan, kunnen ze veel vragen beantwoorden zonder externe retrieval. Dit maakt benchmarks snel verouderd en minder geschikt om retrieval-afhankelijkheid te testen.

2. Methodologie: VLM-DeflectionBench

De auteurs introduceren VLM-DeflectionBench, een nieuw, dynamisch benchmarkkader bestaande uit 2.775 zorgvuldig samengestelde samples.

A. Dynamische Data Curation Pipeline
Om de moeilijkheidsgraad over tijd te behouden, gebruiken ze een drie-traps pipeline:

1. Filteren op parametrische oplossbaarheid: Een set van sterke "gating-modellen" (o.a. GEMMA3, QWEN, INTERNVL) test of een vraag kan worden beantwoord zonder externe kennis. Als een model het antwoord kent uit zijn eigen training, wordt het sample verwijderd. Dit garandeert dat de resterende vragen echt externe retrieval vereisen.
2. Augmentatie met Gold en Distractors: Voor elk bewaard sample worden "gold" contexten (correcte bewijzen) en "distractor" contexten (misleidende tekst of afbeeldingen) gegenereerd of geselecteerd.
3. Kwaliteitscontrole:
   • Oplosbaarheid: Als zelfs met de juiste "gold" context geen model het antwoord kan vinden, wordt het sample verworpen.
   • Distractor-validiteit: Als een model een distractor gebruikt om een correct antwoord te genereren, wordt die distractor verwijderd.
   • Er wordt een minimum van 5 negatieve (misleidende) contexten per sample gehandhaafd.

B. Evaluatie Scenarios
Het benchmarkkader test modellen in vier specifieke scenario's om gedrag te isoleren:

1. Parametrisch: Alleen de vraag en het beeld (geen externe kennis). Verwacht: lage nauwkeurigheid, hoge deflectie.
2. Oracle: Alleen de perfecte "gold" kennis. Verwacht: hoge nauwkeurigheid, lage hallucinatie.
3. Realistisch: Een mix van gold en distractors. Test de robustheid tegen ruis.
4. Adversariaal: Alleen distractors (geen gold). Verwacht: maximale deflectie (weigeren te antwoorden).

C. Evaluatie Protocol
De prestaties worden gemeten op drie metrieken:

• Accuracy (Acc): Juistheid van het antwoord.
• Deflection Rate (Defl): Percentage keren dat het model correct weigert te antwoorden.
• Hallucination Rate (Hall): Percentage keren dat het model een onjuist antwoord genereert in plaats van te weigeren.
  De evaluatie wordt uitgevoerd met GPT-4o als rechter (gebruikmakend van het SIMPLEQA-protocol), wat is gevalideerd tegen menselijke annotatie (>92% overeenstemming).

3. Belangrijkste Bijdragen

1. Dynamische Curation: Een pipeline die ensures dat benchmarks niet verouderen door parametrisch oplosbare vragen te filteren naarmate modellen slimmer worden.
2. VLM-DeflectionBench: Een dataset van 2.775 samples die diverse multimodale retrieval-scenario's dekt, inclusief zowel tekstuele als visuele distractors.
3. Fijne Evaluatie: Een protocol dat parametrische memorisatie onderscheidt van retrieval-robustheid en expliciet hallucinatie versus deflectie meet.

4. Resultaten

De auteurs hebben 20 state-of-the-art LVLMs getest (zowel open-source als proprietair, zoals GPT-5, Claude-4, Gemini-2.5).

• Faal in Deflectie: De meeste modellen falen om correct te deflecteren wanneer bewijs onvolledig of misleidend is. In plaats van te zeggen "Ik weet het niet", hallucineren ze vaak een antwoord.
  • Voorbeeld: In het adversariale scenario (alleen distractors) hallucineert Qwen-2.5-VL in 83,9% van de gevallen, terwijl het zou moeten weigeren.
• Hallucinatie onder Oracle-voorwaarden: Zelfs wanneer perfecte bewijzen worden gegeven (Oracle-scenario), hallucineren modellen nog steeds aanzienlijk (bijv. LLaVA-OneVision hallucineert in 41,6% van de gevallen), wat aangeeft dat het probleem ligt in de gronding (grounding) en niet alleen in de retrieval.
• Taal-dominantie: Er is een sterke bias waarbij tekstuele distractors visueel correcte bewijzen overrulen. Als de gold-informatie visueel is maar er misleidende tekst wordt toegevoegd, stort de nauwkeurigheid van de modellen in (vaak <1%).
• Prompt Strictheid: Striktere instructies om te weigeren ("Severe prompting") verhogen de deflectie in adversariale scenario's, maar leiden tot over-deflectie in realistische scenario's, waardoor de nauwkeurigheid daalt zelfs als het antwoord beschikbaar is.
• Robuustheid tegen Ruis: Naarmate het aantal distractors toeneemt, daalt de nauwkeurigheid en stijgt de hallucinatie, terwijl de deflectie niet voldoende toeneemt om dit te compenseren.

5. Betekenis en Conclusie

Dit paper benadrukt dat betrouwbaarheid in LVLMs niet alleen gaat over wat een model weet, maar vooral over hoe het zich gedraagt wanneer het niets weet of wanneer het bewijs tegenstrijdig is.

• Nieuwe Standaard: VLM-DeflectionBench biedt de eerste KB-VQA benchmark die hallucinatie en deflectie expliciet evalueert in multimodale retrieval-contexten.
• Kalibratieprobleem: De resultaten tonen aan dat huidige modellen slecht gekalibreerd zijn; ze vertrouwen te veel op hun interne kennis of genereren zelfverzekerd onjuiste antwoorden in plaats van te erkennen wanneer ze moeten stoppen.
• Toekomst: Het framework is ontworpen als een herbruikbaar en uitbreidbaar systeem dat kan evolueren met de modellen, waardoor het een blijvende basis biedt voor het evalueren van betrouwbare RAG-systemen.

Kortom, de studie waarschuwt dat zonder specifieke training en evaluatie op deflectie, LVLMs in real-world toepassingen (waar betrouwbaarheid cruciaal is) een groot risico vormen door het genereren van geloofwaardige maar ongefundeerde hallucinaties.