VirtueBench: Evaluating Trustworthiness under Uncertainty in Long Video Understanding

Dit paper introduceert VirtueBench, een benchmark die de betrouwbaarheid van Vision-Language-modellen onder onzekerheid evalueert door te testen of ze eerlijk kunnen weigeren te antwoorden wanneer essentiële frames ontbreken, in plaats van onbetrouwbare gokkern te maken die de huidige evaluatiemethoden vertekenen.

De kern

VirtueBench: De "Eerlijkheidstest" voor Videobots

Stel je voor dat je een slimme robot hebt die naar video's kijkt en vragen daarover beantwoordt. Dit zijn de zogenaamde "Vision-Language Models" (VLM's). Ze zijn geweldig, maar er zit een groot probleem in hoe we ze testen.

Het Probleem: Gokken versus Eerlijkheid

Stel je voor dat je een robot een video laat zien van een sportwedstrijd, maar je geeft hem alleen 64 beelden (frames) uit die hele video. Het is alsof je iemand een film laat zien, maar je knipt er willekeurig 64 seconden uit en vraagt: "Wie droeg de rode handschoenen?"

Als die 64 beelden net die persoon niet tonen, heeft de robot geen idee.

• De eerlijke robot zegt: "Ik zie die persoon niet in deze beelden, dus ik kan het niet weten."
• De gokker-robot denkt: "Ik ga maar een gokje wagen, misschien was het rood?" en zegt: "Rood!"

In de huidige tests wordt de eerlijke robot fout gerekend omdat hij het antwoord niet gaf. De gokker-robot krijgt juist omdat hij toevallig het goede antwoord had. Dit is alsof je op school een toets doet waarbij je een vraag niet mag overslaan als je het niet weet, maar als je raden en het toevallig goed hebt, krijg je een 10. Dit moedigt robots aan om te liegen of te gokken in plaats van eerlijk te zijn.

De Oplossing: VirtueBench

De auteurs van dit paper hebben een nieuwe test bedacht, genaamd VirtueBench. Het is als een eerlijkheidstest voor robots.

In plaats van één keer te kijken, kijken ze naar dezelfde video met verschillende hoeveelheden beelden:

1. Een heel dunne snede (64 beelden).
2. Een beetje meer (128 beelden).
3. Tot wel heel veel (1024 beelden).

Voor elke hoeveelheid beelden weten de makers precies of het antwoord wel of niet te zien is.

• Als de robot zegt: "Ik kan het niet zien" en dat klopt (want de beelden ontbreken), krijgt hij een prikje (een goede score).
• Als de robot toch een antwoord gokt, krijgt hij een straf.

Wat hebben ze ontdekt?

Ze hebben 25 verschillende robots getest, van open-source projecten tot de duurste commerciële modellen. Hier zijn de belangrijkste bevindingen, vertaald in alledaagse taal:

1. Sommige robots zijn eerlijker dan anderen:
   Sommige modellen (zoals de nieuwste versies van Qwen en Gemini) zeggen vaak: "Ik zie het niet, dus ik antwoord niet." Andere modellen (zoals sommige versies van LLaVA) gokken bijna altijd, zelfs als ze niets zien. Het is alsof de ene student liever zegt "Ik weet het niet" dan dat de ander een radend antwoord geeft.

2. Hoe groter de robot, hoe eerlijker hij is:
   De grotere, slimmere robots lijken beter te begrijpen wanneer ze niet genoeg informatie hebben. Ze durven vaker toe te geven dat ze het niet weten.

3. Ze zijn bang om te weigeren:
   Dit is het meest interessante punt. Als je de robot niet expliciet vertelt: "Als je het niet weet, zeg dan dat je het niet weet", dan stoppen de meeste robots met eerlijk zijn. Ze gaan weer gokken.

   • Analogie: Stel je voor dat je een kind vraagt: "Wat is 2+2?" Het kind weet het. Vraag je: "Wat is 2+2? En als je het niet weet, mag je het niet raden," dan zegt het kind: "Ik weet het niet." Vraag je alleen: "Wat is 2+2?" dan roept het kind direct "5!" omdat het denkt dat het een goed antwoord moet geven. Robots gedragen zich vaak net zo: ze zijn getraind om altijd een antwoord te geven, zelfs als ze het niet weten.

Waarom is dit belangrijk?

VirtueBench laat zien dat we onze robots moeten leren om betrouwbaar te zijn, niet alleen slim. In het echte leven (bijvoorbeeld in een ziekenhuis of bij het besturen van een auto) is het veel gevaarlijker als een robot een gokje waagt en het fout heeft, dan als hij eerlijk zegt: "Ik heb niet genoeg informatie om dit te doen."

Conclusie

Deze paper is een wake-up call. We moeten stoppen met robots te belonen voor het raden van antwoorden op video's waar ze niet genoeg van hebben gezien. In plaats daarvan moeten we ze prijzen voor hun eerlijkheid. VirtueBench is de nieuwe meetlat om te zien welke robots echt te vertrouwen zijn, zelfs als ze niet alles kunnen zien.

Technische samenvatting

Probleemstelling: Betrouwbaarheid en Onzekerheid in Lange Video-Verwerking

Recente Vision-Language Models (VLMs) hebben aanzienlijke vooruitgang geboekt in multimodale taken, maar hun evaluatie op het gebied van lange video-interpretatie blijft onbetrouwbaar. De kern van het probleem ligt in de beperkte inputcapaciteit van huidige modellen:

• Lange video's genereren honderdduizenden frames, terwijl VLMs vaak beperkt zijn tot een vast aantal inputframes (bijv. 256 of 512).
• Hierdoor ontbreken cruciale "key frames" die nodig zijn om een vraag correct te beantwoorden.
• Het evaluatieprobleem: In bestaande benchmarks worden modellen die eerlijk aangeven dat ze de informatie missen (en dus weigeren te antwoorden) vaak als fout beoordeeld. Modellen die echter raden (guessing) en toevallig het juiste antwoord geven, krijgen een hogere nauwkeurigheid toebedeeld.
• Dit creëert een perverse prikkel: modellen worden gestimuleerd om te gokken in plaats van eerlijk onzekerheid toe te geven, wat leidt tot misleidende evaluatieresultaten en onbetrouwbare modellen.

Methodologie: VirtueBench

Om dit probleem aan te pakken, introduceren de auteurs VirtueBench, een benchmark die specifiek is ontworpen om de betrouwbaarheid onder onzekerheid te evalueren.

1. Dataconstructie en Curation:

• Bron: De dataset is afgeleid van bestaande benchmarks (zoals MLVU, LVBench, Video-MME) en bevat 1.328 voorbeelden gebaseerd op 901 originele video's.
• Multi-level Sampling: Voor elke video worden meerdere clips gegenereerd met verschillende frame-aantallen: 64, 128, 256, 512 en 1024 frames.
• Ground Truth per Niveau: In tegenstelling tot traditionele benchmarks die één antwoord per video hebben, heeft VirtueBench een specifiek ground-truth antwoord voor elk frame-niveau.
  • Als een clip geen voldoende informatie bevat, is het ground-truth antwoord: "The video does not provide enough information" (Het video biedt niet genoeg informatie).
  • Als de informatie wel aanwezig is, is het een specifiek feitelijk antwoord.
• Vraagtypes: De dataset is gebalanceerd tussen Perceptie (59,7%) en Redenering (40,3%), met een focus op open-ended vragen (in plaats van meerkeuze) om gokken te voorkomen.

2. Evaluatieprotocol:

• Refusal Detection: Een model wordt alleen als correct beoordeeld op een "onbeantwoordbare" vraag als het weigert te antwoorden en aangeeft dat de informatie ontbreekt.
• Correctness Evaluation: Voor beantwoordbare vragen wordt de semantische consistentie met het referentieantwoord gecontroleerd.
• Prompting: Modellen krijgen expliciete instructies om niet te gokken als de visuele informatie ontoereikend is.

Belangrijkste Resultaten

De auteurs hebben 25 populaire VLMs (zowel open-source als commercieel) getest. De resultaten onthullen significante verschillen in gedrag:

1. Verschil in Weigering (Refusal Behavior):

• Er is een groot verschil tussen model-families. Modellen zoals Qwen2.5-VL, Qwen3-VL, Mimo-VL en commerciële modellen zoals Gemini-2.5-Flash tonen een redelijke tot hoge nauwkeurigheid in het weigeren van antwoorden bij onvoldoende informatie (tot wel 70%+ bij de beste modellen).
• Andere modellen (zoals LLaVA-Video, InternVideo, VideoChat-Flash) tonen bijna geen weigergedrag (soms <1%), wat betekent dat ze bijna altijd gokken, zelfs als de informatie ontbreekt.

2. Invloed van Modelgrootte en Redenering:

• Grootte: Bij de Qwen-familie geldt dat grotere modellen (bijv. 72B) over het algemeen beter zijn in het herkennen van onvoldoende informatie dan kleinere varianten (7B).
• Redeneringsvermogen: Modellen met versterkte redeneringscapaciteiten (bijv. RL-geoptimaliseerde versies of "Thinking"-modellen) presteren over het algemeen beter in het weigeren van antwoorden. Dit suggereert dat betere redenering helpt bij het evalueren van de volledigheid van visuele data.

3. Gevoeligheid voor Prompts:

• Een cruciale bevinding is dat de weigering sterk afhankelijk is van de prompt. Wanneer de expliciete instructie om eerlijk te zijn wordt verwijderd, daalt de nauwkeurigheid van het weigeren bij de meeste modellen met ongeveer de helft.
• Dit toont aan dat VLMs standaard gedrag hebben als "toetsenmakers" die altijd een antwoord proberen te geven, in plaats van als eerlijke assistenten die onzekerheid erkennen.

4. Prestatietrend bij Frame-aantal:

• In tegenstelling tot eerdere benchmarks waar meer frames vaak leiden tot hogere scores, daalt de algehele nauwkeurigheid in VirtueBench vaak naarmate het aantal frames toeneemt. Dit komt omdat bij meer frames de kans groter is dat het model de beperkingen van de input beter doorziet en eerlijk "weet dat het niet weet", terwijl bij minder frames het model vaker gokt en toevallig goed zit.

Bijdragen en Significantie

1. Identificatie van een Evaluatiebias:
Het paper benadrukt dat bestaande benchmarks onbedoeld gokgedrag belonen en eerlijkheid straffen, wat leidt tot een vertekend beeld van de werkelijke prestaties van VLMs.

2. VirtueBench als Nieuwe Standaard:
VirtueBench is de eerste benchmark die specifiek ontworpen is om trustworthiness (betrouwbaarheid) en het vermogen om onzekerheid te erkennen te meten, in plaats van alleen de nauwkeurigheid van het antwoord.

3. Richting voor Toekomstig Onderzoek:
De resultaten tonen aan dat er een fundamentele "trustworthiness gap" bestaat in huidige VLMs. Het paper pleit voor:

• Het ontwikkelen van trainingstechnieken die eerlijkheid en het erkennen van onzekerheid belonen.
• Het gebruik van benchmarks die betrouwbaarheid en niet alleen prestatie maximalisatie prioriteren.
• Het begrijpen dat "niet weten" een cruciaal onderdeel is van intelligentie in multimodale systemen.

Conclusie:
VirtueBench onthult dat de huidige staat van de techniek in lange video-interpretatie nog niet betrouwbaar is onder onzekerheid. Zelfs de sterkste modellen hebben moeite om eerlijk te blijven wanneer de instructies niet expliciet zijn, wat een dringende noodzaak creëert voor nieuwe evaluatiestandaarden die de focus leggen op integriteit en betrouwbaarheid.