Technische Samenvatting: TRAPSBench: Vision-Language Modellen Encoderen maar Falen in het Uiten van Epistemische Terughoudendheid

Probleemstelling

Vision-Language Modellen (VLM's) hebben significante vooruitgang geboekt in video-begrip en fysiek redeneren. Echter, voor inzet in scenario's met een hoog risico, is het vermogen van een model om te herkennen wanneer sensorische informatie onvoldoende is voor een deterministische voorspelling even cruciaal als het vermogen om correcte antwoorden te geven. Huidige benchmarks evalueren fysiek redeneren, maar falen in het testen van selectieve onthouding onder condities van onvoldoende bewijs. Bestaande metrieken belonen vaak indiscriminante onthouding of negeren de epistemische dimensie volledig, waardoor ze niet het onderscheid kunnen maken tussen een model dat weet dat het het niet weet, en een model dat simpelweg gokt.

Dit artikel adresseert de kloof tussen de interne kennis van onzekerheid in een model en de externe expressie van die onzekerheid. Specifiek onderzoekt het of VLM's intern in staat zijn om onderscheid te maken tussen beantwoordbare en onbeantwoordbare fysieke scenario's, en zo ja, waarom ze er niet in slagen dit onderscheid te uiten in hun autoregressieve outputs.

Methodologie

1. TRAPSBench Benchmark

De auteurs introduceren TRAPSBench (Testing Restraint in Ambiguous Physical Scenarios), een procedureel gegenereerde video-benchmark bestaande uit 1.404 gematchte fysica-paren.

• Generatie: Met behulp van MuJoCo creëert de benchmark "control"-video's waar de uitkomsten deterministisch zijn, en "void"-video's waar de uitkomst onberekenbaar wordt gemaakt door een enkele gerichte modificatie.
• Onzekerheidstaxonomieën:
  • Occlusie (Occlusion): Cruciale visuele data wordt geblokkeerd door een ondoorzichtige occluder ($N=202$).
  • Chaotische Sensitiviteit (Chaotic Sensitivity): Deterministische systemen met extreme sensitiviteit voor initiële condities, afgebroken voordat de resolutie plaatsvindt ($N=500$).
  • Ill-Posed Vragen (Ill-Posed Questions): Control-video's worden hergebruikt, maar de vraag bevat een valse premisse of vraagt naar onwaarneembare details ($N=702$: 202 occlusie ill-posed + 500 chaotische ill-posed).
• Evaluatie: Een tekst-gebaseerd jurypanel (drie modellen) scoort de reacties. Voor control-video's wordt de juistheid gemeten tegen de MuJoCo grondwaarheid. Voor void-video's detecteert de jury of het model zich heeft onthouden.

2. Penalized Epistemic Calibration Score (PECS)

Om prestaties te evalueren, stellen de auteurs PECS voor, een conjunctiemetriek gedefinieerd als:
$$\text{PECS} = \text{Acc} \times \max(0, \text{AbsRec} - \text{FalseAbs})$$
Waar:

• Acc: Nauwkeurigheid op beantwoordbare (control) video's.
• AbsRec: Abstention Recall (correct onthouden bij void-video's).
• FalseAbs: False Abstention (onjuist onthouden bij control-video's).
• Significantie: De metriek gebruikt de Youden's J-statistiek ($\text{AbsRec} - \text{FalseAbs}$) om indiscriminante strategieën te bestraffen. Een model dat altijd onthoudt of nooit onthoudt, ontvangt een PECS van 0. Hoge scores vereisen zowel een hoge nauwkeurigheid op beantwoordbare taken als selectieve onthouding op onbeantwoordbare taken.

3. Mechanistische Analyse

Het artikel gebruikt twee technieken om interne representaties te onderzoeken:

• Lineaire Probing: Het trainen van logistische regressie-probes op de verborgen toestanden (hidden states) van bevroren VLM's om "void" versus "control" labels te voorspellen. Dit test of het model het onderscheid encodeert.
• Activation Steering: Het causaal manipuleren van verborgen toestanden door een "void direction" vector ($v_\ell$) toe te voegen tijdens de generatie, om te testen of de representatie causaal de controle heeft over onthoudingsgedrag.

Belangrijkste Bijdragen

1. TRAPSBench en PECS: Een grootschalige benchmark en een robuuste metriek, specifiek ontworpen om de epistemische kalibratie in video-begrip te evalueren, waarbij degeneratieve strategieën zoals "altijd onthouden" of "nooit onthouden" naar nul worden gebracht.
2. De Representatie-Output Kloof: Het artikel stelt vast dat VLM's interne epistemische onzekerheid encoderen maar falen in het uiten ervan. Dit wordt aangetoond door:
   • Guided Prompting: Het expliciet instrueren van modellen om zich te onthouden ("Ik weet het niet") ontsluit latente capaciteiten, wat de abstention recall aanzienlijk verbetert zonder de nauwkeurigheid op te offeren.
   • Lineaire Probing: Probes decoderen het beantwoordbaarheidssignaal uit verborgen toestanden met een hoge AUROC (tot 0,91) over verschillende fysica-domeinen, zelfs op samples waar het model met zekerheid hallucineert.
   • Activation Steering: Het injecteren van een enkele-laag "void direction" induceert causaal onthouding in control-samples en onderdrukt dit in void-samples.
3. Asymmetrieën in Foutmodi:
   • Visueel vs. Tekstueel: Modellen detecteren tekstuele onmogelijkheid (ill-posed vragen) ongeveer 4$\times$ gemakkelijker dan visuele informatiegaten.
   • Redeneereffecten: Chain-of-thought (CoT) redeneren verbetert de kalibratie niet uniform. In sommige modellen (bijv. Qwen3-VL Think) uiten de redeneersporen twijfel, die vervolgens wordt overschreven door de uiteindelijke output, wat leidt tot meer confabulatie vergeleken met varianten zonder "thinking".
4. Causale Mechanistische Analyse: De geometrie van het "void"-signaal varieert per domein. De "occlusie-familie" richtingen encoderen een domein-generaal "bewijs ontbreekt" signaal dat overdraagbaar is tussen modaliteiten en domeinen. De "chaotische-familie" richtingen zijn domein-specifiek en bijna orthogonaal, wat suggereert dat epistemische transparantie de overdraagbaarheid bepaalt.

Resultaten

• Spontane Terughoudendheid is Slecht: Over 16 VLM's uit vijf families (Gemini, Qwen, GPT-5, Gemma, LLaVA) is de spontane PECS laag. De beste spontane PECS is 0,292 (Gemini 2.5 Flash). De meeste modellen vertonen een sterke bias om te antwoorden, ongeacht de kwaliteit van het bewijs.
• Guided Prompting Ontsluit Latentie: Expliciete instructies om zich te onthouden verhogen de Abstention Recall met een mediaan van 1,9$\times$ bij video-native modellen, waarbij de PECS aanzienlijk verbetert (bijv. Gemini 3.1 Pro R-Low bereikt 0,568). Zelfs met begeleiding bereiken modellen echter geen verzadiging, wat wijst op een hardnekkige bottleneck.
• Interne Encodering vs. Output Onderdrukking:
  • Lineaire probes bereiken een AUROC tot 0,91 in cross-dataset transfer, wat bewijst dat het model "weet" dat de uitkomst onkenbaar is.
  • Cruciaal is dat dit signaal persisteert, zelfs wanneer beperkt tot samples waar het model confabuleerde (faalde in onthouding) onder standaard prompting.
  • Activation steering bevestigt dat dit signaal causaal is: het toevoegen van de void-richting aan de verborgen toestanden dwingt onthouding af.
• Prompt Gating: In Qwen3-VL-8B legt standaard prompting een eenrichtingsbeperking op tegen onthouding. Hoewel steering confabulatie kan forceren (het onderdrukken van onthouding) onder standaard prompts, kan het onthouding niet induceren tenzij de "guided" prompt wordt gebruikt. Dit suggereert dat de bottleneck een gate in de output-fase is, en niet een gebrek aan interne representatie.
• Redeneren en Confabulatie: Analyse van confabulatie-modi laat zien dat 87–99% van de fouten gepaard gaat met gehallucineerde premissen (het fabriceren van visuele observaties). In Qwen3-VL Think drukken de redeneersporen vaak twijfel uit, maar de uiteindelijke output overschrijft dit om een zelfverzekerd, gefabriceerd antwoord te geven.

Betekenis en Claims

Het artikel claimt dat de primaire bottleneck voor betrouwbare VLM-inzet in fysiek redeneren expressief is, en niet perceptueel.

• Representatie-Output Kloof: VLM's bezitten de interne epistemische signalen die nodig zijn om onderscheid te maken tussen beantwoordbare en onbeantwoordbare scenario's. De fout ligt in het autoregressieve generatieproces, dat deze signalen onderdrukt ten gunste van vloeiende, stellige antwoorden.
• Modaliteit-Specificiteit: De kloof is prominenter bij visuele onzekerheid dan bij tekstuele onzekerheid. Modellen zijn aanzienlijk beter in het detecteren van semantische onmogelijkheden (tekst) dan fysieke informatiegaten (video).
• Noodzaak van Interventie: Het dichten van deze kloof vereist waarschijnlijk interventies in de output-fase (bijv. decoding-constraints, steering, of gespecialiseerde trainingsdoelen) in plaats van simpelweg de modelgrootte te schalen of de visuele perceptie te verbeteren.
• Generaliseerbaarheid: De bevindingen repliceren over drie open-weight families (Qwen, Gemma, LLaVA) zonder gedeelde trainingspipelines, wat suggereert dat dit een fundamentele eigenschap is van huidige VLM-architecturen in plaats van een artefact van een specifiek model.

De auteurs concluderen dat TRAPSBench een noodzakelijk instrument biedt voor het evalueren en verbeteren van de epistemische kalibratie van AI-systemen, en benadrukken dat "weten wanneer men niet moet antwoorden" een kritieke, onopgeloste uitdaging blijft voor autonome agenten.