Technische Samenvatting: De Abstractiekloof in Causaal Redeneren met Beeld-Taalmodellen

Probleemstelling

Beeld-taalmodellen (VLMs) hebben indrukwekkende vaardigheden aangetoond bij het genereren van vloeiende, contextueel passende causale verklaringen voor visuele scenario's. Er blijft echter een kritieke onzekerheid bestaan: bezitten deze modellen een echt structureel begrip van causale mechanismen, of genereren ze louter taalkundig plausibele tekst via statistische patroonherkenning? Huidige evaluatiemethoden onderscheiden vaak niet tussen plausibiliteit (taalkundige vloeiendheid die menselijk vertrouwen inspireert) en trouw (een accurate weerspiegeling van het interne redeneerproces van het model). Deze kloof vormt aanzienlijke risico's in hoog-risicodomeinen zoals medische beeldvorming en autonoom rijden, waar het begrijpen van de redenering achter een beslissing even consequent is als de beslissing zelf. Hoewel recente benchmarks de vaardigheid van VLMs hebben getest om geldige causale ketens uit vooraf geleverde kandidaten te selecteren, beoordelen ze niet het vermogen van het model om deze structuren onafhankelijk te genereren.

Methodologie

Om dit aan te pakken, introduceren de auteurs een dual-probe evaluatiekader dat is ontworpen om taalkundige vloeiendheid te isoleren van structurele abstractie. Dit kader maakt gebruik van Judea Pearls Ladder van Causaliteit, waarbij vragen worden ingedeeld in drie niveaus:

1. Niveau 1 (Associatie): Correlaties observeren.
2. Niveau 2 (Interventie): Redeneren over de effecten van hypothetische acties.
3. Niveau 3 (Counterfactueel): Alternatieve scenario's bedenken die in strijd zijn met de waargenomen realiteit.

De methodologie maakt gebruik van twee verschillende probes:

• Alleen-tekst-probe: Meet plausibiliteit door standaard tekstuele antwoorden te evalueren zonder structurele beperkingen.
• Keten-tekst-probe: Meet trouw door modellen te verplichten eerst een expliciete, lichtgewicht causale keten (bijv. $A \rightarrow B \rightarrow C$) te genereren voordat ze een tekstuele verklaring geven. Deze volgorde weerspiegelt de cognitieve sequentie van structuur-voor-expressie, met de hypothese dat echt causaal begrip vereist dat er eerst een structurele representatie wordt opgebouwd voordat deze verbaal wordt uitgedrukt.

De auteurs definiëren de Abstractiekloof (AG)-metriek om de discrepantie tussen deze twee vaardigheden te kwantificeren:
$$AG_\ell(M) = \frac{E[T(M, d)] - E[C(M, d)]}{E[T(M, d)]}$$
waarbij $T$ en $C$ respectievelijk de scores voor tekst- en ketengeneratie vertegenwoordigen. Een hoge AG geeft aan dat een model vloeiende tekst produceert maar faalt in het genereren van geldige structurele representaties.

De evaluatie wordt uitgevoerd op CAGE (Causal Abstraction Gap Evaluation), een nieuwe benchmark bestaande uit 49.500 open vragen over 5.500 real-world COCO-afbeeldingen. CAGE beslaat alle drie niveaus van Pearls hiërarchie en vereist generatie zonder steunstructuur. De studie evalueert acht open-source VLMs met behulp van een multi-judge kader (GPT-4o en Claude 3.5 Sonnet) met menselijke validatie om betrouwbaarheid te waarborgen.

Belangrijkste Bijdragen

1. CAGE Benchmark: De eerste grootschalige benchmark voor visueel causaal redeneren die expliciete generatie van structurele output (causale ketens) vereist, gebaseerd op real-world afbeeldingen over Pearls drie causale niveaus.
2. Dual-Probe Evaluatiekader: Een methodologie die abstractievermogen isoleert van taalkundige vloeiendheid, gevalideerd via multi-judge evaluatie en studies naar menselijke overeenstemming.
3. Ontdekking van de Abstractiekloof: Systematische evaluatie die een ernstige kloof blootlegt tussen taalkundige vloeiendheid en gestructureerd redeneren in de meeste huidige VLMs.
4. Analyse van Trainingskaders: Experimenten die aantonen dat expliciete keten-supervisie via fine-tuning op 45.000 keten-geannoteerde voorbeelden de kloof niet sluit voor modellen met een lage basisscore, wat suggereert dat structurele abstractievaardigheden niet eenvoudig worden ingeprent via standaard fine-tuning als deze tijdens het pretraining ontbreken.

Belangrijkste Resultaten

• Ernstige Abstractiekloof: Zeven van de acht geëvalueerde VLMs vertoonden een AG van meer dan 0,50. Deze modellen behaalden hoge tekstscores (6–8/10) maar scoorden onder de 2,5/10 op ketengeneratie. CogVLM2 behaalde bijvoorbeeld een tekstscore van 8,11 op Niveau 3, maar slechts 1,37 voor ketengeneratie.
• LLaVA-NeXT Uitzondering: Eén model, LLaVA-NeXT, behaalde een bijna-nul AG (0,03), wat aantoont dat het vermogen tot trouwe causale ketengeneratie bestaat binnen huidige VLM-architecturen en afhankelijk is van specifieke pretraining en architecturale keuzes.
• Beperkingen van Fine-tuning: Fine-tuning op 45.000 keten-geannoteerde voorbeelden slaagde er niet in de kloof te dichten voor modellen met een lage basisscore (bijv. MiniGPT-4 en mPLUG-Owl2). In sommige gevallen verslechterde fine-tuning de prestaties van ketengeneratie of verhoogde het het aantal lege outputs. Omgekeerd toonden modellen met enige initiële structurele capaciteit (bijv. Qwen-VL-Chat) verbetering, wat de hypothese ondersteunt dat fine-tuning bestaande vaardigheden kan activeren maar ze niet van nul kan creëren.
• Onafhankelijkheid van Grounding: De studie vond dat perceptuele grounding (het vermijden van objecthallucinaties) en structurele grounding (causale abstractie) onafhankelijke vaardigheden zijn. Fine-tuning op causale ketens had geen invloed op hallucinatiepercentages, en modellen die waren getraind voor hallucinatiemitigatie (bijv. LLaVA-RLHF) vertoonden nog steeds een ernstige AG.
• Prestaties van Recentste Modellen: Evaluatie van recente modellen toonde aan dat hoewel open-source modellen zoals Qwen3-VL nog steeds een matige kloof vertonen (AG = 0,313), de gesloten-source Gemini 2.5 Flash een bijna-nul AG behaalde (-0,006), wat suggereert dat architecturale keuzes (zoals sparse mixture-of-experts) kunnen helpen om structurele generatiecapaciteiten te behouden.

Betekenis en Claims

Het artikel beweert dat de Abstractiekloof een fundamenteel structureel tekort in huidige VLMs blootlegt: het vermogen om taalkundig plausibele causale verklaringen te genereren, impliceert niet het vermogen om causale structuur te representeren. Deze bevinding biedt empirisch onderbouwing voor het onderscheid tussen plausibiliteit en trouw in uitlegbaar AI.

De auteurs betogen dat de asymmetrie tussen verificatie en generatie (waarbij modellen goed presteren bij ketenselectie maar slecht bij generatie) aangeeft dat standaard meerkeuze-evaluaties de redeneercapaciteiten van VLMs kunnen overschatten. Bovendien impliceert de onafhankelijkheid van perceptuele en structurele grounding dat interventies die gericht zijn op één vorm van betrouwbaarheid (bijv. het verminderen van hallucinaties) niet als vanzelfsprekend naar de andere kunnen worden overgedragen.

De studie concludeert dat de Abstractiekloof geen onvermijdelijke eigenschap van VLM-architecturen is, maar wordt beïnvloed door trainingsprocedures en afstemmingsmethoden. Specifiek kan RLHF-optimalisatie voor vloeiende tekst gestructureerde output onderdrukken in dichte architecturen, terwijl architecturen zoals MoE (Mixture of Experts) de scheiding tussen taalkundige verwerking en structureel redeneren beter kunnen behouden. De CAGE-benchmark wordt vrijgegeven als een diagnostisch hulpmiddel om trouw causaal redeneren te beoordelen voordat VLMs worden ingezet in hoog-risico-toepassingen.