What's Missing in Vision-Language Models? Probing Their Struggles with Causal Order Reasoning

Technische Samenvatting: Wat ontbreekt er in Vision-Language Models? Het onderzoeken van hun moeite met causale ordeningsredeneren

Probleemstelling
Ondanks de indrukwekkende prestaties van Vision-Language Models (VLM's) op downstream-taken zoals visuele vraagbeantwoording (VQA) en objectdetectie, blijft hun vermogen om te redeneren over causale relaties in visuele inputs onduidelijk. Bestaande benchmarks combineren vaak causale redenering met andere soorten redeneren of laten modellen toe om "shortcuts" te exploiteren op basis van objectherkenning en activiteitsidentificatie om tot correcte antwoorden te komen zonder werkelijk causaal begrip. Gevolgelijk slagen huidige evaluaties er niet in om het specifieke vermogen van een model voor causale redenering te isoleren en rigoureus te beoordelen. Bovendien is het onbekend of VLM's onderscheid kunnen maken tussen geldige en ongeldige causale richtingen (bijv. het onderscheiden van "Regen veroorzaakt dat de vrouw een paraplu vasthoudt" van "Het vasthouden van een paraplu veroorzaakt regen").

Methodologie
Om deze hiaten aan te pakken, stellen de auteurs een uitgebreid framework voor bestaande uit nieuwe benchmarks, gecontroleerde evaluatietaken, data-niveau analyse en gerichte fine-tuning strategieën.

1. Nieuwe Benchmarks (VQA-Causal en VCR-Causal):
   De auteurs introduceren twee nieuwe datasets die specifiek zijn ontworpen om causale redenering te isoleren.

• Constructie: Afgeleid van de validatiesets van VQA en VCR, bestaan de datasets uit respectievelijk 1.947 en 3.511 instanties.
• Formaat: Elke afbeelding wordt gekoppeld aan 12 paren bijschriften. Binnen elk paar zijn de bijschriften identiek, behalve voor de causale volgorde (bijv. "Gebeurtenis A wordt veroorzaakt door Gebeurtenis B" versus "Gebeurtenis B wordt veroorzaakt door Gebeurtenis A").
• Causale Conjuncties: De datasets maken gebruik van 12 verschillende causale conjuncties (bijv. wordt veroorzaakt door, omdat, resulteert in, leidt tot) om de gevoeligheid voor syntactische ordeningsvariaties te testen.
• Evaluatie: Modellen worden geëvalueerd in een zero-shot setting. De metriek meet het aandeel afbeeldingen waarbij het model een hogere matchingscore toekent aan het correcte causale bijschrift dan aan het incorrecte.

2. Gecontroleerde Evaluatie (Object en Activiteit Begrip Test):
   Om te bepalen of slechte causale prestaties voortkomen uit een gebrek aan basis visueel begrip, hebben de auteurs een aangepaste testset geconstrueerd. Deze set bevat dezelfde afbeeldingen als VQA-Causal, maar koppelt ze aan bijschriften die direct objecten en activiteiten beschrijven, in plaats van causale relaties. Dit isoleert laag-niveau feature herkenning van hoog-niveau redenering.

3. Data-niveau Analyse:
   De auteurs onderzochten de prevalentie van causale expressies in grootschalige trainingscorpora (LAION-400M, MSCOCO) en benchmark datasets (VQA, VCR). Ze kwantificeerden de frequentie van expliciete causale termen om mogelijke tekortkomingen in de training te verklaren.

4. Fine-Tuning Strategie (CausalCLIP):
   Om de geïdentificeerde beperkingen te mitigeren, ontwikkelden de auteurs een fine-tuning benadering met behulp van "hard negative" gevallen.

• Data: Ze extraheerden 4.891 "Waarom"-vragen uit de VQA trainingsset en genereerden bijschriftparen die alleen verschillen in causale richting.
• Training: Gebruikmakend van een CLIP-gebaseerde architectuur (NegCLIP), breidden ze de contrastieve leerdoelstelling uit. Voor elke afbeelding wordt het model getraind om het correcte causale bijschrift te onderscheiden van het bijschrift met de incorrecte causale volgorde (hard negative) en andere willekeurige negatieve bijschriften.

Belangrijkste Resultaten

• Prestatiekloof: Over 12 geëvalueerde VLM's (inclusief CLIP, BLIP, LLaVA, en Qwen varianten), was de prestatie op VQA-Causal en VCR-Causal slecht. Tien van de twaalf modellen behaalden een nauwkeurigheid die niet hoger was dan 52%, wat slechts marginaal boven willekeurige gokken (50%) ligt en significant lager is dan menselijke prestaties (~98%).
• Laag-niveau vs. Hoog-niveau: In de Object en Activiteit Begrip Test vertoonden de modellen sterke prestaties (70–95% nauwkeurigheid), wat bevestigt dat het falen in causale redenering niet komt door een onvermogen om objecten of activiteiten te herkennen, maar door een onvermogen om hoog-niveau relaties tussen hen te vatten.
• Data-schaarste: Analyse toonde aan dat expliciete causale expressies extreem zeldzaam zijn in trainingsdata: slechts ~0,08% in LAION-400M en ~0,01% in MSCOCO. Verder bevatten slechts 0,92% van de VQA en 35,43% van de VCR vragen causale redenering, waarbij bijna de helft van de VCR causale vragen oplosbaar is via object/activiteit shortcuts.
• Effectiviteit van Fine-Tuning: Het gefinetunede model, CausalCLIP, vertoonde significante verbeteringen. Het behaalde 61,46% nauwkeurigheid op de in-domain VQA-Causal benchmark en 57,37% op de out-of-domain VCR-Causal benchmark. Cruciaal was dat deze verbetering werd bereikt zonder de downstream retrieval prestaties op MSCOCO en Flickr30K te verslechteren.
• Syntactische Gevoeligheid: Modellen vertoonden variërende gevoeligheid voor causale conjuncties. Zo presteerden CLIP-varianten beter wanneer het gevolg voorafging aan de oorzaak (bijv. wordt veroorzaakt door) maar hadden moeite wanneer de oorzaak voorafging aan het gevolg (bijv. resulteert in).

Betekenis en Claims
Het artikel claimt de eerste rigoureuze, onafhankelijke benchmarks te bieden voor het evalueren van causale redenering in VLM's, bewegend voorbij de "shortcut" kwetsbaarheden van bestaande datasets. De auteurs stellen dat de primaire beperking van huidige VLM's in causale redenering een data-niveau probleem is: de schaarste aan expliciete causale expressies in pre-training corpora voorkomt dat modellen deze relaties natuurlijk leren.

De studie demonstreert dat hoewel VLM's uitblinken in laag-niveau visuele feature herkenning, ze een gebrek hebben aan robuuste causale redeneer vermogens. De auteurs tonen echter aan dat gerichte fine-tuning met hard negative voorbeelden dit gat effectief kan overbruggen, waardoor de causale redeneer vermogens worden verbeterd terwijl generalisatie en downstream prestaties behouden blijven. Het werk benadrukt een kritiek gebied voor toekomstig onderzoek, en suggereert dat het aanpakken van causaal begrip niet alleen architecturale veranderingen vereist, maar ook een herwaardering van de samenstelling van trainingsdata.