Learning to Deny: Action Denial in Multimodal Large Language Models

Technische Samenvatting: Leren weigeren: Actieontkenning in Multimodale Large Language Models

Probleemdefinitie
Ondanks snelle vooruitgang in video-begrip vertonen Multimodale Large Language Models (MLLM's) een kritiek blinde vlek: het onvermogen om een actie betrouwbaar te ontkennen wanneer sterke contextuele aanwijzingen aanwezig zijn, maar de definiërende beweging ontbreekt. Huidige modellen vertonen een "instemmingstendens" of affirmatieve bias, waarbij ze vaak voorspellen dat een actie plaatsvindటు op basis van de aanwezigheid van relevante objecten, actoren of achtergronden, zelfs wanneer de specifieke temporele dynamiek die vereist is voor die actie ontbreekt. Bestaande benchmarks (bijv. Kinetics, UCF101) bestaan voornamelijk uit positieve voorbeelden, wat spookcorrelaties tussen context en actie versterkt in plaats van modellen te leren causale beweging te verifiëren. Gevolgelijk falen modellen om het onderscheid te maken tussen een scène waarin een actie zou kunnen plaatsvinden en een scène waarin een actie daadwerkelijk plaatsvindt.

Methodologie
De auteurs stellen een tweeledige aanpak voor bestaande uit een nieuwe benchmark en een causaal redeneerframework:

1. UCF101-ActionDenial (UCF101-AD) Benchmark:

   • Constructie: Een dataset van 11.283 video's afgeleid van UCF101-categorieën, met gepaarde "Action-Presence" (positieve) en "Action-Denial" (negatieve) clips.
   • Negatief Ontwerp: Negatieve clips behouden de typische context (personen, objecten, locaties) van de doelactie, maar sluiten expliciet de definiërende beweging uit. Ze worden gecategoriseerd in twee typen:
     • Type 1 (Alleen Context): Saliente objecten en de omgeving zijn aanwezig, maar er vindt geen interactie plaats (bijv. een persoon nabij een piano zonder te spelen).
     • Type 2 (Zelfde Context, Andere Beweging): De setting en objecten zijn aanwezig, maar de actor voert een andere, plausibele actie uit (bijv. een basketbal dribbelen zonder een dunk te maken).
   • Evaluatieprotocol: Modellen worden getest via een Multiple-Choice Question (MCQ) opzet waarbij ze de correcte beschrijving moeten selecteren uit opties die de doelactie, afleiders en een "Geen" optie bevatten.

2. CausalAct Framework:

   • Causale Graaf Formulering: De auteurs modelleren actieherkenning als een Directed Acyclic Graph (DAG) waarbij een actie ($A$) het resultaat is van een causale keten: Context (Personen $P$, Objecten $O$, Locatie $L$) $\to$ Relaties (Ruimtelijk $S$, Interactie $I$) $\to$ Beweging ($M$) $\to$ Actie ($A$).
   • Prompting (CausalAct-0): De graafstructuur wordt geïnstantieerd als een natuurlijke taalprompt, die het model begeleidt bij het verifiëren van de causale keten (specifiek de aanwezigheid van beweging $M$) voordat een actie wordt bevestigd.
   • Finetuning: Om gevallen aan te pakken waarin modellen prompts niet goed volgen, introduceren de auteurs aanvullende finetuning-taken. Modellen worden getraind op graaf-gecentreerde Visual Question Answering (VQA) taken (het bevragen van knoopidentiteiten, randrelaties en causale paden) afgeleid van de graafstructuur. Cruciaal is dat deze taken de grondwaarheid-actielabels niet blootstellen om label-lekkage te voorkomen, waardoor het model gedwongen wordt de structuur van causaal redeneren te leren.

Belangrijkste Resultaten

• Baseline Falen: Evaluatie van 20 state-of-the-art MLLM's (inclusief Ovis, Intern, Qwen, VideoLLaMA en GPT-4o mini) onthult een ernstige prestatiekloof. Terwijl modellen een hoge nauwkeurigheid (>85-95%) bereiken op standaard Action-Presence clips, stort hun prestatie op Action-Denial clips in, waarbij de meeste modellen onder de 50% scoren (vaak in de range van 20-35%). Dit duidt op een sterke afhankelijkheid van contextuele shortcuts in plaats van bewegingsverificatie.
• Mens versus Model: Menselijke beoordelaars behaalden 86,6% nauwkeurigheid op de ontkenningstaak, wat bevestigt dat de dataset oplosbaar is en dat het falen specifiek is voor de huidige modelarchitecturen.
• Correlatie van Biases: De studie vindt een positieve correlatie tussen "shortcut learning" (falen om te ontkennen) en "sycophancy" (instemmen met een premisse). Modellen die onjuist een afleider-actie selecteren in MCQs, zijn ook vaker geneigd onjuist "Ja" te antwoorden op binaire vragen over de aanwezigheid van de actie.
• Redeneermodellen: Tegenintuïtief genoeg presteren "denkende" modellen (die expliciete redeneerstappen hebben) vaak slechter dan standaardmodellen op deze taak, omdat hun redeneerketens de neiging hebben om overmatig te focen op visuele context en acties hallucineren in plaats van de afwezigheid te rechtvaardigen.
• CausalAct Effectiviteit:
  • Zero-Shot: Sterkere taal-backbones (bijv. Ovis2.5-9B, Qwen2.5-VL-7B) vertonen verbeterde ontkenningsnauwkeurigheid wanneer ze worden gestuurd door CausalAct-prompts, hoewel zwakkere modellen kunnen verslechteren.
  • Finetuning: Het finetunen van kleinere modellen op graaf-gebaseerde VQA-taken verbetert de Action-Denial nauwkeurigheid aanzienlijk, waardoor het gedrag verschuift van contextuele shortcutting naar het verifiëren van de causale keten.
  • Generalisatie: De CausalAct-0 aanpak is overdraagbaar naar externe datasets (K400, HMDB51, SSv2, Diving48), wat de ontkenningsnauwkeurigheid over diverse distributies heen verbetert.
  • Ablatie: Prestaties dalen wanneer de causale graafstructuur na finetuning wordt gepruned of gerandomiseerd, wat bevestigt dat modellen leren de specifieke causale afhankelijkheden te gebruiken in plaats van simpelweg willekeurige tekstpatronen te volgen. Bovendien is het updaten van de vision encoder tijdens finetuning essentieel; het bevriezen hiervan leidt tot significante prestatieverslechtering.

Betekenis en Claims
Het artikel claimt de eerste systematische beoordeling van "actieontkenning" in MLLM's te bieden, waarmee een fundamentele beperking wordt blootgelegd waarbij modellen context gelijkstellen aan de aanwezigheid van een actie. De auteurs stellen dat robuust video-begrip vereist dat een model in staat is causaal te redeneren over de afwezigheid van beweging, en niet alleen over de aanwezigheid ervan.

De betekenis van het werk ligt in:

1. Diagnose: Het identificeren dat huidige MLLM's geen mechanisme hebben om definiërende bewegingen te verifiëren, wat leidt tot vals-positieven in kritieke toepassingen zoals surveillance en autonome systemen.
2. Benchmarking: Het introduceren van UCF101-AD als een noodzakelijk instrument voor het diagnosticeren en verbeteren van causaal redeneren, verder reikend dan standaard positieve actieherkenning.
3. Methodologisch Inzicht: Het aantonen dat ontkenning een leerbare redeneervaardigheid is. Door scène-begrip te structureren via causale grafen en modellen te trainen om preconditionen (interactie en beweging) te verifiëren, is het mogelijk om de affirmatieve bias te mitigeren en vals-positieven te verminderen zonder te vertroukken op negatieve actielabels tijdens de training.

De auteurs hanteren een bescheiden standpunt door op te merken dat hoewel CausalAct de prestaties verbetert, het het probleem niet volledig oplost en dat huidige "denkende" modellen nog steeds worstelen met negatieve restricties. Het werk dient als een fundament voor de verdere ontwikkeling van causaal redeneren in multimodale systemen.