Learning to Deny: Action Denial in Multimodal Large Language Models

Sintesi Tecnica: Imparare a Negare: la Negazione dell'Azione nei Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM)

Definizione del Problema
Nonostante i rapidi progressi nella comprensione del video, i Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM) mostrano un punto cieco critico: l'incapacità di negare in modo affidabile un'azione quando sono presenti forti indizi contestuali, ma il movimento definitorio è assente. Gli attuali modelli mostrano un "bias di compiacenza" o un'inclinazione affermativa, prevedendo spesso che un'azione stia avvenendo sulla base della presenza di oggetti, attori o sfondi rilevanti, anche quando le dinamiche temporali specifiche richieste per quell'azione sono mancanti. I benchmark esistenti (ad es., Kinetics, UCF101) consistono principalmente di esempi positivi, rinforzando correlazioni spurie tra contesto e azione piuttosto che insegnare ai modelli a verificare il movimento causale. Di conseguenza, i modelli non riescono a distinguere tra una scena in cui un'azione potrebbe accadere e una in cui un'azione sta accadendo.

Metodologia
Gli autori propongono un approccio a due fronti che coinvolge un nuovo benchmark e un framework di ragionamento causale:

1. Benchmark UCF101-ActionDenial (UCF101-AD):

   • Costruzione: Un dataset di 11.283 video derivati dalle categorie di UCF101, caratterizzato da clip accoppiate "Presenza dell'Azione" (positiva) e "Negazione dell'Azione" (negativa).
   • Design dei Negativi: Le clip negative preservano il tipico contesto (persone, oggetti, luoghi) dell'azione target, ma escludono esplicitamente il movimento definitorio. Sono categorizzate in due tipi:
     • Tipo 1 (Solo Contesto): Gli oggetti salienti e l'ambiente sono presenti, ma non avviene alcuna interazione (ad es., una persona vicino a un pianoforte senza suonare).
     • Tipo 2 (Stesso Contesto, Movimento Diverso): L'ambientazione e gli oggetti sono presenti, ma l'attore compie un'azione diversa e plausibile (ad es., palleggiare con un basket senza schiacciare).
   • Protocollo di Valutazione: I modelli vengono testati tramite un setup di Domande a Scelta Multipla (MCQ) in cui devono selezionare la didascalia corretta tra opzioni che includono l'azione target, distrattori e un'opzione "Nessuno".

2. Framework CausalAct:

   • Formulazione del Grafo Causale: Gli autori modellano il riconoscimento dell'azione come un Grafo Aciclico Diretto (DAG) dove un'azione ($A$) è l'esito di una catena causale: Contesto (Persone $P$, Oggetti $O$, Luogo $L$) $\to$ Relazioni (Spaziali $S$, Interazione $I$) $\to$ Movimento ($M$) $\to$ Azione ($A$).
   • Prompting (CausalAct-0): La struttura del grafo viene istanziata come un prompt in linguaggio naturale, guidando il modello a verificare la catena causale (specificamente la presenza del movimento $M$) prima di confermare un'azione.
   • Finetuning: Per affrontare i casi in cui i modelli non riescono a seguire i prompt, gli autori introducono compiti di finetuning ausiliari. I modelli vengono addestrati su compiti di Visual Question Answering (VQA) incentrati sul grafo (indagando l'identità dei nodi, le relazioni tra gli archi e i percorsi causali) derivati dalla struttura del grafo. Fondamentalmente, questi compiti non espongono le etichette dell'azione reale per evitare il "label leakage", costringendo il modello a imparare la struttura del ragionamento causale.

Risultati Chiave

• Fallimento del Baseline: La valutazione di 20 MLLM allo stato dell'arte (inclusi Ovis, Intern, Qwen, VideoLLaMA e GPT-4o mini) rivela un grave divario di prestazioni. Mentre i modelli raggiungono un'accuratezza elevata (>85-95%) sulle clip standard di Presenza dell'Azione, le loro prestazioni sulle clip di Negazione dell'Azione crollano, con la maggior parte dei modelli che scende sotto il 50% (spesso nell'ordine del 20-35%). Ciò indica una forte dipendenza da scorciatoie contestuali piuttosto che dalla verifica del movimento.
• Umano vs. Modello: Gli valutatori umani hanno raggiunto un'accuratezza dell'86,6% nel compito di negazione, confermando che il dataset è risolvibile e che il fallimento è specifico delle attuali architetture dei modelli.
• Correlazione dei Bias: Lo studio trova una correlazione positiva tra "apprendimento per scorciatoie" (fallire la negazione) e "sifofia" (accettare una premessa). I modelli che selezionano erroneamente un'azione distrattore nelle MCQ sono anche più propensi a rispondere erroneamente "Sì" a domande binarie sulla presenza dell'azione.
• Modelli di Ragionamento: Controintuitivamente, i modelli di "pensiero" (quelli con passaggi di ragionamento espliciti) spesso performano peggio dei modelli standard in questo compito, poiché le loro catene di ragionamento tendono a sovra-indicizzare il contesto visivo e ad allucinare azioni invece di giustificare l'assenza.
• Efficacia di CausalAct:
  • Zero-Shot: I backbone linguistici più forti (ad es., Ovis2.5-9B, Qwen2.5-VL-7B) mostrano un'accuratezza di negazione migliorata quando guidati dai prompt CausalAct, sebbene i modelli più deboli possano subire un degrado.
  • Finetuning: Il finetuning di modelli più piccoli su compiti VQA basati sul grafo migliora significativamente l'accuratezza della Negazione dell'Azione, spostando il comportamento dalle scorciatoie contestuali alla verifica della catena causale.
  • Generalizzazione: L'approccio CausalAct-0 si trasferisce a dataset esterni (K400, HMDB51, SSv2, Diving48), migliorando l'accuratezza della negazione attraverso diverse distribuzioni.
  • Ablazione: Le prestazioni diminuiscono quando la struttura del grafo causale viene potata o randomizzata dopo il finetuning, confermando che i modelli imparano a utilizzare le specifiche dipendenze causali piuttosto che limitarsi a seguire schemi testuali arbitrari. Inoltre, aggiornare l'encoder visivo durante il finetuning è essenziale; congelarlo porta a un significativo degrado delle prestazioni.

Significatività e Rivendicazioni
Il documento sostiene di fornire la prima valutazione sistematica della "negazione dell'azione" nei MLLM, esponendo un limite fondamentale in cui i modelli equiparano il contesto all'occorrenza dell'azione. Gli autori sostengono che una comprensione robusta del video richieda la capacità di ragionare causalmente sull'assenza di un movimento, non solo sulla sua presenza.

La significatività del lavoro risiede in:

1. Diagnosi: Identificare che gli attuali MLLM mancano di un meccanismo per verificare i movimenti definitori, portando a falsi positivi in applicazioni critiche come la sorveglianza e i sistemi autonomi.
2. Benchmarking: Introdurre UCF101-AD come uno strumento necessario per diagnosticare e migliorare il ragionamento causale, andando oltre il semplice riconoscimento dell'azione positiva.
3. Insight Metodologico: Dimostrare che la negazione è una capacità di ragionamento apprendibile. Strutturando la comprensione della scena attraverso grafi causali e addestrando i modelli a verificare le precondizioni (interazione e movimento), è possibile mitigare il bias affermativo e ridurre i falsi positivi senza fare affidamento su etichette di azione negativa durante l'addestramento.

Gli autori mantengono una posizione modesta, osservando che, sebbene CausalAct migliori le prestazioni, non risolve completamente il problema e che i modelli di "pensiero" attuali faticano ancora con i vincoli negativi. Il lavoro funge da fondamento per l'avanzamento del ragionamento causale nei sistemi multimodali.