What's Missing in Vision-Language Models? Probing Their Struggles with Causal Order Reasoning

Sintesi Tecnica: Cosa manca ai Modelli Vision-Language? Indagare le loro difficoltà nel ragionamento dell'ordine causale

Problematica
Nonostante le impressionanti prestazioni dei modelli Vision-Language (VLM) in compiti a valle come il Visual Question Answering (VQA) e l'object detection, la loro capacità di comprendere e ragionare sulle relazioni causali negli input visivi rimane poco chiara. I benchmark esistenti spesso confondono il ragionamento causale con altri tipi di ragionamento o permettono ai modelli di sfruttare "scorciatoie" basate sul riconoscimento di oggetti e sull'identificazione di attività per arrivare a risposte corrette senza una reale comprensione causale. Di conseguenza, le attuali valutazioni non riescono a isolare e valutare rigorosamente la specifica capacità di ragionamento causale di un modello. Inoltre, non è noto se i VLM possano distinguere tra direzioni causali valide e invalide (ad esempio, distinguere "La pioggia causa che la donna tenga un ombrello" da "Tenere un ombrello causa la pioggia").

Metodologia
Per affrontare queste lacune, gli autori propongono un framework completo che comprende nuovi benchmark, compiti di valutazione controllata, analisi a livello di dati e strategie di fine-tuning mirate.

1. Nuovi Benchmark (VQA-Causal e VCR-Causal):
   Gli autori introducono due nuovi dataset progettati specificamente per isolare il ragionamento causale.

• Costruzione: Derivati dai set di validazione di VQA e VCR, i dataset consistono rispettivamente in 1.947 e 3.511 istanze.
• Formato: Ogni immagine è accoppiata con 12 coppie di didascalie. All'interno di ogni coppia, le didascalie sono identiche tranne che per l'ordine causale (ad esempio, "L'evento A è causato dall'evento B" rispetto a "L'evento B è causato dall'evento A").
• Congiunzioni Causali: I dataset utilizzano 12 diverse congiunzioni causali (ad esempio, è causato da, perché, risulta in, porta a) per testare la sensibilità alle variazioni dell'ordine sintattico.
• Valutazione: I modelli vengono valutati in un setting zero-shot. La metrica misura la proporzione di immagini in cui il modello assegna un punteggio di corrispondenza più alto alla didascalia causale corretta rispetto a quella errata.

2. Valutazione Controllata (Test di Comprensione di Oggetti e Attività):
   Per determinare se la scarsa performance causale derivi da una mancanza di comprensione visiva di base, gli autori hanno costruito un set di test modificato. Questo set include le stesse immagini di VQA-Causal ma le accoppia con didascalie che descrivono direttamente oggetti e attività, piuttosto che relazioni causali. Ciò isola il riconoscimento di feature di basso livello dal ragionamento di alto livello.

3. Analisi a Livello di Dati:
   Gli autori hanno indagato la prevalenza di espressioni causali nei corpora di addestramento su larga scala (LAION-400M, MSCOCO) e nei benchmark (VQA, VCR). Hanno quantificato la frequenza di termini espliciti causali per spiegare potenziali carenze nell'addestramento.

4. Strategia di Fine-Tuning (CausalCLIP):
   Per mitigare le limitazioni identificate, gli autori hanno sviluppato un approccio di fine-tuning utilizzando casi di "hard negative".

• Dati: Hanno estratto 4.891 domande "Why" dal set di addestramento di VQA e generato coppie di didascalie differenti solo per direzione causale.
• Addestramento: Utilizzando un'architettura basata su CLIP (NegCLIP), hanno esteso l'obiettivo di apprendimento contrastivo. Per ogni immagine, il modello è addestrato a distinguere la didascalia causale corretta dalla didascalia con ordine causale errato (hard negative) e da altre didascalie negative casuali.

Risultati Chiave

• Gap di Performance: Attraverso 12 VLM valutati (inclusi varianti di CLIP, BLIP, LLaVA e Qwen), la performance su VQA-Causal e VCR-Causal è stata scarsa. Dieci modelli su dodici hanno ottenuto un'accuratezza non superiore al 52%, che è solo marginalmente superiore al caso casuale (50%) e significativamente inferiore alla performance umana (~98%).
• Basso Livello vs Alto Livello: Nel Test di Comprensione di Oggetti e Attività, i modelli hanno dimostrato una forte performance (accuratezza del 70–95%), confermando che il fallimento nel ragionamento causale non è dovuto all'incapacità di riconoscere oggetti o attività, ma a un fallimento nel catturare le relazioni di alto livello tra di essi.
• Scarsità di Dati: L'analisi ha rivelato che le espressioni causali esplicite sono estremamente rare nei dati di addestramento: solo lo ~0,08% in LAION-400M e lo ~0,01% in MSCOCO. Allo stesso modo, solo lo 0,92% delle domande VQA e il 35,43% delle domande VCR coinvolgono il ragionamento causale, con quasi la metà delle domande causali di VCR risolvibili tramite scorciatoie di oggetti/attività.
• Efficacia del Fine-Tuning: Il modello fine-tuned, CausalCLIP, ha mostrato miglioramenti significativi. Ha raggiunto un'accuratezza del 61,46% sul benchmark in-domain VQA-Causal e del 57,37% sul benchmark out-of-domain VCR-Causal. Fondamentalmente, questo miglioramento è stato ottenuto senza degradare la performance di retrieval a valle su MSCOCO e Flickr30K.
• Sensibilità Sintattica: I modelli hanno mostrato una sensibilità variabile alle congiunzioni causali. Ad esempio, le varianti di CLIP hanno performato meglio quando l'effetto precedeva la causa (ad esempio, è causato da) ma hanno faticato quando la causa precedeva l'effetto (ad esempio, risulta in).

Significatività e Rivendicazioni
Il paper sostiene di fornire i primi benchmark indipendenti e rigorosi per valutare il ragionamento causale nei VLM, andando oltre le vulnerabilità da "scorciatoia" dei dataset esistenti. Gli autori sostengono che la principale limitazione dei modelli VLM attuali nel ragionamento causale sia un problema a livello di dati: la scarsità di espressioni causali esplicite nei corpora di pre-training impedisce ai modelli di apprendere naturalmente queste relazioni.

Lo studio dimostra che, mentre i VLM eccellono nel riconoscimento di feature visive di basso livello, mancano di robuste capacità di ragionamento causale. Tuttavia, gli autori mostrano che un fine-tuning mirato con esempi di hard negative può colmare efficacemente questo divario, migliorando le capacità di ragionamento causale pur mantenendo la generalizzazione e la performance a valle. Il lavoro evidenzia un'area critica per la ricerca futura, suggerendo che affrontare la comprensione causale richiede non solo cambiamenti architettonici, ma anche una rivalutazione della composizione dei dati di addestramento.