Which Way Did It Move? Diagnosing and Overcoming Directional Motion Blindness in Video-LLMs

Riepilogo Tecnico: Diagnosi e Superamento della Cecità al Movimento Direzionale nei Video-LLM

Problema: Cecità al Movimento Direzionale
Nonostante i rapidi progressi nella comprensione temporale dei video, i Modelli Linguistici su Grande Scala per Video (Video-LLM) mostrano un fallimento fondamentale nella percezione della direzione del movimento sul piano dell'immagine con segno. Su video sintetici semplici in cui un singolo oggetto si muove strettamente a sinistra, a destra, in alto o in basso, la maggior parte dei Video-LLM performa vicino al caso casuale (25%), anche quando identificano correttamente l'aspetto dell'oggetto (ad esempio, il colore). Gli autori definiscono questo fenomeno cecità al movimento direzionale.

Attraverso un'analisi meccanicistica, gli autori diagnosticano la causa radice non come una mancanza di percezione visiva, ma come un divario di associazione della direzione. Dimostrano che le informazioni sulla direzione del movimento rimangono linearmente accessibili lungo tutta la pipeline del Video-LLM: dall'encoder visivo, attraverso il proiettore, fino agli stati nascosti dell'LLM. Tuttavia, il token di lettura finale non riesce a legare in modo affidabile questo segnale interno alla corretta opzione di risposta verbale (ad esempio, mappare il segnale percepito "verso sinistra" all'opzione testuale "Sinistra"). Questo divario persiste attraverso architetture e scale diverse, indicando una limitazione strutturale nel modo in cui questi modelli convertono i segnali percettivi in risposte a livello linguistico.

Metodologia
Il paper introduce un framework diagnostico controllato e una soluzione basata esclusivamente sull'addestramento per colmare questo divario.

1. Famiglia di Dataset MODIRECT:
   Per isolare e valutare la comprensione della direzione del movimento, gli autori introducono MODIRECT, una famiglia di dataset composta da tre sottoinsiemi:

   • MODIRECT-INST: Un dataset per l'addestramento all'istruzione derivato dal dominio sintetico più semplice (Primitive-on-Syn), utilizzato per addestrare i modelli su query relative alla direzione.
   • MODIRECT-SYNBENCH: Un benchmark sintetico controllato con un disegno fattoriale $2 \times 2$ (Primo piano: Primitive vs. Cutout; Sfondo: Sintetico vs. Reale). Ciò consente una valutazione rigorosa delle prestazioni nel dominio e della generalizzazione fuori dominio (OOD).
   • MODIRECT-REALBENCH: Un benchmark del mondo reale curato da dataset esistenti (Something-Something-V2, KTH, TOMATO) per testare la trasferibilità su video naturali senza supervisione della direzione nel mondo reale durante l'addestramento.

2. Analisi Diagnostica:
   Gli autori impiegano il probing lineare e l'analisi dei vettori concettuali (differenza delle medie) per tracciare il segnale della direzione del movimento.

   • Risultati: Sebbene l'addestramento all'istruzione sul dominio sorgente (Primitive-on-Syn) colmi con successo il divario di associazione per quel dominio specifico, le prestazioni degradano significativamente su domini OOD complessi (ad esempio, Cutout-on-Real).
   • Causa Radice del Fallimento OOD: L'analisi dei vettori concettuali della direzione del movimento rivela che, mentre l'orientamento (direzione nello spazio di rappresentazione) si allinea tra i domini dopo l'addestramento, la magnitudine del segnale crolla bruscamente in ambienti visivi complessi. Il modello apprende la struttura corretta della direzione, ma il segnale diventa troppo debole per essere letto in modo affidabile dalla testa linguistica.

3. DeltaDirect:
   Per colmare il deficit di magnitudine, gli autori propongono DeltaDirect, un obiettivo ausiliario basato esclusivamente sull'addestramento applicato a livello di proiettore.

   • Meccanismo: DeltaDirect prevede vettori di movimento 2-D normalizzati a partire dai delta delle caratteristiche tra frame adiacenti ($\delta_t = F_{t+1} - F_t$) prima che le caratteristiche entrino nell'LLM.
   • Supervisione: Utilizza vettori di movimento analiticamente disponibili dai dati sintetici come target di supervisione. La funzione di perdita incoraggia l'output del proiettore a trasportare un segnale di spostamento con segno più forte.
   • Inferenza: Il ramo ausiliario viene scartato dopo l'addestramento, lasciando invariati l'architettura del modello, il formato di input e la procedura di decodifica.

Contributi Chiave

1. Identificazione della Cecità al Movimento Direzionale: Il paper stabilisce che i Video-LLM non riescono a distinguere le direzioni di movimento di base con segno nonostante un forte riconoscimento dell'aspetto, diagnosticando questo come un divario di associazione della direzione piuttosto che un fallimento percettivo.
2. Diagnosi del Fallimento di Generalizzazione: Attraverso l'analisi dei vettori concettuali, gli autori mostrano che l'addestramento all'istruzione allinea gli orientamenti della direzione tra i domini ma non riesce a mantenere la magnitudine del segnale in condizioni visive complesse, portando a divari di generalizzazione OOD.
3. MODIRECT e DeltaDirect: L'introduzione di una famiglia di dataset controllati per la direzione del movimento e di un obiettivo a livello di proiettore guidato dalla diagnosi (DeltaDirect) che rafforza i segnali di movimento senza alterare l'inferenza.

Risultati

• Prestazioni Sintetiche: Su MODIRECT-SYNBENCH, l'addestramento all'istruzione da solo migliora l'accuratezza da ~26% a ~79%. L'aggiunta di DeltaDirect aumenta ulteriormente la media al 85,4%, con un guadagno significativo di 11,2 punti sul dominio più difficile (Cutout-on-Real).
• Trasferimento nel Mondo Reale: Senza aver visto video del mondo reale durante l'addestramento, DeltaDirect migliora l'accuratezza della direzione del movimento nel mondo reale su MODIRECT-REALBENCH di 21,9 punti rispetto alla baseline vanilla (dal 43,1% al 65,0%).
• Comprensione Video Generale: Crucialmente, DeltaDirect preserva o migliora le prestazioni su benchmark standard di comprensione video generale (ad esempio, MVBench, NExT-QA), dimostrando che la supervisione del movimento non comporta un compromesso delle capacità video più ampie.
• Scalabilità: L'approccio è efficace su diversi backbones (LLaVA-Video, LLaVA-OneVision, Qwen3-VL) e regimi di addestramento (LoRA e Full Fine-Tuning).

Significato e Affermazioni
Il paper afferma che il fallimento dei Video-LLM nella direzione del movimento non è dovuto a una mancanza di dati visivi o di capacità del modello, ma a un fallimento specifico nell'associare i segnali percettivi interni alle output verbali. Localizzando questo fallimento in un "deficit di magnitudine" nei domini complessi, gli autori sostengono che una supervisione guidata dalla diagnosi sia un percorso praticabile per colmare i divari percezione-linguaggio. DeltaDirect dimostra che la supervisione esplicita dei vettori di movimento all'interfaccia visivo-linguistica può migliorare significativamente la comprensione del movimento mantenendo le capacità video generali, suggerendo che i futuri Video-LLM potrebbero beneficiare di interventi mirati simili oltre al semplice scaling di modelli o dataset. Il lavoro sottolinea l'importanza di benchmark sintetici controllati per diagnosticare primitivi percettivi specifici che sono spesso intrecciati nelle valutazioni del mondo reale.