Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition

1. Il Problema: Shortcut Guidati dall'Oggetto nello ZS-CAR

Il paper affronta una modalità di fallimento critica nel Riconoscimento Azionale Compositivo Zero-Shot (ZS-CAR). L'obiettivo dello ZS-CAR è riconoscere combinazioni verbo-oggetto mai viste durante l'addestramento, utilizzando vocabolari di verbi e oggetti condivisi.

Gli autori identificano che i modelli esistenti tendono a fallire generalizzando male su composizioni inedite a causa di "shortcut guidati dall'oggetto" (object-driven shortcuts). Invece di apprendere le evidenze temporali necessarie per distinguere un'azione (il verbo), il modello impara a prevedere il verbo basandosi esclusivamente sull'oggetto presente nel video.

Le cause radice di questo fenomeno sono due:

1. Supervisione Compositiva Sparsa e Sbilanciata: I dataset coprono solo una frazione minima dello spazio combinatorio verbo-oggetto. Le combinazioni frequenti nei dati di addestramento creano forti priors di co-occorrenza. Il modello impara che certi oggetti sono quasi sempre associati a certi verbi.
2. Asimmetria nella Difficoltà di Apprendimento: Riconoscere un oggetto è visivamente esplicito e richiede spesso un singolo frame (facile). Riconoscere un verbo richiede un ragionamento temporale su più frame (difficile). I modelli tendono a sfruttare l'evidenza più facile (l'oggetto) per risolvere il compito più difficile (il verbo), ignorando la dinamica temporale.

Di conseguenza, su composizioni inedite (es. "Aprire un cassetto" se il modello ha visto solo "Chiudere un cassetto"), il modello predice il verbo più frequente associato a quell'oggetto ("Chiudere"), ignorando il fatto che l'azione reale è opposta.

2. Metodologia: RCORE

Per mitigare questi shortcut, gli autori propongono RCORE (Robust COmpositional REpresentations), un framework di apprendimento diagnostico composto da due regolarizzatori principali:

A. Co-occurrence Prior Regularization (CPR)

Questa componente mira a contrastare i bias statistici delle co-occorrenze frequenti.

• Supervisione Sintetizzata: Il metodo sintetizza nuovi video per composizioni verbo-oggetto assenti nel training set. Lo fa mescolando l'oggetto statico di un video con le regioni ad alta motilità (foreground) di un altro video, mantenendo la dinamica del verbo originale.
• Regolarizzazione Marginale: Introduce un vincolo di margine che tratta le combinazioni frequenti e già viste come "hard negative" per le nuove composizioni sintetizzate. Questo forza il modello a non assegnare punteggi alti alle combinazioni frequenti se non sono quelle corrette, riducendo la dipendenza dai priors di co-occorrenza.
• Espansione Adattiva dello Spazio delle Etichette: Per evitare l'instabilità dell'ottimizzazione su tutto lo spazio combinatorio, lo spazio delle etichette viene espanso dinamicamente a ogni batch, includendo le combinazioni sintetizzate.

B. Temporal Order Regularization for Composition (TORC)

Questa componente forza il modello a imparare rappresentazioni verbali basate sul tempo, non su cue statici.

• Perturbazione Temporale: Il modello viene esposto a sequenze temporali invertite (reverse) e mescolate (shuffled).
• Perdita di Cosine Similarity ($L_{cos}$): Penalizza l'invarianza alla reversibilità temporale. Se un verbo come "aprire" e "chiudere" produce feature simili quando il video è invertito, il modello non sta imparando la dinamica. TORC massimizza la distanza tra le feature originali e quelle invertite.
• Perdita di Entropia Negativa ($L_{ent}$): Quando la struttura temporale è disturbata (es. video mescolato), il modello è penalizzato se fa previsioni verbali troppo confidenti. Questo incoraggia il modello a non basarsi su cue spaziali statici (l'oggetto) quando il contesto temporale è ambiguo.

3. Contributi Chiave

1. Diagnosi Quantitativa: Gli autori introducono metriche diagnostiche specifiche:
   • FSP (False Seen Prediction): Quanto spesso un input inedito viene classificato erroneamente come una combinazione vista in addestramento.
   • FCP (False Co-occurrence Prediction): Quanto spesso l'errore cade su combinazioni ad alta frequenza.
   • Compositional Gap ($\Delta_{CG}$): Misura se la predizione congiunta è migliore della semplice combinazione indipendente di verbo e oggetto.
   • L'analisi mostra che i modelli SOTA (State-of-the-Art) hanno un alto FSP/FCP e un $\Delta_{CG}$ negativo sulle composizioni inedite, confermando il fallimento nella generalizzazione compositiva.
2. Framework RCORE: Una soluzione integrata che combina la regolarizzazione dei priors (CPR) e la sensibilizzazione temporale (TORC) senza richiedere dati aggiuntivi etichettati.
3. Nuovo Dataset (EK100-com): Gli autori hanno creato un benchmark ZS-CAR derivato da EPIC-KITCHENS-100, caratterizzato da una sparsità compositiva ancora più severa (7.5% di copertura delle etichette) rispetto a Sth-com, rendendo il problema più difficile e realistico.

4. Risultati Sperimentali

Il framework è stato valutato su Sth-com (derivato da Something-Something V2) e EK100-com, utilizzando backbone come CLIP e InternVideo2.

• Riduzione degli Shortcut: RCORE riduce drasticamente i tassi di FSP e FCP rispetto ai baseline (es. C2C), dimostrando che il modello non collassa più sulle combinazioni frequenti.
• Miglioramento della Generalizzazione:
  • Su Sth-com, RCORE migliora l'accuratezza sulle composizioni inedite di +3.8% (con CLIP) e +4.5% (con InternVideo2) rispetto al baseline.
  • Su EK100-com, il miglioramento è ancora più marcato, con un aumento dell'accuratezza sulle composizioni inedite di +6.9% (CLIP) e +7.7% (InternVideo2).
• Compositional Gap Positivo: A differenza dei baseline che mostrano un gap negativo (peggiorano rispetto alla somma delle parti), RCORE riesce a mantenere un $\Delta_{CG}$ positivo sulle composizioni inedite, indicando una vera capacità di ragionamento compositivo.
• Robustezza Temporale: Sui subset "Temporal" (azioni che richiedono ragionamento temporale), RCORE mostra un calo di performance molto maggiore quando gli input vengono mescolati temporalmente rispetto al baseline. Questo prova che RCORE ha effettivamente imparato a dipendere dalla dinamica temporale e non da cue statici.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Sposta il focus: Sposta l'attenzione nella ricerca ZS-CAR dalla semplice espansione del vocabolario alla correzione dei bias strutturali di apprendimento (shortcut).
• Validazione Realistica: Introduce un protocollo di valutazione "open-world" che non richiede l'adattamento dei bias sul set di test, offrendo una stima più realistica delle prestazioni in scenari reali dove le distribuzioni sono sconosciute.
• Soluzione Generale: Le tecniche di regolarizzazione (CPR e TORC) sono applicabili a diversi backbone video e non dipendono da architetture specifiche, rendendole un contributo metodologico solido per il futuro dell'apprendimento video compositivo.

In sintesi, il paper dimostra che per riconoscere azioni complesse in modo zero-shot, non basta avere un buon modello di linguaggio o visione; è necessario esplicitamente penalizzare la pigrizia cognitiva del modello che cerca scorciatoie basate sugli oggetti, forzandolo a guardare il "come" (tempo) e non solo il "cosa" (oggetto).