Cross-Modal Action Recognition in Egocentric Video Using Mamba: Integrating RGB and Hand Skeleton Streams via CLS Token Fusion Strategies

Riepilogo Tecnico: Riconoscimento di Azioni Cross-Modale in Video Egocentrici Utilizzando Mamba

Enunciato del Problema
Il riconoscimento di azioni in video egocentrici presenta sfide uniche distinte dagli scenari con telecamera fissa, tra cui movimenti erratici della telecamera, occlusioni frequenti delle mani e la difficoltà di mantenere rappresentazioni visive coerenti nel tempo. Sebbene le architetture basate su Transformer siano ben adatte a costruire forti rappresentazioni spaziotemporali e a gestire sequenze lunghe, il loro meccanismo di auto-attenzione scala quadraticamente con la lunghezza della sequenza, limitandone la fattibilità per applicazioni video online. Inoltre, sebbene i dati di movimento scheletrico possano mitigare i problemi di occlusione e fornire chiari segnali di movimento, i modelli esistenti basati su Mamba non hanno ancora integrato le informazioni scheletriche con i flussi RGB all'interno di un framework unificato.

Metodologia
Gli autori propongono un'architettura cross-modale costruita su Modelli di Spazio di Stato (SSM), sfruttando specificamente il modello Mamba per la sua complessità temporale lineare. L'architettura comprende tre componenti principali:

1. Flusso Video: Un modulo VideoMamba estrae embedding visivi dai fotogrammi video RGB.
2. Flusso Scheletrico: Un encoder dedicato, basato su uno stack di blocchi Mamba, elabora i dati temporali dello scheletro della mano.
3. Modulo di Fusione: Questo componente integra le due modalità in una rappresentazione unificata per la classificazione.

Un'innovazione metodologica centrale è la progettazione di quattro strategie distinte per il Mixing del Token CLS. Nei modelli Mamba e Transformer, il token di Classe (CLS) funge da serbatoio di informazioni, concentrando le informazioni contestuali per la classificazione finale. Gli autori sostengono che scartare i token CLS preaddestrati dagli encoder unimodali sprechi rappresentazioni apprese. Invece, propongono di inizializzare un nuovo token "Mixed CLS" utilizzando i token CLS unimodali preaddestrati attraverso le seguenti strategie:

• Naive: Scarta entrambi i token CLS preaddestrati e inizializza un nuovo token addestrabile da zero.
• Average: Inizializza il token Mixed CLS come media elemento per elemento dei token CLS video e scheletrici.
• Weighted: Calcola una combinazione lineare dei due token utilizzando un parametro scalare apprendibile $\alpha$ (derivato tramite una funzione sigmoide): $CLS_{mix} = \alpha CLS_{video} + (1-\alpha) CLS_{skeleton}$.
• Context-based: Calcola dinamicamente il parametro di ponderazione $\alpha$ utilizzando un blocco Mamba che elabora le sequenze concatenate di token non-CLS da entrambe le modalità, consentendo al peso di fusione di adattarsi in base al contenuto di input.

Configurazione Sperimentale
L'architettura proposta e le strategie di fusione sono state valutate sul dataset H2O, un dataset di video egocentrici che fornisce annotazioni sincronizzate dello scheletro della mano e etichette di azione. Gli esperimenti hanno utilizzato due configurazioni di modello (Tiny e Small) con dimensioni di embedding e profondità variabili (24 blocchi Mamba). Gli encoder VideoMamba sono stati inizializzati con checkpoint preaddestrati sul dataset Something-Something V2, mentre l'encoder scheletrico è stato addestrato direttamente su H2O.

Risultati Chiave
I risultati sperimentali sul dataset H2O dimostrano che l'integrazione dei dati scheletrici migliora significativamente le prestazioni rispetto alle baseline basate solo sul video, in particolare quando entrambe le modalità forniscono segnali informativi.

• Guadagni di Prestazione: La strategia Average ha ottenuto le migliori prestazioni. Nella configurazione Tiny, ha prodotto un guadagno del 10,17% in accuratezza Top-1 rispetto alla baseline VideoMamba. Nella configurazione Small, il guadagno è stato del 25,49%.
• Confronto delle Strategie: La strategia Weighted ha prestazioni comparabili alla strategia Average, con parametri appresi che convergono verso una combinazione bilanciata ($\alpha \approx 0,5$), approssimando efficacemente l'approccio di media.
• Prestazioni della Baseline: La strategia Naive, che scarta i token CLS preaddestrati, ha costantemente ottenuto prestazioni inferiori, confermando l'importanza di preservare le rappresentazioni unimodali apprese.
• Limitazione Context-based: Contrariamente alle aspettative, la strategia più flessibile Context-based non ha superato i metodi di fusione più semplici. Gli autori notano che ciò potrebbe essere dovuto a limitazioni architetturali o alla scala del dataset utilizzato.

Significato e Affermazioni
Il paper afferma che combinare modalità visive e scheletriche all'interno di un framework Mamba supera costantemente le baseline basate solo sul video quando entrambe le modalità contengono informazioni significative. Il contributo principale è la valutazione sistematica delle strategie di fusione del token CLS, stabilendo che la semplice media dei token preaddestrati è attualmente l'approccio più efficace per questo specifico compito e dataset.

Gli autori inquadrano modestamente il lavoro come un passo verso una comprensione egocentrica cross-modale efficiente. Identificano direzioni future, tra cui la valutazione di queste strategie su dataset più ampi per determinare se la saturazione della strategia Context-based sia un vincolo dei dati o architetturale, e l'esplorazione dell'uso dei dati scheletrici come "informazione privilegiata" durante l'addestramento per migliorare l'inferenza basata solo sul video al momento del test.