Manta: Enhancing Mamba for Few-Shot Action Recognition of Long Sub-Sequence

1. Il Problema

Il riconoscimento delle azioni con pochi esempi (Few-Shot Action Recognition - FSAR) mira a classificare azioni non viste utilizzando un numero limitato di campioni video. Sebbene le sotto-sequenze lunghe dei video offrano un contesto informativo più ricco per rappresentare l'intera azione (es. "tuffo da una scogliera" vs. solo "caduta"), il loro utilizzo presenta sfide significative:

• Limitazioni dei Transformer: I metodi basati su Transformer, dominanti nel campo, soffrono di un'alta complessità computazionale quando si elaborano sequenze lunghe, limitandosi spesso a brevi finestre temporali (circa 8 frame).
• Mancanza di modellazione locale e allineamento: L'applicazione diretta di Mamba (un'architettura efficiente basata su Modelli di Spazio di Stato - SSM) al FSAR trascura l'importanza delle caratteristiche locali critiche che occupano solo piccole porzioni della sequenza. Inoltre, Mamba standard non gestisce bene l'allineamento temporale implicito tra queste caratteristiche sparse.
• Accumulo di varianza intra-classe: Man mano che la lunghezza della sotto-sequenza aumenta, le differenze visive tra frame della stessa classe (dovute a condizioni di ripresa, post-produzione, ecc.) si accumulano. Questa varianza intra-classe rende difficile il clustering dei campioni e porta a errori di classificazione.

2. Metodologia: Il Framework Manta

Gli autori propongono Manta (Matryoshka MAmba and CoNtrasTive LeArning), un framework che combina un'architettura di rete innovativa con un paradigma di apprendimento contrastivo ibrido.

A. Matryoshka Mamba (Branch Mamba)

Questa componente è progettata per migliorare la modellazione delle caratteristiche locali e l'allineamento temporale senza appesantire il calcolo.

• Struttura a Matryoshka: L'architettura utilizza moduli annidati:
  • Inner Modules (Moduli Interni): Sfruttano più scale temporali (sotto-sequenze di lunghezza diversa) per estrarre e potenziare le caratteristiche locali da frammenti della sequenza lunga. Non modellano direttamente le caratteristiche globali, ma si concentrano sui dettagli critici (es. il momento del "tuffo").
  • Outer Module (Modulo Esterno): Avvolge i moduli interni e scansiona bidirezionalmente l'intera sequenza. Il suo compito è catturare le dipendenze temporali tra le caratteristiche locali per eseguire un allineamento temporale implicito.
• Multi-Scala: L'uso di diverse scale temporali (definite dall'iperparametro $O$) permette al modello di adattarsi a diverse durate delle azioni critiche all'interno della sequenza.
• Allineamento Incrociato: Viene calcolata una distanza incrociata tra i prototipi di supporto e i query, considerando sia le rappresentazioni originali che quelle invertite, per migliorare la robustezza dell'allineamento.

B. Apprendimento Contrastivo Ibrido (Branch Contrastivo)

Per mitigare l'accumulo di varianza intra-classe nelle sequenze lunghe, Manta introduce un approccio di apprendimento contrastivo che combina metodi supervisionati e non supervisionati:

• Paradigma Ibrido:
  • Supervisionato: Applicato ai campioni di supporto (etichettati) per massimizzare la similarità tra campioni della stessa classe.
  • Non Supervisionato: Applicato ai campioni di query (non etichettati) e all'insieme misto, per apprendere rappresentazioni robuste senza dipendere esclusivamente dalle etichette.
• Obiettivo: Questo approccio rafforza il clustering dei campioni della stessa classe e riduce l'impatto negativo della varianza intra-classe accumulata nelle sequenze lunghe.

C. Obiettivo di Addestramento

La funzione di perdita totale ($L_{total}$) è una combinazione pesata della perdita di entropia incrociata (dal branch Mamba) e della perdita contrastiva ibrida (dal branch contrastivo).

3. Contributi Chiave

1. Primo lavoro su FSAR con sequenze lunghe e Mamba: Manta è il primo approccio a integrare efficacemente sequenze lunghe e l'architettura Mamba per il riconoscimento delle azioni con pochi esempi.
2. Matryoshka Mamba: Un nuovo design che annida moduli locali all'interno di un modulo globale per bilanciare la modellazione fine delle caratteristiche locali con l'allineamento temporale globale, superando i limiti dei Transformer.
3. Apprendimento Contrastivo Ibrido: Una strategia innovativa che unisce loss supervisionate e non supervisionate per risolvere il problema dell'accumulo di varianza intra-classe, un problema spesso ignorato nelle sequenze corte ma critico in quelle lunghe.
4. Prestazioni SOTA: Il modello ha raggiunto nuovi stati dell'arte su benchmark fondamentali.

4. Risultati Sperimentali

Il modello è stato valutato su quattro dataset principali: SSv2, Kinetics, UCF101 e HMDB51.

• Prestazioni Generali: Manta ha superato i metodi attuali (SOTA) come STRM, HyRSM, MoLo e AMFAR in tutte le configurazioni (1-shot e 5-shot) e su tutti i backbones testati (ResNet-50, ViT-B, VMamba-B).
  • Esempio: Su SSv2 (1-shot), Manta con ResNet-50 ha raggiunto il 63.4% di accuratezza, superando il precedente SOTA (AMFAR, multimodale) del 1.7%.
• Sequenze Lunghe: Mentre i metodi basati su Transformer falliscono o vanno in "Out of Memory" (OOM) quando la lunghezza della sequenza ($F$) supera 16-32 frame, Manta mantiene prestazioni stabili e migliora significativamente fino a 128 frame.
• Robustezza:
  • Rumore a livello di frame: Manta è significativamente più robusto all'inserimento di frame irrilevanti rispetto ai metodi concorrenti.
  • Rumore di sfondo: Resiste meglio a rumore gaussiano, pioggia e variazioni di illuminazione.
  • Complessità del task: Mantiene prestazioni stabili anche quando il numero di classi per task aumenta (N-way > 5), dove altri modelli crollano drasticamente.
• Efficienza Computazionale: Grazie all'architettura Mamba, Manta è molto più veloce in inferenza rispetto ai metodi basati su Transformer (circa il doppio della velocità su GPU singola), rendendolo adatto a scenari reali con risorse limitate.

5. Significato e Impatto

Il lavoro di Manta è significativo perché:

1. Sfrutta il potenziale delle sequenze lunghe: Dimostra che le sequenze video lunghe, finora sottoutilizzate nel FSAR a causa dei costi computazionali, contengono informazioni cruciali che, se modellate correttamente, migliorano drasticamente l'accuratezza.
2. Supera i limiti dei Transformer: Offre un'alternativa efficiente e scalabile ai Transformer, risolvendo il problema della complessità quadratica nelle sequenze lunghe.
3. Affronta la varianza intra-classe: Introduce una soluzione efficace al problema dell'accumulo di varianza nelle sequenze lunghe, un ostacolo fondamentale per l'applicazione del FSAR in scenari reali non controllati.
4. Generalizzazione: La combinazione di modellazione locale precisa e apprendimento contrastivo ibrido rende il modello altamente robusto e generalizzabile, aprendo la strada a nuove ricerche nel campo della visione artificiale temporale.

In sintesi, Manta rappresenta un avanzamento fondamentale nel riconoscimento delle azioni con pochi esempi, dimostrando che l'integrazione di architetture efficienti come Mamba con strategie di apprendimento ibride può sbloccare nuove capacità di comprensione video su sequenze lunghe.