Sintesi Tecnica: MiRA per la Comprensione delle Espressioni Facciali

Definizione del Problema

Comprendere le espressioni facciali in video non strutturati richiede la modellazione di dinamiche spazio-temporali sottili, localizzate e transitorie (ad es., micro-rughe, contrazioni del corrugatore). Tuttavia, gli esistenti modelli video basati su Vision Transformer (ViT), anche quelli preaddestrati con obiettivi autosupervisionati su larga scala come i Masked Autoencoders (MAE), faticano in questo dominio. Questi modelli tendono a ottimizzare i movimenti globali dominanti (ad es., movimenti della testa) e le dinamiche grossolane a livello di scena. Di conseguenza, le variazioni intra-facciali sottili vengono spesso trattate come ridondanti o oscurate dal movimento globale, portando a una modellazione insufficiente dei segnali espressivi fini. Inoltre, i meccanismi di attenzione standard spesso mancano della sensibilità necessaria per allocare selettivamente l'attenzione verso momenti facciali informativi, sopprimendo al contempo i fotogrammi dominati dal movimento o ridondanti.

Metodologia: MiRA (Marginal-induced Attention Redistribution)

Per affrontare queste limitazioni, gli autori propongono MiRA, un framework di ridistribuzione dell'attenzione marginale per fotogrammi, progettato come plug-in per i backbone ViT. MiRA migliora la selettività spazio-temporale verso le dinamiche facciali sottili senza introdurre parametri addestrabili aggiuntivi. Il metodo opera derivando statistiche a livello di fotogramma dalle mappe di auto-attenzione per stimare l'importanza marginale e ridistribuire l'attenzione di conseguenza.

1. Meccanismo Core: Ripesatura del Marginale del Fotogramma

Il metodo calcola due statistiche complementari dalla matrice di attenzione media per testa $\bar{A}$:

• Confidenza a livello di fotogramma ($c_t$): Misura la massa totale di attenzione assegnata a un determinato fotogramma $t$ attraverso l'intera sequenza, indicando quanto fortemente il fotogramma sia oggetto di attenzione come elemento chiave.
• Concentrazione Intra-Frame ($H_t$): Quantifica la concentrazione spaziale dell'attenzione all'interno di un fotogramma utilizzando l'entropia inversa. Un'alta concentrazione indica un'attenzione localizzata (favorevole per i segnali facciali), mentre una bassa concentrazione suggerisce pattern globali diffusi.

Queste statistiche vengono combinate in un punteggio di importanza marginale del fotogramma $f_t$. Tale punteggio viene normalizzato e trasformato in una distribuzione a priori target $\pi_t$ utilizzando una funzione power-softmax. Per ridistribuire l'attenzione senza distruggere la struttura query-key appresa, MiRA applica un allineamento basato su rapporto. Calcola i fattori di scala $\alpha_t$ basandosi sul rapporto tra il prior target e la confidenza corrente, limitando (clipping) i valori per evitare deviazioni estreme. Questi fattori riscalano la mappa di attenzione, seguiti da un piccolo mixing uniforme e una normalizzazione riga per riga per garantire distribuzioni di probabilità valide.

2. Due Modalità Operative

Il documento introduce due modalità per bilanciare efficacia ed efficienza computazionale:

• Modalità Exact (Esatta): Questa è la formulazione principesca che esegue la pesatura su una mappa di attenzione post-softmax. Richiede la materializzazione dell'intera mappa di attenzione ($O(L^2)$), l'esecuzione della normalizzazione riga per riga e il mantenimento delle attivazioni post-softmax per la backpropagation. Sebbene efficace, ciò comporta un carico significativo di I/O della memoria ed è incompatibile con i kernel fusi come FlashAttention.
• Modalità FlashLite: Per migliorare l'efficienza, questa modalità integra la ridistribuzione direttamente nei kernel FlashAttention. Invece della riscalatura post-softmax, essa approssima le statistiche necessarie a livello di fotogramma utilizzando proxy per chiave (specificamente, la norma $L_2$ al quadrato dei token chiave) calcolati pre-softmax. Questi proxy stimano la salienza e la concentrazione del fotogramma. I fattori di scala risultanti vengono convertiti in bias additivi ($\log \alpha_t$) applicati ai logit di attenzione ($Z = QK^\top/\sqrt{d_K}$) prima dell'operazione di softmax. Ciò consente alla ridistribuzione di avvenire all'interno del calcolo in streaming di FlashAttention, evitando la materializzazione dell'intera mappa di attenzione e riducendo significativamente l'I/O della memoria.

Contributi Chiave

1. Ridistribuzione dell'Attenzione Plug-in: Un nuovo modulo per i backbone ViT che potenzia la sensibilità alle dinamiche facciali sottili ridistribuendo l'attenzione in base alla confidenza del fotogramma e alla concentrazione intra-frame, senza richiedere parametri addestrabili aggiuntivi.
2. Approssimazione FlashLite: Un'approssimazione leggera pre-softmax che integra il meccanismo di ridistribuzione nei kernel FlashAttention. Essa preserva l'accuratezza della formulazione esatta riducendo l'I/O della memoria e migliorando il throughput, rendendola adatta all'addestramento su larga scala.
3. Robustezza in Condizioni Non Strutturate: L'approccio dimostra miglioramenti costanti rispetto ai forti baseline ViT su sfidanti benchmark di Facial Expression Recognition (FER) senza fare affidamento su euristiche specifiche del compito (ad es., allineamento facciale stretto o ritaglio), che sono spesso impraticabili nella pre-formazione scalabile e in contesti reali.

Risultati Sperimentali

Gli autori hanno valutato MiRA utilizzando VideoMAE come backbone, preaddestrato su VoxCeleb2 e finetuned su ampi benchmark FER "in-the-wild": DFEW, MAFW e FERV39k.

• Guadagni di Performance: MiRA supera costantemente i forti baseline ViT (inclusi VideoMAE, VideoMAEv2 e altre varianti MAE) in tutti i dataset. Ad esempio, su DFEW (Fold 1), il modello ViT-B FlashLite ha raggiunto un Unweighted Average Recall (UAR) del 65,11% e un Weighted Average Recall (WAR) del 76,25%, superando il baseline vanilla VideoMAE (59,94% UAR).
• Confronto con lo Stato dell'Arte (SOTA): Il metodo raggiunge prestazioni state-of-the-art tra i metodi esclusivamente video e rimane competitivo con gli approcci multimodali che utilizzano supervisione audio o linguistica. Notevolmente, ottiene questi risultati senza pre-elaborazione dell'allineamento facciale.
• Efficienza: La modalità FlashLite fornisce una riduzione della latenza del 20% (400,6 ms $\to$ 318,7 ms) e un guadagno di throughput del 26% su una GPU H100 rispetto alla modalità exact, con prestazioni di riconoscimento quasi identiche.
• Qualità delle Rappresentazioni: Il probing k-NN su dataset di micro-espressioni (SAMM, MMEW) con feature congelate ha mostrato che MiRA apprende rappresentazioni che catturano meglio le dinamiche temporali sottili rispetto ai modelli video generici e ad altri baseline specifici per la FER.
• Analisi Qualitativa: Le visualizzazioni indicano che, mentre i modelli baseline si concentrano sui movimenti globali dominanti (ad es., rotazioni della testa, bordi dello sfondo), MiRA sposta con successo l'attenzione verso regioni facciali localizzate e momenti temporali informativi.

Significato e Rivendicazioni

Il documento sostiene che la modellazione efficace delle dinamiche facciali nei video sia critica per rappresentare il contesto affettivo, anche in assenza di input multimodali. La significatività di MiRA risiede nella sua capacità di rivedere il meccanismo di auto-attenzione per affrontare specificamente il bias verso i movimenti globali dominanti inerente ai transformer video generici.

Introducendo un meccanismo di ridistribuzione marginale del fotogramma, gli autori dimostrano che è possibile potenziare la selettività spazio-temporale per i segnali sottili senza compromettere l'efficienza delle moderne pipeline di addestramento (tramite FlashLite). Il lavoro suggerisce che sopprimere il movimento globale di disturbo e ridurre la ridondanza permetta ai modelli di generalizzare meglio a dati su larga scala, diversificati e non strutturati, dove l'allineamento esplicito è impraticabile. Gli autori posizionano questo lavoro come un passo verso modelli foundation video più scalabili ed efficienti capaci di una comprensione fine.