Riepilogo Tecnico: AdaTosk – Maschera Temporale Morbida Adattiva per il Riconoscimento Efficiente delle Espressioni Facciali Dinamiche

Enunciato del Problema

Il Riconoscimento delle Espressioni Facciali Dinamiche (DFER) mira a identificare le intenzioni psicologiche attraverso la comunicazione non verbale in sequenze video. Sebbene efficaci, i metodi esistenti affrontano sfide significative riguardanti efficienza e ridondanza. I dati video contengono intrinsecamente una sostanziale ridondanza temporale dovuta alla continuità, portando all'elaborazione di informazioni irrilevanti come il rumore di sfondo e i fotogrammi statici semanticamente ripetitivi. Gli approcci attuali, inclusi quelli ispirati ai Masked AutoEncoders (MAE), spesso faticano a distinguere tra le dinamiche espressive critiche e i token ridondanti. Di conseguenza, i modelli possono calcolare caratteristiche non necessarie su fotogrammi irrilevanti o non riescono a catturare sottili spostamenti espressivi difficili da rilevare, risultando in elevati costi computazionali senza guadagni proporzionali in termini di accuratezza.

Metodologia: AdaTosk

Gli autori propongono AdaTosk, una nuova rete autoencoder mascherata temporale morbida supervisionata progettata per affrontare queste inefficienze. L'architettura integra due rami paralleli: un ramo di ricostruzione auto-supervisionata e un ramo di classificazione supervisionata.

1. Architettura a Doppio Ramo

• Ramo di Ricostruzione Auto-Supervisionata: Questo ramo utilizza una Maschera Binaria Casuale Rigida (ispirata a VideoMAE) per mascherare una grande porzione di token video. Il modello viene addestrato a ricostruire i token mascherati partendo da quelli visibili utilizzando un decoder leggero. Questo processo incoraggia l'encoder a imparare rappresentazioni di caratteristiche significative dai token visibili rimanenti.
• Ramo di Classificazione Supervisionata: Questo ramo elabora i token visibili ottimali ($X_{opt}$) per eseguire la classificazione delle espressioni. A differenza della maschera rigida, questo ramo impiega una Maschera Temporale Morbida Adattiva ($S$) che assegna gradi variabili di mascheramento ai token visibili in base alla loro importanza temporale e alla ridondanza semantica.

2. Meccanismo della Maschera Temporale Morbida Adattiva

L'innovazione centrale di AdaTosk è la maschera morbida adattiva, che regola dinamicamente l'influenza dei token. Combina due strategie distinte:

• Maschera Morbida Dinamica Agnostica alla Classe:

  • Obiettivo: Catturare momenti chiave delle dinamiche espressive senza pregiudizi derivanti da categorie predefinite.
  • Meccanismo: Calcola le differenze di caratteristica tra fotogramma e fotogramma ($\tau$) tra fotogrammi visibili adiacenti. Le coppie di fotogrammi top-$K$ con le differenze più elevate sono identificate come "fotogrammi attivati". Un'unità di interazione delle informazioni per canale (pattern Squeeze-and-Excitation) potenzia questi fotogrammi, e un'unità di interazione delle informazioni temporali genera una maschera morbida ($S_{agnostic}$) che dà priorità a questi spostamenti dinamici su tutta la sequenza.

• Maschera Morbida Simile alla Semantica di Classe:

  • Obiettivo: Ridurre l'accumulo di token semanticamente simili ma ridondanti nel tempo, preservando al contempo le informazioni essenziali.
  • Meccanismo: Modella la probabilità di mascherare i token utilizzando un punteggio cumulativo temporale ($M$). Per gestire la continuità, una catena di Markov trasferisce i punteggi tra i fotogrammi, escludendo i token top-$r$ per ridurre il carico computazionale. Crucialmente, questo punteggio viene ripesato da un punteggio semantico ($A$) derivato dalla supervisione di classe (sommando le attivazioni assolute). Ciò garantisce che i token con alto valore semantico vengano mantenuti anche se mostrano ridondanza temporale.
  • Maschera Finale: La maschera adattiva finale ($S$) è il prodotto elemento per elemento delle maschere agnostica alla classe e simile alla semantica di classe ($S = S_{agnostic} \odot S_{semantic}$).

3. Obiettivo di Addestramento

La funzione di perdita totale ($L$) combina la perdita di ricostruzione ($L_{rec}$) dal ramo auto-supervisionato e la perdita di classificazione ($L_{cls}$) dal ramo supervisionato, bilanciate dai pesi $\lambda_{rec}$ e $\lambda_{cls}$.

Contributi Chiave

Il documento delinea tre contributi principali:

1. Integrazione di VideoMAE Supervisionato: AdaTosk è il primo a integrare un framework VideoMAE supervisionato nel compito DFER, ottimizzando i token visibili per migliorare significativamente l'efficienza del riconoscimento.
2. Maschera Temporale Morbida Adattiva: Gli autori propongono una strategia di mascheramento innovativa che adatta dinamicamente i gradi di mascheramento. I suoi due componenti – maschere morbide dinamiche agnostiche alla classe e simili alla semantica di classe – mirano specificamente all'attivazione delle dinamiche espressive chiave e alla soppressione della ridondanza semantica temporale.
3. Vantaggi in Efficienza e Prestazioni: Il modello raggiunge un equilibrio tra alte prestazioni e bassi costi computazionali, riducendo le dimensioni del modello e i FLOPs mantenendo o migliorando l'accuratezza rispetto ai metodi all'avanguardia.

Risultati Sperimentali

Gli autori hanno valutato AdaTosk su tre ampiamente utilizzati benchmark DFER "in-the-wild": DFEW, FERV39K e MAFW.

• Prestazioni: AdaTosk (con la maschera morbida, indicata come AdaTosk†) supera i modelli supervisionati esistenti del 9–10% sia nella Recall Media Non Ponderata (UAR) che nella Recall Media Ponderata (WAR) su tutti i dataset. Supera anche i metodi basati su grandi modelli linguistici e altri approcci basati su VideoMAE (ad es. MAE-DFER, MMA-DFER) con margini che vanno dal 2,1% al 4,8%.
• Efficienza:
  • Rispetto alla baseline VideoMAE, AdaTosk riduce i parametri di circa 12M e i FLOPs di 38G.
  • L'aggiunta della maschera temporale morbida (AdaTosk†) riduce ulteriormente i parametri di 2M e i FLOPs di 4G rispetto alla versione senza maschera morbida (AdaTosk), migliorando simultaneamente UAR e WAR di circa 2%.
  • Complessivamente, il modello riduce i costi computazionali di 6G FLOPs e le dimensioni del modello di 10M parametri rispetto ai metodi all'avanguardia attuali.

Significato e Affermazioni

Il documento afferma che AdaTosk affronta con successo il limite critico dei metodi esistenti: la tendenza a omettere dinamiche espressive sottili mentre elabora informazioni ridondanti. Introducendo la Maschera Temporale Morbida Adattiva, il modello si concentra efficacemente sui momenti chiave dell'evoluzione dell'espressione e riduce l'accumulo di token semanticamente simili.

Gli autori affermano che questo approccio consente un riconoscimento efficiente delle espressioni dinamiche che non sacrifica le prestazioni. I risultati dimostrano che gestendo intelligentemente la ridondanza temporale attraverso il mascheramento morbido, il modello raggiunge un'accuratezza competitiva e spesso superiore con un sovraccarico computazionale significativamente inferiore. I risultati di visualizzazione confermano inoltre che il modello identifica correttamente le regioni facciali chiave (ad es. bocca, guance, sopracciglia) e regola dinamicamente l'intensità del mascheramento in base agli spostamenti espressivi e all'importanza semantica.