Multimodal Emotion Recognition via Bi-directional Cross-Attention and Temporal Modeling

Il paper propone un framework multimodale per il riconoscimento delle emozioni in video non controllati, che combina modelli pre-addestrati CLIP e Wav2Vec 2.0 con un meccanismo di attenzione incrociata bidirezionale e modellazione temporale per superare le limitazioni degli approcci unimodali.

L'essenziale

Immagina di essere a una festa molto rumorosa e caotica. C'è gente che ride, qualcuno che piange, altri che sembrano arrabbiati. Il tuo compito è capire esattamente cosa sta provando ogni persona. È difficile, vero? Se guardi solo il viso di qualcuno, potresti confonderti: forse quel sorriso è vero o è solo nervoso? Se ascolti solo la voce, potresti non capire se sta urlando per gioia o per rabbia.

Questo articolo parla di un nuovo "detective digitale" creato da ricercatori coreani per risolvere proprio questo problema. Ecco come funziona, passo dopo passo, con delle analogie semplici:

1. I Due Sensi Superpotenti (Il Modello Pre-addestrato)

Prima di tutto, il nostro detective non impara tutto da zero. Ha già studiato milioni di libri e film.

• L'occhio esperto (CLIP): Immagina un fotografo che ha visto ogni tipo di faccia al mondo. Questo è il modello CLIP. Guarda il video e dice: "Vedo un viso che sembra triste".
• L'orecchio esperto (Wav2Vec 2.0): Immagina un musicista che ha ascoltato ogni tipo di voce e tono. Questo è il modello Wav2Vec. Ascolta l'audio e dice: "Sento un tono di voce ansioso".
• La regola d'oro: Il detective non modifica questi due esperti. Li usa così com'è, perché sono già bravissimi. Li tiene "congelati" (frozen) per non rovinare il loro lavoro.

2. Non guardare solo un fotogramma (Modellazione Temporale)

Il problema è che le emozioni non sono come una foto scattata in un istante. Sono come un film. Un sorriso può iniziare piano e poi esplodere, o un pianto può iniziare con un sospiro.

• L'analista del tempo (TCN): Il detective usa uno strumento chiamato TCN (una rete temporale). Immagina che invece di guardare una singola foto, il detective guardi una striscia di 30 o 60 fotogrammi di fila. Questo gli permette di vedere come l'espressione cambia nel tempo, proprio come noi umani notiamo se qualcuno sta per piangere guardando i suoi occhi che si inumidiscono prima delle lacrime.

3. La Conversazione Perfetta (Fusione Incrociata)

Qui sta la parte più intelligente. Spesso, i sistemi vecchi prendono il viso e la voce e li mettono semplicemente uno accanto all'altro (come due fogli di carta in una pila). Ma il nostro detective fa di meglio: li fa parlare tra loro.

• Il dibattito a due vie (Cross-Attention): Immagina due detective che lavorano insieme.
  • Il detective visivo chiede al detective audio: "Ehi, quel viso sembra arrabbiato, ma la tua voce suona calma. Cosa ne pensi?"
  • Il detective audio risponde: "Hai ragione, la voce è calma, quindi forse quel viso arrabbiato è solo una maschera o un gioco."
  • Poi fanno il contrario: l'audio chiede al video di confermare.
  • Questo scambio continuo aiuta a chiarire i dubbi. Se il viso è confuso (magari c'è poca luce), la voce aiuta a capire. Se la voce è disturbata dal rumore, il viso aiuta. È una collaborazione simmetrica.

4. La Guida del Testo (Allineamento Semantico)

C'è un ultimo trucco. Durante l'allenamento, il detective legge anche delle etichette scritte.

• Il manuale di istruzioni: Quando vede un video, il sistema legge una frase come "Un viso che esprime gioia". Usa questa frase per "allineare" la sua visione. È come se il detective dicesse: "Ok, devo cercare nel video le cose che corrispondono a questa descrizione scritta". Questo lo aiuta a essere più preciso nel capire il significato profondo dell'emozione, non solo i pixel.

5. Il Risultato

Alla fine, il detective unisce tutto: la vista esperta, l'udito esperto, la comprensione del tempo (come cambia l'emozione) e il dialogo tra i due sensi.

• La vittoria: Quando hanno provato questo sistema su un banco di prova reale (il ABAW Challenge, che è come un'olimpiade per chi riconosce le emozioni), il loro detective ha battuto il record precedente.
• La lezione: Hanno scoperto che guardare un video un po' più lungo (60 fotogrammi invece di 30) aiuta molto, perché dà più contesto, proprio come ascoltare una frase intera è meglio che sentire una sola parola.

In sintesi

Questo paper ci dice che per capire le emozioni umane nel mondo reale (dove c'è rumore, luce scarsa e gente che si muove), non basta guardare o ascoltare. Bisogna avere un sistema che:

1. Usa esperti già pronti (CLIP e Wav2Vec).
2. Guarda il "film" dell'emozione, non la foto.
3. Fa parlare vista e udito tra loro per chiarirsi i dubbi.
4. Usa le parole come guida per capire meglio il significato.

È come passare da un detective che guarda solo un indizio, a un team di investigatori che collaborano, ascoltano il contesto e leggono il manuale delle istruzioni insieme per risolvere il caso!

Sommario tecnico

Panoramica del Problema

Il riconoscimento delle emozioni in video registrati in ambienti reali ("in-the-wild") rimane una sfida significativa a causa di grandi variazioni nell'aspetto facciale, nell'orientamento della testa, nell'illuminazione, nel rumore di sfondo e nella natura intrinsecamente dinamica delle espressioni umane.
L'approccio basato su una singola modalità (ad esempio, solo l'espressione facciale o solo la voce) è spesso insufficiente per catturare questi segnali emotivi complessi. Inoltre, le strategie di fusione esistenti spesso non modellano appieno le interazioni bidirezionali tra i flussi visivi e audio, e le rappresentazioni a livello di singolo fotogramma falliscono nel catturare il contesto temporale necessario per una previsione robusta.

Metodologia Proposta

Gli autori propongono un framework multimodale per il compito di Riconoscimento delle Espressioni (EXPR) della 10ª Edizione della sfida "Affective Behavior Analysis in-the-wild" (ABAW). L'architettura si compone di cinque fasi principali:

1. Estrazione delle Caratteristiche (Backbone Congelati):

   • Visivo: Utilizzo del modello pre-addestrato CLIP (ViT-B/32) per codificare i fotogrammi video. Le immagini vengono elaborate indipendentemente per generare una sequenza di feature visive.
   • Audio: Utilizzo di Wav2Vec 2.0 (Base) per l'apprendimento delle rappresentazioni audio dal segnale grezzo.
   • Entrambi i backbone sono mantenuti "congelati" (frozen) durante l'addestramento per garantire stabilità e prevenire l'overfitting.

2. Modellazione Temporale e Adattamento:

   • Visivo (TCN): Per catturare le dipendenze temporali nelle sequenze di espressioni facciali, le feature visive vengono elaborate da una Rete Convoluzionale Temporale (TCN) a 6 livelli con convoluzioni causali dilate. Questo permette di aggregare il contesto temporale senza sacrificare la risoluzione.
   • Audio (Adapter): Le feature audio estratte da Wav2Vec 2.0 vengono proiettate nella stessa dimensione delle feature visive (512) tramite un "Audio Adapter" (composto da proiezione lineare, Layer Normalization, ReLU e Dropout).

3. Fusione con Attenzione Incrociata Bidirezionale:

   • Viene introdotto un modulo di Cross-Attention Bidirezionale. Invece di una semplice concatenazione, le feature visive e audio interagiscono simmetricamente:
     • Le feature visive interrogano quelle audio ($V \to A$).
     • Le feature audio interrogano quelle visive ($A \to V$).
   • Questo meccanismo simmetrico migliora il contesto cross-modale, permettendo a una modalità di compensare la scarsità di informazioni dell'altra.

4. Pool Temporale e Classificazione:

   • Dopo la fusione, le sequenze di feature enhance vengono aggregate tramite pooling medio lungo la dimensione temporale.
   • Le rappresentazioni visive e audio poolizzate vengono concatenate e passate a un classificatore MLP (Multi-Layer Perceptron) per prevedere le 8 classi di emozioni.

5. Apprendimento Contrastivo Guidato dal Testo:

   • Per allineare semanticamente le rappresentazioni visive, viene aggiunto un obiettivo contrastivo basato sulle feature di testo di CLIP.
   • Vengono generati prompt di testo (es. "Un viso che esprime [Emozione]") e confrontati con le feature visive poolizzate tramite una perdita contrastiva bidirezionale, incoraggiando il modello a imparare rappresentazioni visive semanticamente coerenti con le descrizioni testuali.

Contributi Chiave

1. Modellazione Temporale Visiva con TCN: Sostituzione delle rappresentazioni statiche dei fotogrammi con una TCN per catturare efficacemente la dinamica temporale delle espressioni facciali.
2. Fusione Cross-Modale Bidirezionale: Introduzione di un meccanismo di attenzione simmetrica che permette un'interazione reciproca e più efficace tra audio e video rispetto ai metodi di fusione tradizionali.
3. Allineamento Semantico Guidato dal Testo: Integrazione di un obiettivo contrastivo che utilizza le embedding di testo di CLIP per migliorare la qualità semantica delle rappresentazioni visive, sfruttando la conoscenza pre-addestrata del modello CLIP.

Risultati Sperimentali

Il framework è stato valutato sul set di validazione della sfida ABAW 10th EXPR.

• Metriche: Accuratezza (Acc.) e Macro F1-score (metrica primaria ufficiale).
• Confronto: Il modello proposto supera significativamente la baseline ufficiale (basata su VGGFace pre-addestrato).
  • Baseline Ufficiale: Macro F1 = 0.2500.
  • Modello Proposto (30 frame): Macro F1 = 0.3224.
  • Modello Proposto (60 frame): Macro F1 = 0.3334 (con un'accuratezza del 53.71%).
• Analisi: L'uso di finestre temporali più lunghe (60 frame) ha dimostrato di essere più vantaggioso, confermando l'importanza del contesto temporale esteso per il riconoscimento in ambienti non controllati.

Significato e Conclusioni

Questo lavoro dimostra l'efficacia di combinare modelli pre-addestrati su larga scala (CLIP e Wav2Vec 2.0) con strategie specifiche di modellazione temporale e fusione multimodale avanzata.
L'approccio proposto stabilisce una solida baseline per il riconoscimento delle emozioni in scenari reali, evidenziando che:

1. La modellazione temporale esplicita è cruciale per le espressioni facciali.
2. L'interazione bidirezionale tra audio e video è superiore alla fusione unidirezionale o semplice.
3. L'uso di segnali semantici testuali può guidare l'apprendimento di rappresentazioni visive più robuste.

Il paper conclude indicando come direzione futura l'esplorazione di strategie temporali ancora più efficaci e l'integrazione di modalità aggiuntive per migliorare ulteriormente la robustezza in scenari del mondo reale.