A Two-Stage Dual-Modality Model for Facial Emotional Expression Recognition

Questo paper presenta un modello duale audio-visivo a due stadi basato su DINOv2 e Wav2Vec 2.0, che integra tecniche di estrazione robusta delle caratteristiche e fusione temporale per superare le sfide del riconoscimento delle espressioni facciali nel contesto del workshop ABAW 10, ottenendo risultati superiori rispetto alle linee di base ufficiali.

L'essenziale

Immagina di dover indovinare l'umore di una persona guardando un video girato da un amico mentre cammina per strada. Non è come guardare un film in studio: la luce cambia, la persona si muove, il telefono trema, a volte il viso è coperto da un cappello o sfocato. Inoltre, la persona potrebbe ridere o piangere, e il suono della sua voce potrebbe essere più chiaro dell'espressione del viso.

Questo articolo descrive un "detective digitale" creato per risolvere proprio questo problema: riconoscere le emozioni umane in video reali e caotici. Gli autori hanno costruito un sistema intelligente in due fasi, come se fosse un'azienda con due dipartimenti specializzati.

Ecco come funziona, spiegato in modo semplice:

Fase 1: L'Occhio Esperto (Addestramento)

Prima di guardare i video difficili, il sistema deve imparare a "vedere" le emozioni in modo robusto.

• Il Problema: Spesso, quando si ritaglia il viso da un video, i bordi vengono tagliati male o appaiono strisce nere (come se il ritaglio fosse andato fuori dai limiti del foglio). Questo confonde l'intelligenza artificiale.
• La Soluzione (PadAug): Gli autori hanno insegnato al sistema a non spaventarsi di questi bordi strani. Immagina di allenare un atleta facendogli correre su terreni accidentati, non solo sull'asfalto perfetto. Hanno aggiunto "disturbi" artificiali (bordi neri, tagli strani) durante l'allenamento su foto normali, così che quando il sistema vedrà un video reale, non si confonderà più.
• Il Motore (DINOv2): Usano un cervello artificiale molto potente (chiamato DINOv2) che già sa riconoscere oggetti. Lo hanno "specializzato" solo per le emozioni, usando una tecnica chiamata MoE (Mixture of Experts). È come avere una stanza piena di esperti: uno è bravo con la rabbia, uno con la gioia, uno con la tristezza. Quando arriva un'immagine, il sistema decide quale esperto chiamare per dare la risposta migliore.

Fase 2: L'Ascolto e l'Integrazione (Riconoscimento)

Ora che l'occhio è allenato, il sistema guarda i video veri e propri.

• Guardare da più angolazioni: Per ogni fotogramma, il sistema non guarda il viso una sola volta. Lo "ritaglia" tre volte: una volta normale, una volta un po' più vicino e una volta un po' più lontana. Poi unisce queste tre visioni. È come se guardassi un oggetto da vicino, da lontano e di lato per capire esattamente com'è fatto.
• Ascoltare la voce (Audio): Le emozioni non sono solo facce. A volte la voce tradisce la verità (es. qualcuno dice "sto bene" ma la voce trema). Il sistema usa un altro cervello esperto (Wav2Vec 2.0) per ascoltare brevi frammenti di audio sincronizzati con il video.
• Il Portiere (Fusione a Cancelli): Qui arriva la parte magica. Il sistema ha due informazioni: l'immagine e il suono. Ma quale credere? Se il video è buio ma la voce è chiara, il sistema deve dare più peso alla voce. Usano un "cancelliere intelligente" (Gated Fusion) che decide, fotogramma per fotogramma, quanto fidarsi degli occhi e quanto fidarsi delle orecchie. Non è una media fissa, ma una decisione dinamica.

Il Tocco Finale: La "Stabilizzazione"

I video reali sono instabili: un attimo la persona sorride, il fotogramma successivo è sfocato e sembra arrabbiata. Se il sistema decidesse solo fotogramma per fotogramma, l'umore della persona sembrerebbe cambiare a scatti in modo assurdo.

• La Soluzione: Hanno aggiunto un passaggio finale di "smussatura" (Temporal Smoothing). Immagina di guardare un video e dire: "Aspetta, nei 3 secondi prima e dopo, questa persona era felice, quindi anche in questo fotogramma sfocato probabilmente lo è ancora". Usano una tecnica chiamata filtro mediano (come se prendessero la "opinione di mezzo" di un gruppo di vicini) per rendere la previsione stabile e coerente nel tempo.

I Risultati

Questo sistema "due in uno" (occhio allenato + orecchio attento + stabilizzatore) ha funzionato benissimo. Ha battuto i record precedenti nel riconoscimento delle emozioni, ottenendo un punteggio molto alto anche in condizioni difficili.

In sintesi:
Hanno creato un sistema che non si lascia ingannare dai difetti del video (come i tagli strani o la sfocatura), ascolta anche la voce per capire meglio, e alla fine "ragiona" su un piccolo lasso di tempo per non fare previsioni folli e instabili. È come avere un osservatore umano molto esperto che, invece di guardare un solo istante, osserva il contesto, ascolta il tono di voce e mantiene la calma per capire davvero come si sente la persona.

Sommario tecnico

1. Problema e Contesto

Il paper affronta la sfida del riconoscimento delle espressioni facciali (EXPR) al 10° workshop e competizione ABAW (Affective Behavior Analysis in-the-Wild). L'obiettivo è classificare a livello di singolo fotogramma otto diverse espressioni emotive (Neutro, Rabbia, Disgusto, Paura, Felicità, Tristezza, Sorpresa, Altro) partendo da video non controllati ("in-the-wild").

Le principali difficoltà di questo compito includono:

• Localizzazione imprecisa del viso: I box di rilevamento possono essere instabili o inaccurati.
• Variazioni di scala e posa: Il viso può cambiare dimensione e orientamento drasticamente tra i fotogrammi.
• Rumore visivo: Sfocatura da movimento, occlusioni, cambiamenti di illuminazione e bassa qualità dell'immagine.
• Instabilità temporale: Le previsioni possono fluttuare eccessivamente tra fotogrammi adiacenti a causa del rumore.
• Natura multimodale: L'uso esclusivo del video è spesso insufficiente in situazioni ambigue; è necessario integrare segnali audio (voce) per migliorare l'accuratezza.

2. Metodologia Proposta

Gli autori propongono un modello dual-modale (audio-visivo) a due stadi, progettato per essere robusto ed efficiente.

Stadio I: Adattamento Visivo (Visual Adaptation)

L'obiettivo è adattare un encoder visivo pre-addestrato per estrarre caratteristiche robuste specifiche per le espressioni facciali.

• Backbone: Viene utilizzato DINOv2 ViT-L/14, un modello Vision Transformer pre-addestrato in modo self-supervised.
• Strategia di Adattamento (PadAug): Per gestire il problema dei ritagli del viso che possono creare bordi neri o artefatti durante l'inferenza su video grezzi, viene introdotta una strategia di aumento dati chiamata PadAug. Questa simula artificialmente padding e bordi durante l'addestramento su dataset di immagini (AffectNet e RAF-DB), riducendo il domain shift tra dati di training puliti e dati di inferenza reali.
• Testa MoE (Mixture of Experts): Durante l'adattamento, viene aggiunto un classificatore basato su MoE (Mixture of Experts) che permette a diversi "esperti" di specializzarsi su diversi pattern di espressioni. Questo testa è utilizzato solo durante la fase di adattamento e viene successivamente scartato.
• Risultato: Si ottiene un backbone DINOv2 adattato, privo della testa MoE, pronto per l'estrazione di caratteristiche visive.

Stadio II: Riconoscimento Emotivo Audio-Visivo a Livello di Fotogramma

Questa fase integra le informazioni visive e acustiche per la classificazione finale.

• Rappresentazione Visiva Multi-Scala: Per ogni fotogramma target, vengono estratti tre ritagli del viso a scale diverse (fattori 0.9, 1.2, 1.5) direttamente dal video grezzo. Le caratteristiche estratte da DINOv2 per ciascuna scala vengono mediate per formare una rappresentazione visiva robusta.
• Caratteristiche Audio: Vengono estratte caratteristiche acustiche utilizzando Wav2Vec 2.0. Per allineare l'audio al video, si utilizza una finestra temporale centrata di 0.50 secondi attorno a ogni fotogramma, mediando le caratteristiche audio per ottenere una rappresentazione stabile.
• Fusione Gated (Gated Fusion): Le caratteristiche visive e audio vengono fuse tramite un modulo di fusione leggero basato su un meccanismo di gating. Questo modulo calcola un vettore di gate che pesa dinamicamente il contributo di ciascuna modalità in base alla sua affidabilità nel singolo fotogramma, permettendo al modello di sopprimere i segnali rumorosi.
• Fusione Temporale (Inference-time Smoothing): Per migliorare la coerenza temporale senza aggiungere complessità computazionale significativa (come un backbone temporale pesante), viene applicato un filtro mediano (median filtering) sui logit di previsione durante l'inferenza. Utilizzando una finestra temporale di 101 fotogrammi, questo passo stabilizza le previsioni riducendo le fluttuazioni improvvise.

3. Contributi Chiave

1. Framework a Due Stadi: Una architettura che separa l'adattamento visivo robusto (Stadio I) dalla fusione multimodale e modellazione temporale (Stadio II), ottimizzando l'efficienza.
2. PadAug (Padding-Aware Augmentation): Una strategia di pre-processing innovativa che simula gli artefatti di bordo causati dai ritagli del viso, migliorando la robustezza del modello su input multi-scala.
3. Adattamento MoE: L'uso di una testa Mixture of Experts durante la fase di adattamento per migliorare la diversità delle caratteristiche e l'adattamento al task, senza aumentare i parametri finali del modello.
4. Fusione e Smoothing Leggeri: Dimostrazione che una fusione gating semplice e un smoothing temporale post-hoc (filtro mediano) sono sufficienti per ottenere prestazioni all'avanguardia, evitando modelli temporali eccessivamente complessi.

4. Risultati Sperimentali

Il modello è stato valutato sul dataset ufficiale Aff-Wild2 utilizzato nella competizione ABAW.

• Punteggio sul Set di Validazione Ufficiale: Il modello ha raggiunto un Macro-F1 di 0.5368.
• Validazione Incrociata (5-fold): Il punteggio medio è stato di 0.5122 ± 0.0277.
• Confronto: Questi risultati superano significativamente le linee di base ufficiali e le prestazioni dei metodi presentati in competizioni precedenti.
• Analisi delle Componenti:
  • L'uso di ritagli multi-scala e PadAug ha migliorato la sola componente visiva da 0.3007 (crop ufficiali) a 0.4344.
  • L'integrazione audio tramite fusione gating ha portato il punteggio a 0.5131.
  • Lo smoothing temporale ha portato il punteggio finale a 0.5368.

5. Significato e Impatto

Questo lavoro dimostra che per il riconoscimento delle emozioni "in-the-wild", la chiave non risiede necessariamente in architetture temporali estremamente complesse, ma in:

1. Un adattamento visivo robusto che gestisca le imperfezioni dei ritagli e le variazioni di scala.
2. Una fusione multimodale intelligente che sappia pesare dinamicamente l'affidabilità dei segnali audio e visivi.
3. Una post-elaborazione temporale semplice (come il filtro mediano) per garantire coerenza.

Il metodo proposto offre un compromesso eccellente tra accuratezza, stabilità temporale e complessità computazionale, rendendolo una soluzione pratica ed efficace per l'analisi affettiva in scenari reali.