Dual-View Optical Flow for 4D Micro-Expression Recognition - A Multi-Stream Fusion Attention Approach

1. Il Problema

Il riconoscimento delle micro-espressioni (ME) è una sfida cruciale nel campo dell'informatica affettiva, ma rimane estremamente difficile a causa della natura involontaria, brevissima durata e bassa intensità dei movimenti facciali coinvolti.
In particolare, l'elaborazione di dati 4D (sequenze di mesh 3D + tempo) presenta ostacoli significativi:

• Complessità Computazionale: Elaborare direttamente mesh 3D dinamiche o nuvole di punti richiede architetture geometriche complesse (es. PointNet++, 3D CNN) con un elevato costo computazionale e di memoria, rendendo difficile il deployment in scenari reali.
• Rumore e Invarianza: I metodi tradizionali basati su 2D o landmark spesso falliscono nel catturare movimenti spaziotemporali sottili a causa di variazioni di illuminazione, pose della testa e informazioni ridondanti (come l'identità del volto o le texture statiche).
• Fusione Statica: Le architetture multi-stream esistenti tendono a trattare i diversi componenti del movimento (orizzontale, verticale, magnitudine) in modo uguale, utilizzando fusioni naive che non riescono a catturare le sfumature specifiche di ogni tipo di micro-espressione.

2. Metodologia Proposta

Gli autori propongono un approccio innovativo che trasforma i dati 4D in mappe di flusso ottico 2D dual-view, elaborati tramite una rete neurale profonda a tre stream con un meccanismo di attenzione adattiva.

A. Pre-elaborazione e Estrazione del Flusso Ottico

• Dual-View: Ogni sequenza di input viene divisa in due viste sincronizzate (lato sinistro e lato destro del volto).
• Ritaglio e Coerenza Spaziale: Vengono applicati ritagli facciali basati sul bounding box più grande all'interno di una sequenza per garantire coerenza spaziale tra i frame.
• Rilevamento Automatico dell'Apice (Apex Frame): Poiché il dataset non fornisce annotazioni per il frame di apice, viene calcolato automaticamente identificando il frame con la massima intensità di movimento (somma delle magnitudini del flusso ottico) rispetto al frame di inizio (onset).
• Decomposizione Temporale: Ogni sequenza è divisa in due fasi: Onset-Apex (fase di crescita dell'intensità) e Apex-Offset (fase di decadimento).
• Canali di Flusso Ottico: Per ogni fase e per ogni vista, viene calcolato il flusso ottico denso (usando l'algoritmo di Farneback) ed estratti tre canali:
  1. Spostamento orizzontale ($u$).
  2. Spostamento verticale ($v$).
  3. Magnitudine del movimento ($m$).

B. Architettura della Rete: Triple-Stream MicroAttNet

Il cuore del metodo è una rete convoluzionale leggera a tre rami paralleli, progettata per elaborare indipendentemente i canali $u$, $v$ e $m$.

• Elaborazione Indipendente: Ogni stream passa attraverso blocchi convoluzionali separati per apprendere caratteristiche spaziali e di movimento specifiche per quella modalità.
• Modulo di Attenzione di Fusione (Fusion Attention): Dopo ogni blocco convoluzionale, un modulo di attenzione aggrega i descrittori globali (tramite Global Average Pooling) dai tre stream. Questi vengono passati attraverso un MLP condiviso per generare pesi di attenzione adattivi ($\alpha_h, \alpha_v, \alpha_m$). Questo permette alla rete di ricalibrare dinamicamente l'importanza di ogni direzione di movimento in base all'istanza specifica dell'espressione.
• Blocco Squeeze-and-Excitation (SE): Un blocco SE viene applicato specificamente allo stream della magnitudine ($m$) per migliorare la discriminabilità delle caratteristiche di intensità del movimento, sopprimendo i canali meno rilevanti.
• Fusione e Classificazione: Le mappe di caratteristiche raffinate vengono appiattite, concatenate e passate attraverso un layer fully connected per la classificazione multi-label.

C. Strategie di Addestramento

• Loss Function: Utilizzo della Focal Loss per mitigare lo squilibrio delle classi tipico dei dataset di micro-espressioni.
• Data Augmentation: Introduzione di una strategia di "Phase-Aware Temporal Augmentation" che utilizza sia la fase di crescita che quella di decadimento durante l'addestramento per migliorare la robustezza temporale.
• Ottimizzazione: Adam optimizer con early stopping e dropout.

3. Contributi Chiave

1. MicroAttNet: Un'architettura a tre rami con un meccanismo di attenzione unificato, specificamente progettato per il riconoscimento di micro-espressioni su dati 4D.
2. Estrazione Efficiente: Un metodo per estrarre e analizzare efficientemente le caratteristiche del flusso ottico 4D ($u, v, m$) proiettando i dati 3D in rappresentazioni 2D, riducendo il costo computazionale senza perdere informazioni geometriche cruciali.
3. Fusione Adattiva: L'introduzione di un modulo di attenzione che apprende dinamicamente quali direzioni di movimento sono più discriminative per ogni istanza, superando le limitazioni delle fusioni statiche.
4. Validazione su Dataset Reale: Applicazione e validazione sul dataset 4DME (usato nella sfida 4DMR 2025), il primo dataset 4D a registrare micro-espressioni spontanee con sequenze di mesh di alta qualità.

4. Risultati Sperimentali

Il metodo è stato valutato nella 4DMR IJCAI Workshop Challenge 2025, una sfida internazionale per il riconoscimento di micro-espressioni 4D.

• Prestazioni: Il modello proposto (team "Red-Green-Blue") ha ottenuto un punteggio Macro-UF1 di 0.536.
• Confronto: Questo risultato supera di oltre il 50% la baseline ufficiale (UF1 = 0.355) e si posiziona al primo posto nella classifica, battendo altre squadre competitive.
• Studi di Ablazione:
  • Rimuovendo il modulo di Fusion Attention, il punteggio è sceso a 0.524.
  • Rimuovendo il blocco SE, il punteggio è sceso a 0.518.
  • La configurazione completa ha raggiunto un UF1 interno di 0.554 (prima della sottomissione finale), confermando che entrambi i componenti contribuiscono significativamente (fino a +3.6 punti UF1 ciascuno).
• Ottimizzazione: La scelta di una soglia di decisione di 0.20 per la classificazione multi-label ha massimizzato le prestazioni.

5. Significato e Implicazioni

Questo lavoro dimostra che è possibile ottenere prestazioni state-of-the-art nel riconoscimento di micro-espressioni 4D senza ricorrere a costose elaborazioni geometriche 3D dirette.

• Efficienza vs. Accuratezza: L'approccio basato sul flusso ottico dual-view offre un compromesso ottimale, mantenendo l'efficienza computazionale delle CNN 2D pur sfruttando le ricche informazioni di profondità dei dati 4D.
• Interpretabilità: L'uso di stream separati e attenzione adattiva rende il modello più interpretabile, permettendo di capire quali direzioni di movimento sono cruciali per specifiche emozioni.
• Futuro: Sebbene i risultati siano eccellenti, gli autori sottolineano la necessità di modelli ancora più specializzati per catturare correlazioni spaziotemporali complesse e l'integrazione futura di dati multi-modali (mesh 3D + texture 2D) per migliorare ulteriormente l'accuratezza.

In sintesi, il paper presenta una soluzione robusta e scalabile per il riconoscimento di micro-espressioni in ambienti ad alta dimensionalità, validata da un successo competitivo internazionale.