Sintesi Tecnica: L'attenzione non è tutto quanto serve per il riconoscimento delle emozioni

Definizione del Problema

Questo studio affronta la sfida del riconoscimento multimodale delle emozioni utilizzando il dataset EAV, che contiene registrazioni sincronizzate di EEG, audio e video di 42 partecipanti impegnati in interazioni conversazionali. Sebbene il dataset offra una risorsa unica per la ricerca multimodale, presenta un vincolo significativo per il deep learning: dopo la suddivisione standard dei dati, rimangono solo circa 280 campioni di addestramento per soggetto.

La domanda centrale di ricerca indaga se complessi meccanismi di attenzione (specificamente l'attenzione fattorizzata) migliorino le prestazioni su dataset così piccoli, o se approcci più semplici che sfruttano feature appropriate al dominio forniscano risultati superiori. Gli autori ipotizzano che la complessità architettonica possa portare all'overfitting e alla degradazione delle feature pre-addestrate in regimi con pochi dati.

Metodologia

Gli autori hanno valutato sistematicamente tre categorie di modelli attraverso le tre modalità (EEG, Audio, Visione):

1. M1: Transformer di Base (Baseline)

Gli autori hanno implementato architetture transformer standard utilizzando backbone pre-addestrati da Hugging Face per stabilire le prestazioni di riferimento:

• EEG: Un'architettura custom con estrazione di feature convoluzionali 1D seguita da un encoder transformer a 6 strati con 4 teste di attenzione.
• Audio: Fine-tuning dell'Audio Spectrogram Transformer (AST) con una testa classificatrice a 5 classi custom, utilizzando una strategia di addestramento a due stadi (backbone congelato seguito da sblocco dei parametri).
• Vision: Un Vision Transformer (ViT) pre-addestrato specificamente sul riconoscimento delle emozioni facciali, che elabora 25 frame per segmento video con medie delle predizioni.

2. M2: Meccanismi di Attenzione Fattorizzata

Motivati dalle strutture uniche di ogni modalità, gli autori hanno progettato nuovi modelli di attenzione fattorizzata volti a superare le baseline:

• M2-EEG (Tri-Stream): Un transformer che si dirama in tre stream paralleli: spaziale (interazioni tra canali), temporale (dinamiche temporali) e asimmetria emisferica (differenze destra-sinistra basate sul modello di Davidson). Include una connessione skip apprendibile per preservare le feature convoluzionali.
• M2-EEG (EEGNet-Improved): Una versione migliorata di EEGNet che incorpora blocchi di squeeze-excitation, convoluzioni multi-scala e tecniche di regolarizzazione avanzate.
• M2-Audio: Un meccanismo di Doppia Attenzione Temporale-Frequenziale applicato alle feature AST. Rimodella i patch in una griglia 2D (tempo × frequenza) e applica blocoli sequenziali di attenzione temporale e frequenziale, preservando circa l'88% delle feature pre-addestrate tramite una connessione skip.
• M2-Vision: Un modello di Attenzione Spazio-Temporale Fattorizzata (seguendo il modello ViViT 2) che decompone l'attenzione spazio-temporale completa in attenzione spaziale all'interno dei frame e attenzione temporale tra i frame per ridurre la complessità computazionale.

3. M3: Baseline CNN Migliorate

Dopo le scarse prestazioni di M2, gli autori hanno esplorato modifiche minime alle baseline CNN concentrandosi su correzioni di bug e ingegneria delle feature specifica del dominio:

• Audio: Ha aumentato il set di feature con i delta MFCC (derivate temporali) per catturare la dinamica spettrale a breve termine, aumentando la dimensionalità dell'input da 180 a 220.
• EEG:
  • v1 (Correzione Bug): Rimozione di uno strato nn.Softmax errato applicato prima di CrossEntropyLoss nell'implementazione originale.
  • v2 (Band Power): Sostituzione dei segnali grezzi nel dominio del tempo con feature nel dominio della frequenza, inclusi il band power (delta, theta, alpha, beta, gamma), l'entropia differenziale e le esplicite feature di asimmetria alpha (306 dimensioni totali), alimentati in un semplice MLP.
• Vision:
  • v1 (Fix SE): Correzione del rapporto di riduzione del blocco Squeeze-and-Excitation (SE) da 1 (nessun bottleneck) a 16 per garantire un efficace ri-pesatura dei canali.
  • v2 (Delta Features): Aggiunta di feature delta temporali per catturare la dinamica frame-to-frame delle espressioni.

Risultati Chiave

Gli esperimenti, condotti su GPU NVIDIA RTX 6000 Ada con valutazione dipendente dal soggetto, hanno prodotto i seguenti risultati (Tabella 1 del paper):

• Sotto-prestazione di M2: Tutti i modelli di attenzione fattorizzata (M2) sono costantemente inferiori alle rispettive baseline di 5 o 13 punti percentuali.

  • EEG Tri-Stream: 48.00% (rispetto al 60.00% della baseline del paper).
  • Audio Dual-Attention: 49.46% (rispetto al 62.70% della baseline del paper).
  • Vision ViViT-style: 69.54% (rispetto al 74.50% della baseline del paper).
  • Gli autori attribuiscono ciò all'overfitting, alla distruzione delle feature pre-addestrate e all'incapacità dei complessi bias induttivi di generalizzare con circa 280 campioni.

• Successo di M3: Modifiche semplici e appropriate al dominio hanno ottenuto risultati allo stato dell'arte sul dataset:

  • EEG: Le feature di band power hanno raggiunto il 67.62% (+7.62pp rispetto alla baseline del paper).
  • Audio: I delta MFCC hanno raggiunto il 65.56% (+3.66pp rispetto alla baseline del paper).
  • Vision: Le feature delta hanno raggiunto il 72.68% (+1.28pp rispetto alla CNN del paper).
  • Notevolmente, il Vision Transformer M1 (75.30%) ha superato tutte le modifiche CNN di M3, dimostrando che il pre-addestramento specifico del dominio può essere più impattante dei cambiamenti architettonici.

• Variabilità del Soggetto: Sono state osservate significative differenze individuali. Il Soggetto 17 ha costantemente ottenuto l'accuratezza più alta in tutte le modalità (fino al 93.33% per la visione), mentre i Soggetti 35 e 12 hanno presentato sfide persistenti, probabilmente a causa di espressioni sottili o differenze fisiologiche.

Significato e Rivendicazioni

Il paper conclude che per compiti di riconoscimento delle emozioni su piccola scala (circa 280 campioni di addestramento per soggetto), la conoscenza del dominio e una corretta implementazione superano la complessità architettonica.

Gli autori rivendicano tre contributi primari:

1. Dimostrazione del Fallimento: Mostrano che i meccanismi di attenzione fattorizzata, nonostante siano teoricamente motivati, falliscono costantemente su dataset piccoli, performando peggio delle baseline più semplici.
2. Validazione delle Feature Semplici: Dimostrano che le modifiche semplici e appropriate al dominio (specificamente le feature nel dominio della frequenza per l'EEG e i coefficienti delta per audio/video) ottengono i migliori risultati su questo dataset.
3. Analisi Metodologica: Forniscono un'analisi dei modi di fallimento, identificando che la degradazione delle rappresentazioni pre-addestrate, l'insufficienza di dati di addestramento per i complessi bias induttivi e i bug di implementazione (es. doppio softmax) sono fattori critici nei regimi a basso numero di campioni.

La lezione pratica sottolineata è che i ricercatori dovrebbero dare priorità alla verifica dei bug nelle implementazioni delle baseline, all'applicazione dell'ingegneria delle feature specifica del dominio e all'adeguamento della capacità del modello ai dati disponibili prima di introdurre complessi meccanismi di attenzione. Gli autori notano che questi approcci fattorizzati potrebbero comunque essere benefici su dataset di emozioni più grandi dove esiste una supervisione sufficiente per apprendere una fusione stabile.