A Multiscale Network with Supervised Contrastive Learning for Real-Time Facial Emotion Recognition

Questo articolo presenta un sistema basato sul deep learning che utilizza una rete multiscala e l'apprendimento contrastivo supervisionato per ottenere il riconoscimento delle emozioni facciali in tempo reale modellando i cambiamenti continui delle espressioni, dimostrando prestazioni soddisfacenti su dataset standard per applicazioni quali la consulenza psicologica.

L'essenziale

Immagina di cercare di capire come si sente un amico semplicemente guardandolo. A volte un sorriso significa che è felice; altre volte, potrebbe significare che sta essendo educato o che sta nascondendo la tristezza. Ora, immagina di cercare di farlo con un computer, ma il computer riceve solo un singolo scatto nel tempo. È come cercare di indovinare la trama di un film guardando un solo fotogramma — è facile sbagliare.

Questo articolo presenta un nuovo sistema chiamato MSFERNet (Multi-Scale Facial Emotion Recognition Network) progettato per risolvere questo problema. Immagina che sia una "telecamera intelligente" che non si limita a guardare un volto una volta, ma osserva come il volto cambia nel tempo, proprio come uno psicologo che osserva un paziente durante una sessione.

Ecco una suddivisionzione di come funziona, utilizzando semplici analogie:

1. Il Problema: Le emozioni sono un film, non una foto

Gli autori sottolineano che le emozioni non sono statiche; fluiscono e cambiano. Una persona può iniziare in modo neutro, diventare leggermente irritata e poi calmarsi. La maggior parte dei vecchi sistemi informatici sono come fotografi che scattano una singola foto e indovinano l'umore. Questo articolo sostiene che, per capire davvero qualcuno, è necessario guardare il "film" del suo volto.

2. La Soluzione: Una telecamera con più lenti (MSFERNet)

Il cuore del loro sistema è un nuovo tipo di architettura IA che hanno costruito. Immagina un detective che cerca di risolvere un caso.

• La lente "Grandangolare": Alcune parti del sistema guardano il quadro generale (la forma complessiva del viso).
• La lente "Zoom": Altre parti fanno lo zoom sui piccoli dettagli (il tic della bocca o una ruga sulla fronte).
• La "Memoria" (Apprendimento Residuo): Proprio come un detective che ricorda gli indizi della giornata precedente, questo sistema utilizza dei "blocchi residui" per ricordare ciò che ha visto in precedenza, in modo da non perdere il filo del discorso mentre scava più a fondo.
• Il "Faro" (Meccanismo di Attenzione): Il sistema ha un faro integrato (chiamato CBAM) che ignora lo sfondo (come una stanza disordinata o una finestra) e si concentra strettamente sul volto, evidenziando le parti più importanti.

3. Addestrare il cervello: Imparare dai gruppi

Per insegnare a questo sistema, i ricercatori non si sono limitati a mostrargli delle immagini dicendo "Questa è felicità". Hanno utilizzato una tecnica chiamata Supervised Contrastive Learning (Apprendimento contrastivo supervisionato).

• L'analogia: Immagina un insegnante che mostra a uno studente un mucchio di mele rosse e un mucchio di mele verdi. Invece di dire solo "Il rosso è rosso", l'insegnante dice: "Guarda quanto queste mele rosse siano simili tra di loro, e quanto siano diverse da quelle verdi".
• Raggruppando le emozioni simili e allontanando quelle diverse nella sua "mente", il computer impara un'immagine molto più chiara di ciò che ogni emozione sia realmente.

4. Semplificare il linguaggio: Il sistema a tre colori

I ricercatori si sono resi conto che la vita reale è complicata. Un dataset standard ha 7 o 8 emozioni diverse (Rabbia, Disgusto, Paura, Tristezza, Felicità, Sorpresa, Neutro, ecc.).

• L'analogia: Hanno deciso di semplificare tutto in un sistema a "Semaforo" per la loro applicazione in tempo reale:
  • Verde: Positivo (Felice)
  • Giallo: Neutro
  • Rosso: Negativo (Rabbia, Disgusto, Paura, Tristezza)
• Hanno volutamente escluso la "Sorpresa" perché, come un colpo di scena in un film, può significare qualsiasi cosa a seconda del contesto, rendendola troppo confusionaria per un'analisi rapida.

5. Lo strumento in tempo reale (RT-FER)

Hanno costruito un'applicazione facile da usare chiamata RT-FER.

• Come funziona: Puoi caricare un video o usare la tua webcam. Il sistema cattura il tuo volto da ogni fotogramma, lo fa passare attraverso la "Telecamera Multi-Lente" e ti fornisce un punteggio.
• Il Punteggio: Traduce l'emozione in un numero tra -1 e 1.
  • -1 è puramente negativo.
  • 0 è neutro.
  • +1 è puramente positivo.
• Il Grafico: Mentre il video viene riprodotto, il sistema disegna un grafico a linee che mostra come il tuo umore "navighi sulle onde" su e giù nel tempo.

6. I Risultati: Veloce, Leggero e Accurato

Il team ha testato il loro sistema su dataset standard (come FER13 e CK+).

• Prestazioni: Ha funzionato molto bene, ottenendo circa il 96,77% di accuratezza su un dataset e l'81,08% sulla loro versione semplificata a 3 emozioni.
• Efficienza: La cosa migliore è che il sistema è "leggero". Ha solo 2,37 milioni di parametri (pensa a questi come al numero di regole che il computer deve memorizzare). Rispetto ad altri sistemi che sono come camion pesanti e lenti, questo è come una bicicletta agile. È abbastanza piccolo da poter girare su dispositivi normali senza la necessità di un supercomputer.

7. Il limite (Analisi degli errori)

Gli autori sono stati onesti riguardo ai difetti. Se i dati di addestramento contengono "foto brutte" — come una foto con un logo invece di un volto, o un volto coperto da un enorme watermark — il sistema si confonde. È come cercare di insegnare a un bambino a riconoscere i cani usando foto di gatti con le orecchie da cane disegnate sopra.

Riassunto

In breve, questo articolo presenta un'IA intelligente e leggera che osserva i volti come un osservatore umano, cercando i cambiamenti nel tempo piuttosto che un singolo scatto. Semplifica le emozioni complesse in un chiaro punteggio "Positivo/Negativo/Neutro", rendendolo uno strumento utile per tracciare i cambiamenti emotivi nei video in tempo reale.

Sommario tecnico

Sintesi Tecnica: Una Rete Multiscala con Apprendimento Contrastivo Supervisionato per il Riconoscimento delle Emozioni Facciali in Tempo Reale

Definizione del Problema

Il riconoscimento delle emozioni facciali (FER) in tempo reale presenta sfide significative, in particolare negli scenari basati su video, dove gli stati emotivi evolvono continuamente piuttosto che in modo discreto. Una difficoltà primaria risiede nell'elevata variabilità inter-soggetto delle espressioni facciali e nell'ambiguità delle emozioni (ad esempio, un sorriso può indicare felicità, cortesia o sarcasmo a seconda del contesto). Inoltre, la ricerca esistente si è concentrata ampiamente sul riconoscimento di immagini statiche o sulla classificazione di singoli fotogrammi, lasciando un vuoto nella capacità di analizzare e monitorare i cambiamenti emotivi su periodi di tempo estesi. Questa limitazione ostacola la comprensione completa dello stato psicologico di un individuo, il che è cruciale per applicazioni in psicologia e consulenza dove il rapporto tra esperti e pazienti è insufficiente.

Metodologia

Gli autori propongono un sistema in due fasi composto da un'architettura di deep learning per l'estrazione delle caratteristiche e la classificazione, e un'interfaccia applicativa in tempo reale.

1. Architettura MSFERNet

Il cuore del sistema è MSFERNet (Multi-Scale Facial Expression Recognition Network), progettata per affrontare il degrado delle caratteristiche e la scomparsa del gradiente comuni nelle reti CNN sequenziali profonde. L'architettura incorpora:

• Backbone: Utilizza le prime fasi di una EfficientNet-B0 pre-addestrata per estrarre caratteristiche semantiche di basso e medio livello, riducendo la complessità computazionale rispetto all'uso dell'intera rete.
• Raffinamento Residuo: Le mappe delle caratteristiche estratte passano attraverso un blocco di raffinamento contenente una convoluzione $3 \times 3$, Batch Normalization, ReLU e un Blocco Residuo con connessioni skip per preservare le mappature di identità e stabilizzare il flusso del gradiente.
• Estrazione delle Caratteristiche Multi-scala: La rete impiega rami convoluzionali paralleli con kernel $3 \times 3$ e $5 \times 5$.
  • Fase 1: I rami sono combinati tramite addizione elemento per elemento.
  • Fase 2: I rami sono concatenati lungo il canale per preservare le informazioni complementari provenienti da diversi campi recettivi.
• Meccanismo di Attenzione: Un Modulo di Attenzione per Blocchi Convoluzionali (CBAM) è applicato dopo ogni fase multi-scala per enfatizzare sequenzialmente le regioni facciali informative (attenzione di canale e spaziale) mentre si sopprime il rumore di fondo.
• Testa di Classificazione: Le caratteristiche vengono sottocampionate, sottoposte a pooling globale e passate attraverso strati completamente connessi (128 e 64 unità) con dropout (0.3) per prevenire l'overfitting.
• Apprendimento Contrastivo Supervisionato: Una testa di proiezione mappa le caratteristiche in uno spazio di embedding normalizzato. Il modello è addestrato utilizzando una funzione di perdita combinata:
  $$L = 1.0 \times L_{cross} + 0.1 \times L_{sup}$$
  Dove $L_{cross}$ è la Categorical Cross-Entropy Loss e $L_{sup}$ è la Supervised Contrastive Loss, progettata per apprendere meglio le rappresentazioni delle caratteristiche emotive avvicinando i campioni positivi (stessa classe) e allontanando i campioni negativi nello spazio di embedding.

2. Pre-elaborazione e Modifica del Dataset

Lo studio utilizza i dataset FER13 e CK+. Per allinearsi all'obiettivo di assistere gli psicologi nell'identificare stati mentali ampi, gli autori hanno modificato il dataset standard FER13 a 7 classi in un sistema a 3 classi:

• Positivo: Derivato dalla classe 'Happy'.
• Negativo: Unito da 'Angry', 'Disgust', 'Fear' e 'Sad'.
• Neutro: Mantenuto così com'è.
• Nota: La classe 'Surprise' è stata esclusa a causa della sua alta dipendenza dal contesto e della tendenza a evocare emozioni miste.
• Pre-elaborazione: Le immagini sono state ridimensionate a $128 \times 128$ e sono state applicate le aumentazioni standard (traslazione, zoom, deformazione, flipping). Le immagini corrotte sono state filtrate.

3. Sistema RT-FER

Un'applicazione user-friendly chiamata RT-FER è stata sviluppata per dimostrare il monitoraggio in tempo reale. Cattura video live o elabora video caricati, estrae i volti dai fotogrammi e li alimenta alla MSFERNet addestrata. Il sistema restituisce:

• Predizione dell'Emozione: La classe predetta con i relativi punteggi di confidenza.
• Punteggio Emotivo: Un punteggio continuo calcolato come $Score = p_{positive} - p_{negative}$ (mappando Negativo a -1, Neutro a 0, Positivo a 1).
• Visualizzazione: Un'interfaccia grafica mostra il feed video insieme a un grafico in tempo reale che traccia il punteggio emotivo nel tempo.

Contributi Chiave

1. Architettura MSFERNet: Proposta di una rete multi-scala basata sull'attenzione che integra il transfer learning, meccanismi residui e apprendimento contrastivo supervisionato.
2. Adattamento del Dataset: Creazione di un dataset FER13 modificato a 3 classi, adatto all'analisi degli stati psicologici, affrontando la mancanza di dataset standard per categorie emotive ampie.
3. Applicazione RT-FER: Sviluppo di una GUI funzionale che consente il monitoraggio delle emozioni in tempo reale e la visualizzazione dei cambiamenti emotivi nel tempo, includendo un lettore video per osservare i cambiamenti emotivi indotti dal contesto.

Risultati Sperimentali

Il modello è stato valutato sui dataset FER13 (7 classi originali e 3 classi modificate) e CK+ utilizzando un split train-test 80:10.

• Performance:
  • FER13 (7 classi): 66.73% di accuratezza.
  • FER13 (3 classi): 81.08% di accuratezza.
  • CK+: 96.77% di accuratezza.
• Efficienza: Il modello contiene solo 2.37 milioni di parametri addestrabili, il che lo rende significativamente più efficiente dal punto di vista delle risorse rispetto ai modelli allo stato dell'arte come AlexNet (62.30M) o VGGNet (84.00M).
• Impatto della Supervised Contrastive Loss: L'inclusione di $L_{sup}$ ha migliorato l'accuratezza in tutti i dataset (ad esempio, l'accuratezza di FER13 7-class è passata dal 64.19% al 66.73%; CK+ dal 95.56% al 96.77%).
• Confronto: Il proposto MSFERNet ha superato diversi modelli esistenti SOTA sia sui dataset FER13 che su CK+, mantenendo un numero inferiore di parametri.

Significato e Limitazioni

L'articolo sostiene che il sistema proposto colmi il divario tra il riconoscimento delle emozioni statiche e il monitoraggio continuo dello stato psicologico. Fornendo uno strumento per tracciare i cambiamenti emotivi nel tempo, offre un potenziale aiuto agli psicologi per ottenere ulteriori intuizioni sullo stato emotivo di un soggetto, alleviando potenzialmente il carico dell'osservazione manuale.

Gli autori riconoscono con modestia alcune limitazioni, notando che, nonostante la pre-elaborazione, i dati di addestramento contenevano campioni errati (ad esempio, immagini con loghi o watermark) che hanno impattato l'addestramento. Evidenziano inoltre che il riconoscimento in tempo reale rimane una sfida a causa delle variazioni nella qualità delle immagini e dell'intrinseca ambiguità delle espressioni facciali. Il lavoro conclude che, sebbene i risultati attuali siano soddisfacenti, futuri miglioramenti potrebbero essere ottenuti addestrando su dataset più grandi del mondo reale e incorporando meccanismi di attenzione più forti.