Towards Emotion Recognition with 3D Pointclouds Obtained from Facial Expression Images

Titolo: Verso il Riconoscimento delle Emozioni con Nuvole di Punti 3D Ottenute da Immagini di Espressioni Facciali

1. Il Problema

Il Riconoscimento delle Espressioni Facciali (FER) è fondamentale per l'Informatica Affettiva (AC), con applicazioni nell'interazione uomo-macchina, nella salute mentale e nel monitoraggio della fatica. Tuttavia, le attuali metodologie basate su immagini 2D presentano limiti critici:

• Privacy: L'uso di immagini ad alta risoluzione solleva gravi preoccupazioni riguardo alla protezione dei dati personali (GDPR, AI Act dell'UE), poiché le immagini 2D contengono texture e dettagli biometrici identificabili.
• Monitoraggio Continuo: I sistemi basati su telecamere sono spesso intrusivi, ingombranti e poco pratici per il monitoraggio continuo e in tempo reale.
• Scarsità di Dati 3D: Esistono pochi dataset 3D etichettati (come BU-3DFE) rispetto ai vasti dataset 2D (come AffectNet). I dataset 3D esistenti sono spesso raccolti in ambienti controllati (studio) e sono piccoli, il che limita la generalizzazione dei modelli di Deep Learning (DL) per scenari "in-the-wild".

L'obiettivo è sviluppare un sistema FER privacy-aware (consapevole della privacy) che utilizzi il High-Frequency Wireless Sensing (HFWS) per generare nuvole di punti 3D senza texture, ma che affronti la mancanza di dati di addestramento 3D su larga scala.

2. Metodologia

Gli autori propongono una pipeline end-to-end che combina generazione di dati sintetici, elaborazione geometrica e modelli di Deep Learning.

• Generazione del Dataset AffectNet3D:

  • Per superare la scarsità di dati 3D, gli autori trasformano il vasto dataset 2D AffectNet (circa 400k immagini) in un dataset 3D.
  • Utilizzano il modello parametrico FLAME (Faces Learned with an Articulated Model and Expressions) per ricostruire la geometria 3D del volto dalle immagini 2D.
  • Per migliorare la precisione della profondità, combinano ZoeDepth e Boost Your Own Depth per la stima della profondità, generando nuvole di punti 3D ad alta risoluzione.

• Pipeline di Affinamento (Refining):

  • Le nuvole di punti generate inizialmente includono l'intera testa (collo, capelli), introducendo rumore irrilevante per il FER.
  • Viene sviluppato un algoritmo di elaborazione in due fasi (2D e 3D) per isolare la regione facciale:
    1. 2D: Rilevamento dei centri degli occhi e del raggio orbitale tramite proiezioni, morfologia matematica, rilevamento dei bordi (Canny) e Trasformata di Hough.
    2. 3D: Definizione di un piano di taglio basato sulla geometria degli occhi per rimuovere collo e parti posteriori della testa, mantenendo solo la faccia.
  • I dati vengono sottocampionati (Farthest Point Sampling) a 512 centroidi per l'efficienza computazionale.

• Modello di Deep Learning:

  • Viene utilizzato PointNet++, un modello architetturale standard per l'elaborazione di nuvole di punti, scelto per la sua capacità di apprendere caratteristiche gerarchiche locali e globali direttamente dai dati 3D grezzi.
  • Il modello viene addestrato su AffectNet3D e successivamente fine-tuned su un sottoinsieme del dataset di riferimento BU-3DFE (un dataset 3D reale e non visto durante l'addestramento iniziale).

• Simulazione HFWS e Wearable:

  • Per valutare la fattibilità su dispositivi indossabili (es. occhiali intelligenti), vengono applicate maschere alle nuvole di punti per simulare la copertura parziale tipica dei sensori HFWS, testando la robustezza del modello in condizioni di visibilità ridotta.

3. Contributi Chiave

1. AffectNet3D: Creazione di un nuovo dataset 3D derivato da AffectNet, che fornisce una fonte di dati su larga scala per l'addestramento di modelli FER 3D, colmando il divario tra dati 2D "in-the-wild" e dati 3D.
2. Pipeline di Generazione e Affinamento: Sviluppo di un metodo robusto per convertire immagini 2D in nuvole di punti 3D e isolare la regione facciale, riducendo il rumore e migliorando l'efficienza del modello.
3. Validazione della Fattibilità HFWS: Dimostrazione che i dati generati sinteticamente possono essere utilizzati per addestrare modelli che, dopo un leggero fine-tuning su dati reali limitati, raggiungono prestazioni elevate.
4. Approccio Privacy-Aware: Spostamento del focus dalla texture (immagine 2D) alla pura geometria 3D (nuvola di punti senza texture), riducendo il rischio di identificazione dell'identità mentre si preservano le caratteristiche espressive.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti confrontando diverse strategie di addestramento e fine-tuning:

• Baseline (Solo BU-3DFE): L'addestramento su BU-3DFE con solo il 25% dei dati ha portato a una precisione di inferenza del 49.12%.
• Addestramento su AffectNet3D (Senza Fine-tuning): L'addestramento diretto su AffectNet3D (anche dopo raffinamento) ha mostrato una bassa capacità di generalizzazione su BU-3DFE (circa 14-16% di accuratezza), a causa del divario tra dati sintetici e reali.
• Addestramento Ibrido (Proposta): Addestrare su AffectNet3D (rifinito) e poi fare fine-tuning su solo il 25% di BU-3DFE ha portato a una precisione di inferenza del 70.64%.
  • Questo risultato è paragonabile alla soluzione "oracle" (addestrata sull'80% di BU-3DFE, che ha raggiunto il 78.90%).
  • Il modello supera significativamente le baseline addestrate solo su piccoli dataset 3D reali.
• Robustezza alla Copertura Parziale: Il modello mantiene un'alta accuratezza anche quando parti del volto sono mascherate (simulando occhiali intelligenti), dimostrando la fattibilità per il monitoraggio continuo.
• Privacy: Sebbene non venga fornita una garanzia formale di privacy, la rimozione delle texture riduce drasticamente l'esposizione di dati biometrici identificabili rispetto alle immagini 2D.

5. Significato e Implicazioni

• Abilitazione del Monitoraggio Continuo: La proposta dimostra che è possibile realizzare sistemi FER continui e non intrusivi utilizzando sensori HFWS su dispositivi indossabili, superando i limiti delle telecamere tradizionali.
• Conformità Normativa: L'approccio basato su geometria 3D senza texture si allinea meglio con le normative sulla privacy (GDPR, AI Act) rispetto all'elaborazione di immagini RGB complete.
• Riduzione del Costo di Raccolta Dati: Il metodo permette di sfruttare l'enorme quantità di dati 2D pubblici esistenti per addestrare modelli 3D, eliminando la necessità di costose sessioni di scansione 3D in studio per la creazione di dataset di addestramento su larga scala.
• Futuro della Ricerca: Il lavoro getta le basi per l'integrazione di tecnologie THz (Terahertz) nei dispositivi indossabili, suggerendo che l'hardware necessario per il sensing 3D ad alta frequenza è fattibile e che i modelli DL possono essere ottimizzati per l'esecuzione su dispositivi edge (es. NPUs).

In sintesi, il paper valida la fattibilità di un ecosistema FER basato su nuvole di punti 3D generate sinteticamente, offrendo una soluzione scalabile, economica e rispettosa della privacy per il riconoscimento delle emozioni in scenari reali.