A Multiscale Network with Supervised Contrastive Learning for Real-Time Facial Emotion Recognition

Dit artikel presenteert een op deep learning gebaseerd systeem dat gebruikmaakt van een multiscale netwerk en supervised contrastieve leerprocessen om real-time gezichtsuitdrukkingen te herkennen door continue expressieveranderingen te modelleren, waarbij een bevredigende prestatie wordt aangetoond op standaard datasets voor toepassingen zoals psychologische counseling.

De kern

Stel je voor dat je probeert te begrijpen hoe een vriend zich voelt door alleen maar naar hem te kijken. Soms betekent een glimlach dat ze blij zijn; andere keren kan het betekenen dat ze beleefd zijn of verdriet verbergen. Stel je nu voor dat je probeert dit met een computer te doen, maar de computer krijgt slechts één momentopname op een bepaald tijdstip. Het is alsof je probeert het plot van een film te raden door naar slechts één frame te kijken — het is makkelijk om het fout te hebben.

Dit artikel introduceert een nieuw systeem genaamd MSFERNet (Multi-Scale Facial Emotion Recognition Network), ontworpen om dit probleem op te lossen. Denk aan een "slimme camera" die niet alleen een gezicht één keer bekijkt, maar kijkt hoe het gezicht in de loop van de tijd verandert, net zoals een psycholoog een patiënt observeert tijdens een sessie.

Hier is een overzicht van hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: Emoties zijn een Film, Geen Foto

De auteurs wijzen erop dat emoties niet statisch zijn; ze stromen en veranderen. Iemand kan neutraal beginnen, een beetje geïrriteerd raken en dan weer kalmer worden. De meeste oude computersystemen zijn als fotografen die één foto maken en de stemming raden. Dit artikel betoogt dat je, om iemand echt te begrijpen, de "film" van hun gezicht moet bekijken.

2. De Oplossing: Een Camera met Meerdere Lenzen (MSFERNet)

De kern van hun systeem is een nieuw type AI-architectuur die ze hebben gebouwd. Stel je een detective voor die een zaak probeert op te lossen.

• De "Groothoek"-lens: Sommige delen van het systeem kijken naar het grote plaatje (de algehele vorm van het gezicht).
• De "Zoom"-lens: Andere delen zoomen in op kleine details (het trillen van een lip of een rimpel in het voorhoofd).
• Het "Geheugen" (Residual Learning): Net zoals een detective die aanwijzingen van eerder op de dag onthoudt, gebruikt dit systeem "residual blocks" om te onthouden wat het eerder heeft gezien, zodat het het verhaal niet kwijtraakt terwijl het dieper graaft.
• De "Spotlight" (Attention Mechanism): Het systeem heeft een ingebouwde spotlight (genaamd CBAM) die de achtergrond negeert (zoals een rommelige kamer of een raam) en zich strikt concentreert op het gezicht, waarbij de belangrijkste onderdelen worden uitgelicht.

3. Het Brein Trainen: Leren van Groepen

Om dit systeem te leren, hebben de onderzoekers het niet alleen foto's laten zien en gezegd: "Dit is blij." Ze gebruikten een techniek genaamd Supervised Contrastive Learning.

• De Analogie: Stel je een leraar voor die een leerling een stapel rode appels en een stapel groene appels laat zien. In plaats van alleen te zeggen "Rood is rood," zegt de leraar: "Kijk hoe deze rode appels aan elkaar lijken, en hoe verschillend ze zijn van de groene."
• Door vergelijkbare emoties bij elkaar te groeperen en verschillende emoties uit elkaar te duwen in zijn "geest", leert de computer een veel duidelijker beeld van hoe elke emotie er werkelijk uitziet.

4. De Taal Vereenvoudigen: Het Drie-Kleuren Systeem

De onderzoekers realiseerden zich dat het echte leven ingewikkeld is. Een standaard dataset heeft 7 of 8 verschillende emoties (Boos, Afkeer, Angst, Verdriet, Blij, Verrassing, Neutraal, etc.).

• De Analogie: Ze besloten dit te vereenvoudigen tot een "verkeerslicht"-systeem voor hun real-time toepassing:
  • Groen: Positief (Blij)
  • Geel: Neutraal
  • Rood: Negatief (Boos, Afkeer, Angst, Verdriet)
• Ze lieten "Verrassing" bewust weg omdat het, net als een plotwending in een film, alles kan betekenen afhankelijk van de context, wat het te verwarrend maakt voor een snelle analyse.

5. De Real-Time Tool (RT-FER)

Ze hebben een gebruiksvriendelijke applicatie gebouwd genaamd RT-FER.

• Hoe het werkt: Je kunt een video uploaden of je webcam gebruiken. Het systeem pakt je gezicht uit elk frame, haalt het door de "Multi-Lens Camera" en geeft je een score.
• De Score: Het vertaalt de emotie naar een getal tussen -1 en 1.
  • -1 is puur negatief.
  • 0 is neutraal.
  • +1 is puur positief.
• De Grafiek: Terwijl de video speelt, tekent het systeem een lijn grafiek die laat zien hoe jouw stemming de "golven" van hoog en laag over de tijd volgt.

6. De Resultaten: Snel, Licht en Nauwkeurig

Het team heeft hun systeem getest op standaard datasets (zoals FER13 en CK+).

• Prestaties: Het deed het erg goed, met een nauwkeurigheid van ongeveer 96,77% op één dataset en 81,08% op hun vereenvoudigde versie met 3 emoties.
• Efficiëntie: Het beste deel is dat het systeem "lichtgewicht" is. Het heeft slechts 2,37 miljoen parameters (denk aan dit als het aantal regels dat de computer moet onthouden). Vergeleken met andere systemen die als zware, langzame vrachtwagens zijn, is dit systeem als een wendbare fiets. Het is klein genoeg om op gewone apparaten te draaien zonder dat er een supercomputer nodig is.

7. De Addertjes onder het Gras (Foutanalyse)

De auteurs waren eerlijk over de gebreken. Als de trainingsdata "slechte foto's" bevat — zoals een foto met een logo in plaats van een gezicht, of een gezicht bedekt door een groot watermerk — raakt het systeem in de war. Het is alsoals proberen een kind honden te leren herkennen met behulp van foto's van katten met tekengetekende hondenoren.

Samenvatting

Kortom, dit artikel presenteert een slimme, lichtgewicht AI die gezichten observeert zoals een menselijke waarnemer, door te kijken naar veranderingen in de loop van de tijd in plaats van naar slechts één enkel momentopname. Het vereenvoudigt complexe emoties tot een duidelijke "Positief/Negatief/Neutraal" score, wat het een nuttig hulpmiddel maakt voor het volgen van emotionele verschuivingen in real-time video's.

Technische samenvatting

Technische Samenvatting: Een Multi-schaal Netwerk met Supervised Contrastive Learning voor Real-time Gelaatsexpressieherkenning

Probleemstelling

Real-time gelaatsuitdrukkingherkenning (Facial Emotion Recognition, FER) brengt aanzienlijke uitdagingen met zich mee, met name in videoscenario's waar emotionele toestanden continu evolueren in plaats van discreet. Een primaire moeilijkheid ligt in de hoge inter-subject variabiliteit van gezichtsuitdrukkingen en de ambiguïteit van emoties (bijv. een glimlach kan duiden op geluk, beleefdheid of sarcasme, afhankelijk van de context). Bovendien heeft bestaand onderzoek zich grotendeels gericht op statische beeldherkenning of enkelvoudige frame-classificatie, waardoor er een gat is in het vermogen om emotionele veranderingen over uitgebreide tijdsperioden te analyseren en te monitoren. Deze beperking belemmert een uitgebreid begrip van de psychologische toestand van een individu, wat cruciaal is voor toepassingen in de psychologie en counseling waar de ratio van experts tot patiënten onvoldoendes is.

Methodologie

De auteurs stellen een tweefasig systeem voor bestaande uit een deep learning-architectuur voor feature-extractie en classificatie, en een real-time applicatie-interface.

1. MSFERNet Architectuur

De kern van het systeem is MSFERNet (Multi-Scale Facial Expression Recognition Network), ontworpen om feature-degradatie en vanishing gradients aan te pakken die gebruikelijk zijn bij diepe sequentiële CNN's. De architectuur bevat:

• Backbone: Het maakt gebruik van de vroege stadia van een voorgetrainde EfficientNet-B0 om laag-niveau en midden-niveau semantische features te extraheren, wat de computationele complexiteit vermindert vergeleken met het gebruik van het volledige netwerk.
• Residual Refinement: Geëxtraheerde feature maps gaan door een verfijningsblok dat een $3 \times 3$ convolutie, Batch Normalization, ReLU en een Residual Block met skip-verbindingen bevat om identiteitsafbeeldingen te behouden en de gradiëntstroom te stabiliseren.
• Multi-Scale Feature Extractie: Het netwerk maakt gebruik van parallelle convolutionele takken met $3 \times 3$ en $5 \times 5$ kernels.
  • Fase 1: Takken worden gecombineerd via element-wise optelling.
  • Fase 2: Takken worden kanaal-gewijs geconcateneerd om complementaire informatie van verschillende receptieve velden te behouden.
• Attention Mechanisme: Een Convolutional Block Attention Module (CBAM) wordt na elke multi-scale fase toegepast om sequentieel informatieve gezichtsregio's te benadrukken (kanaal- en ruimtelijke aandacht) terwijl achtergrondruis wordt onderdrukt.
• Classificatiekop: Features worden gedownsampled, globaal gepooled en doorheen geleid naar fully connected lagen (128 en 64 eenheden) met dropout (0.3) om overfitting te voorkomen.
• Supervised Contrastive Learning: Een projectiekop brengt features in kaart naar een genormaliseerde embedding-ruimte. Het model wordt getraind met een gecombineerde verliesfunctie:
  $$L = 1.0 \times L_{cross} + 0.1 \times L_{sup}$$
  Waarbij $L_{cross}$ de Categorical Cross-Entropy Loss is en $L_{sup}$ de Supervised Contrastive Loss, ontworpen om betere representaties van emotionele features te leren door positieve samples (dezelfde klasse) dichter bij elkaar te trekken en negatieve samples uit elkaar te duwen in de embedding-ruimte.

2. Dataset Preprocessing en Modificatie

De studie maakt gebruik van de FER13 en CK+ datasets. Om aan te sluiten bij het doel om psychologen te helpen bij het identificeren van brede mentale toestanden, hebben de auteurs de standaard 7-klasse FER13 dataset aangepast naar een 3-klasse systeem:

• Positief: Afgeleid van de 'Happy' klasse.
• Negatief: Samengevoegd uit 'Angry', 'Disgust', 'Fear' en 'Sad'.
• Neutraal: Onveranderd behouden.
• Opmerking: De 'Surprise' klasse werd uitgesloten vanwege de hoge contextuele afhankelijkheid en de neiging om gemengde emoties op te roepen.
• Preprocessing: Afbeeldingen werden geschaald naar $128 \times 128$, en standaard augmentaties (verschuiven, zoomen, scheeftrekken, spiegelen) werden toegepast. Corrupte afbeeldingen werden gefilterd.

3. RT-FER Systeem

Een gebruiksvriendelijke applicatie genaamd RT-FER is ontwikkeld om real-time monitoring te demonstreren. Het legt live video vast of verwerkt geüploade video's, extraheert gezichten uit frames en voert deze aan de getrainde MSFERNet. Het systeem geeft output van:

• Emotie Voorspelling: De voorspelde klasse met betrouwbaarheidsscores.
• Emotie Scoring: Een continue score berekend als $Score = p_{positive} - p_{negative}$ (waarbij Negatief wordt gemapt naar -1, Neutraal naar 0, Positief naar 1).
• Visualisatie: Een grafische interface toont de videofeed naast een real-time plot die de emotiescore over de tijd volgt.

Belangrijkste Bijdragen

1. MSFERNet Architectuur: Voorstel van een multi-schaal, attention-gebaseerd netwerk dat transfer learning, residual mechanismen en supervised contrastive learning integreert.
2. Dataset Adaptatie: Creatie van een aangepaste 3-klasse FER13 dataset die is afgestemd op psychologische toestand-analyse, waarmee wordt ingegaan op het gebrek aan standaard datasets voor brede emotionele categorieën.
3. RT-FER Applicatie: Ontwikkeling van een functionele GUI die real-time emotie-monitoring mogelijk maakt en de visualisatie van emotionele veranderingen over de tijd biedt, inclusief een videospeler om context-geïnduceerde emotionele verschuivingen te observeren.

Experimentele Resultaten

Het model werd geëvalueerd op de FER13 (originele 7-klasse en aangepaste 3-klasse) en CK+ datasets met een 80:10 train-test split.

• Prestaties:
  • FER13 (7-klasse): 66,73% nauwkeurigheid.
  • FER13 (3-klasse): 81,08% nauwkeurigheid.
  • CK+: 96,77% nauwkeurigheid.
• Efficiëntie: Het model bevat slechts 2,37 miljoen trainbare parameters, wat het aanzienlijk minder resource-intensief maakt dan state-of-the-art modellen zoals AlexNet (62,30M) of VGGNet (84,00M).
• Impact van Supervised Contrastive Loss: De inclusie van $L_{sup}$ verbeterde de nauwkeurigheid over alle datasets (bijv. FER13 7-klasse verbeterde van 64,19% naar 66,73%; CK+ verbeterde van 95,56% naar 96,77%).
• Vergelijking: Het voorgestelde MSFERNet presteerde beter dan verschillende bestaande SOTA-modellen op zowel de FER13 als de CK+ datasets, terwijl het een lager aantal parameters behield.

Betekenis en Beperkingen

Het artikel stelt dat het voorgestelde systeem de kloof overbrugt tussen statische emotieherkenning en continue psychologische toestand-monitoring. Door een hulpmiddel te bieden om emotionele veranderingen over de tijd te volgen, biedt het een potentieel hulpmiddel voor psychologen om extra inzichten te verkrijgen in de emotionele toestand van een subject, wat de last van handmatige observatie kan verlichten.

De auteurs erkennen bescheiden de beperkingen, waarbij zij opmerken dat, ondanks preprocessing, de trainingsdata foutieve samples bevatte (bijv. afbeeldingen met logo's of watermerken) die de training hebben beïnvloed. Zij benadrukken ook dat real-time herkenning uitdagend blijft door variaties in beeldkwaliteit en de inherente ambiguïteit van gezichtsuitdrukkingen. Het werk concludeert dat hoewel de huidige resultaten bevredigend zijn, toekomstige verbeteringen bereikt kunnen worden door te trainen op grotere real-world datasets en door sterkere attention mechanismen te integreren.