Micro-expression Recognition Based on Dual-branch Feature Extraction and Fusion

Dit artikel presenteert een dubbel-takken netwerk met parallelle aandacht en adaptieve feature-fusie voor micro-expressieherkenning, dat op het CASME II-dataset een nauwkeurigheid van 74,67% bereikt en hiermee bestaande methoden significant overtreft.

De kern

Stel je voor dat je met iemand aan het praten bent en je ziet een heel kort, heel klein gezichtje op hun gezicht. Misschien een snelle frons of een flits van een glimlach die binnen een seconde weer verdwijnt. Dit noemen we een micro-expressie. Het is als een geheime boodschap die het onderbewuste ontsnapt, vaak voordat de persoon het zelf doorheeft.

Het probleem is dat deze boodschappen zo snel en zo subtiel zijn, dat zelfs de slimste computers het lastig vinden om ze te "lezen". Het is alsof je probeert een rups te zien rennen terwijl je door een ruit kijkt die trilt.

In dit artikel vertellen de auteurs hoe ze een nieuwe, slimme computer hebben gebouwd om deze rupsen (micro-expressies) te vangen en te begrijpen. Hier is hoe ze dat doen, vertaald naar alledaagse taal:

1. Twee detectives in plaats van één

Stel je voor dat je een moordzaak moet oplossen. Je zou niet één detective sturen, maar twee, elk met een andere specialisatie. Dat is precies wat deze computer doet. Ze hebben een twee-branch (twee-tak) systeem gebouwd:

• De "Bliksemsnelle" Detective (ResNet): Deze kijkt naar het hele gezicht. Hij is als een ervaren rechercheur die de grote lijnen ziet. Hij let op hoe het hele gezicht verandert en zorgt dat hij niet de weg kwijtraakt als de taak te moeilijk wordt (dit noemen ze "residu's", wat helpt om de focus niet te verliezen).
• De "Kijk door de Vergrootglas" Detective (Inception): Deze kijkt naar kleine details. Hij zoomt in op specifieke plekken, zoals de mondhoeken of de wenkbrauwen. Hij is als een forensisch expert die met een loepje kijkt naar de kleinste sporen die de andere detective misschien over het hoofd ziet.

2. De slimme samenvoeger (De "Koffiebar")

Nu hebben we twee detectives die elk hun eigen verslag hebben geschreven. Als we die verslagen zomaar door elkaar gooien, wordt het een rommeltje. Daarom hebben de auteurs een slimme samenvoeger bedacht (een fusiemodule met "aandacht").

Stel je voor dat dit een barman is die twee sterke drankjes (de twee verslagen) in één glas giet. Maar deze barman is niet zomaar een barman; hij heeft een speciale kruidenmix (de CBAM-aandacht). Hij weet precies hoeveel van het ene drankje en hoeveel van het andere drankje erin moet, afhankelijk van wat er op dat moment gebeurt.

• Als de mond een belangrijke boodschap geeft, geeft hij meer aandacht aan de "mond-detectief".
• Als het hele gezicht een boodschap geeft, geeft hij meer aandacht aan de "hele-gezicht-detectief".

Op deze manier wordt de uiteindelijke boodschap veel duidelijker en scherper.

3. De proef in het laboratorium

De auteurs hebben hun nieuwe systeem getest op een verzameling van 255 korte filmpjes van mensen die micro-expressies maken (het CASME II-dataset). Het was een zware test, want er zijn heel weinig filmpjes beschikbaar (net als een zeldzame bloemsoort).

• Het resultaat: Hun systeem haalde een score van 74,67%.
• Vergelijking: Dat is een stuk beter dan de oude methoden (die rond de 63% zaten) en zelfs beter dan de meeste andere moderne methoden.
• De uitzondering: Er was één andere methode (AMAN) die iets beter scoorde (75,4%), maar die methode gebruikt een trucje waarbij ze de micro-expressies kunstmatig "vergrootten" (zoals een foto in Photoshop vergroten). De methode van deze auteurs kijkt naar de ruwe, onbewerkte beelden, wat eerlijker is, maar net iets moeilijker.

Waarom is dit belangrijk?

Micro-expressies zeggen vaak de waarheid, zelfs als iemand liegt. Denk aan:

• Politie: Om te zien of een verdachte liegt of niet.
• Marketing: Om te zien of een klant echt blij is met een product of alleen maar doet alsof.
• Gezondheid: Om te helpen bij het herkennen van stress of depressie.

Conclusie

De auteurs hebben een slimme manier bedacht om computers te leren kijken naar de snelste en kleinste gezichtsbewegingen. Door twee soorten "ogen" (een voor het grote geheel en een voor de details) te combineren met een slimme "barman" die de focus verlegt, kunnen ze deze verborgen gevoelens beter lezen dan ooit tevoren.

In de toekomst hopen ze nog meer filmpjes te verzamelen (want nu is het nog een beetje als een droogte in de woestijn) en hun systeem nog slimmer te maken, zodat het niet alleen in het lab werkt, maar ook echt in de praktijk, bijvoorbeeld in een politiebureau of een ziekenhuis.

Technische samenvatting

Titel: Micro-expressieherkenning op basis van dubbelvertakkende kenmerkextractie en fusie

1. Het Probleem

Micro-expressies zijn zeer vluchtige en subtiele gezichtsbewegingen die onbewuste emoties weerspiegelen. Ze spelen een cruciale rol in gebieden zoals strafrechtelijk onderzoek, marketing en mentale gezondheid. Echter, bestaande herkenningsmethoden, met name die gebaseerd op optische stroming (optical flow), kampen met aanzienlijke uitdagingen:

• Subtiliteit en vluchtigheid: Micro-expressies zijn moeilijk te detecteren vanwege hun korte duur en lage intensiteit.
• Data-schaarste: Er is een gebrek aan grote, gelabelde trainingsdatasets voor micro-expressies.
• Ruisonderdrukking: Handgemaakte kenmerken (zoals LBP) zijn vaak rekenkundig duur en gevoelig voor ruis.
• Overfitting: Diepe neurale netwerken hebben de neiging te overfitten op kleine datasets, wat leidt tot degradatie van de prestaties bij het verhogen van het aantal lagen.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor: een dubbelvertakkend (dual-branch) kenmerkextractienetwerk geïntegreerd met parallelle aandacht (attention) en een adaptieve fusiemodule.

• Data Voorbereiding:

  • Gebruik van het CASME II-dataset.
  • Gezichtsdetectie en uitsnijding (cropping) met behulp van een DNN-model (TensorFlow/OpenCV).
  • Beelden worden gestandaardiseerd naar 231×282 pixels.
  • Focus op de "onset" (begin) en "apex" (piek) frames van de micro-expressie om redundantie te verminderen.
  • Gebaseerd op Action Units (AU's) uit het FACS-systeem worden gezichtsregio's ingedeeld in globale en lokale kenmerken (oog/wenkbrauw, mond, kaak, wang, neus).

• Netwerk Architectuur:
  Het model bestaat uit drie kerncomponenten:

  1. Globale Tak (ResNet): Een aangepast ResNet-netwerk (specifiek ResNet12 in dit geval) wordt gebruikt om globale gezichtskarakteristieken te extraheren. De keuze voor een ondieper netwerk (ResNet12 in plaats van 18 of 34) is gebaseerd op bevindingen dat diepere netwerken overfitten op de kleine dataset. Residual blocks voorkomen het verdwijnen van gradiënten.
  2. Lokale Tak (Inception): Een Inception-netwerk wordt gebruikt om lokale, fijnmazige kenmerken te extraheren, wat helpt bij het onderdrukken van irrelevante regio's en het verbeteren van de representatie op meerdere schalen.
  3. Fusie en Aandachtsmodule (CAFFM):
     • De globale ($F_G$) en lokale ($F_L$) kenmerken worden samengevoegd.
     • Een Convolutional Block Attention Module (CBAM) wordt toegepast. Deze module berekent gewichten voor zowel kanalen als ruimtelijke posities, waardoor het model zich dynamisch kan richten op de meest saliente gebieden van het gezicht.
     • De fusie omvat concatenatie, ReLU-activering, residu-optelling en extra CBAM-lagen voor verfijning.

3. Belangrijkste Bijdragen

1. Dubbelvertakkend Model: Een innovatieve architectuur die ResNet (voor globale context) en Inception (voor lokale details) combineert, specifiek ontworpen voor de beperkingen van micro-expressiedata.
2. Aangepaste ResNet-structuur: De auteurs tonen aan dat voor deze specifieke dataset een ondieper ResNet12-netwerk superieur is aan diepere varianten (ResNet18/34) om overfitting te voorkomen.
3. CBAM-gebaseerde Fusie: Ontwikkeling van een Convolutional Block Attention-based Feature Fusion Module (CAFFM) die de integratie van globale en lokale kenmerken optimaliseert door adaptieve weging van kanalen en ruimtelijke posities.
4. Empirische Validatie: Uitgebreide experimenten die de superioriteit van de methode aantonen ten opzichte van bestaande state-of-the-art methoden.

4. Resultaten

De experimenten zijn uitgevoerd op het CASME II-dataset:

• Prestaties: Het voorgestelde model bereikte een nauwkeurigheid (accuracy) van 74,67%.
• Vergelijking: Dit resultaat is significant beter dan:
  • LBP-TOP (+11,26%)
  • MSMMT (+3,36%)
  • SLSTT-Mean (+0,88%)
  • Later (+3,99%)
• Ablatie-studies:
  • Vergelijking van ResNet-lagen toonde aan dat ResNet12 de beste balans bood tussen complexiteit en prestatie (ResNet18 en 34 presteerden slechter door overfitting).
  • De toevoeging van de CAFFM-module aan het dubbelvertakkende model (DBFEM) verhoogde de nauwkeurigheid van 71,16% naar 74,67%.
• Beperkingen: De nauwkeurigheid is iets lager dan die van de AMAN-methode (75,4%), wat de auteurs toeschrijven aan het feit dat AMAN gebruikmaakt van micro-expressievergroting (magnification), terwijl hun methode werkt met ruwe data. Desondanks presteert het model zeer goed op de meeste categorieën.

5. Betekenis en Toekomstperspectief

• Technische Impact: Het artikel biedt een robuuste oplossing voor het probleem van overfitting bij kleine datasets door het combineren van specifieke architecturen (ResNet/Inception) met geavanceerde aandachtmechanismen (CBAM). Het benadrukt het belang van het selecteren van de juiste netwerkdiepte in plaats van blindelings "dieper" te gaan.
• Praktische Toepassing: De methode is efficiënt genoeg voor real-time toepassingen (ongeveer 97 FPS) en kan worden ingezet in veiligheid, psychologie en mens-machine-interactie.
• Toekomstig Werk: De auteurs plannen het opzetten van grootschalige, hoogwaardige datasets, het ontwikkelen van modellen met sterkere generalisatie voor cross-dataset herkenning, en het integreren van detectie en herkenning in één algoritme voor praktische implementatie.

Samenvattend presenteert dit artikel een geavanceerde, efficiënte aanpak voor micro-expressieherkenning die de beperkingen van bestaande methoden overwint door slimme architecturale keuzes en geoptimaliseerde kenmerkfusie.