Facial Expression Recognition Using Residual Masking Network

Dit paper introduceert een Residual Masking Network dat een segmentatie-netwerk combineert met een Deep Residual Network om de prestaties van gezichtsepressierecognitie te verbeteren door middel van een nieuw maskeringsmechanisme dat de focus op relevante informatie legt.

De kern

Stel je voor dat je probeert het gezicht van een vriend te lezen om te weten of hij blij, boos of verdrietig is. Soms is dat makkelijk, maar vaak is het lastig: misschien staat hij in de schaduw, heeft hij een hoed op, of is zijn gezicht deels bedekt door een hand. Computers hebben hier nog meer moeite mee dan wij.

Dit artikel beschrijft een slimme nieuwe manier om computers beter te laten "kijken" naar gezichtsuitdrukkingen. De onderzoekers noemen hun uitvinding het Residual Masking Network. Laten we dit uitleggen met een paar alledaagse vergelijkingen.

1. Het probleem: De ruis in de kamer

Stel je voor dat je in een drukke kamer staat waar iemand fluistert (dat is het echte gezichtsuitdrukking). Maar er zijn ook mensen die schreeuwen, muziek staat hard en er hangt een gordijn voor je ogen (dat is de ruis: haar, brillen, slecht licht, of een hoekige foto).

Oude computersystemen keken naar het hele gezicht en probeerden alles tegelijk te analyseren. Het was alsof ze probeerden te luisteren naar die ene fluisterende stem terwijl ze ook naar de muziek en de schreeuwers luisterden. Ze raakten in de war.

2. De oplossing: De slimme bril met een masker

De onderzoekers hebben een nieuwe techniek bedacht die ze een "Masking Idea" noemen.

Stel je voor dat je een speciale bril opzet. Deze bril heeft twee functies:

1. De Versterker: Hij kijkt naar het hele gezicht (zoals een gewone bril).
2. De Masker-maker: Dit is het nieuwe deel. Een slimme "hulp" (een netwerk dat lijkt op een chirurg die een operatieplaatje maakt) kijkt naar het beeld en zegt: "Wacht even, kijk niet naar de haarlijn of de kin, dat is niet belangrijk. Kijk alleen naar de ogen en de mond!"

Deze "hulp" maakt een masker (een soort doorzichtig vel) dat alleen de belangrijke plekken (ogen, wenkbrauwen, mond) helder laat zien en de onbelangrijke plekken (haar, achtergrond) verduistert.

3. Hoe werkt het in de computer? (De "Residual" truc)

In de computerwereld noemen ze dit een Residual Masking Network.

• Residual: Dit betekent dat de computer niet alles opnieuw moet leren. Het is alsof je een oude, betrouwbare auto hebt (een bestaand slim computerprogramma) en je er een nieuwe, superkrachtige navigatie op plakt. De auto rijdt al goed, maar de navigatie zorgt dat je de juiste afslag neemt.
• Masking: De navigatie (het masker) zorgt ervoor dat de computer zich focust op de "ogen" en de "mond" en negeert wat er niet toe doet.

Het systeem werkt in lagen, net als het ophalen van lagen van een taart. Eerst kijkt het naar het hele gezicht, dan naar grove vormen, en naarmate het dieper gaat, wordt het masker steeds preciezer. Het zegt steeds scherper: "Nee, die rimpel in het voorhoofd is niet belangrijk, maar die trek om de mond wel!"

4. Wat hebben ze bewezen?

De onderzoekers hebben hun nieuwe "slimme bril" getest op twee grote verzamelingen foto's:

1. FER2013: Een bekende verzameling met duizenden foto's van mensen in allerlei situaties.
2. VEMO: Een nieuwe verzameling met foto's van Vietnamese mensen (om te laten zien dat het ook werkt voor andere culturen).

Het resultaat?
Het systeem was slimmer dan alle andere bekende systemen. Het haalde een score van 74,14% (alleen) en zelfs 76,82% als ze meerdere systemen samenwerkten (zoals een team van detectives). Dat is een wereldrecord op dat moment.

5. Waarom is dit belangrijk?

Vroeger faalden computers vaak als iemand een hoed op had of als de foto wazig was. Met dit nieuwe "masker" kunnen computers beter zien wat er echt gebeurt op een gezicht, net zoals een ervaren mens dat doet door onbelangrijke details te negeren.

Kort samengevat:
De onderzoekers hebben een computerprogramma gebouwd dat een slim masker gebruikt. Dit masker zorgt ervoor dat de computer niet naar de hele foto staart, maar zich alleen focust op de ogen en de mond, precies daar waar de emotie zit. Hierdoor wordt het veel beter in het raden van wat iemand voelt, zelfs als de foto niet perfect is.

Het is alsof je een computer hebt die opeens leert om "de ruis" te filteren en alleen naar de "muziek" van het gezicht te luisteren.

Technische samenvatting

Probleemstelling

Automatische gezichtsuitdrukkingherkenning (FER) is een cruciale taak voor mens-computerinteractie, maar het blijft een uitdagend probleem, vooral in "in-the-wild" omgevingen (niet-gecontroleerde situaties). De belangrijkste uitdagingen zijn:

• Inter- en intrasubjectvariaties: Verschillen in geslacht, leeftijd, etniciteit, maar ook veranderingen binnen dezelfde persoon door occlusies (verduistering), verlichting en hoofdposities.
• Irrelevante informatie: Veel klassieke CNN-architecturen verwerken het hele gezicht, inclusief gebieden die weinig bijdragen aan de emotie (zoals haar of kaaklijn), terwijl de cruciale informatie zich bevindt in specifieke zones (ogen, mond, wenkbrauwen).
• Beperkingen van bestaande methoden: Traditionele methoden die gebruikmaken van gezichtspunten (landmarks) werken goed in laboratoria, maar falen vaak in ruwe omgevingen. Bestaande aandachtmechanismen (attention mechanisms) kunnen soms onvoldoende focussen op de juiste ruimtelijke details.

Methodologie: Het Residual Masking Network (RMN)

De auteurs stellen een nieuwe architectuur voor die een diep residu-netwerk combineert met een nieuw "Masking"-concept om de prestaties te verbeteren.

1. Architectuur Overzicht:

   • Het netwerk is gebaseerd op ResNet34 als ruggegraat (backbone).
   • De input is een afbeelding van 224x224 pixels die wordt verkleind tot 56x56 na de eerste convolutie- en poolinglagen.
   • Het netwerk bevat vier Residual Masking Blocks die werken op verschillende schalen (56x56, 28x28, 14x14 en 7x7).

2. De Residual Masking Block:

   • Elke block bestaat uit twee delen: een Residual Layer (voor feature processing) en een Masking Block.
   • Het Masking Concept: In plaats van een simpele trunk-branch (zoals in eerdere attention-modellen), gebruikt de auteurs een Unet-achtige structuur (encoder-decoder) binnen het Masking Block.
   • Werking:
     1. De input feature map ($F$) gaat door de Residual Layer en wordt een ruwe feature map ($F_R$).
     2. De Masking Block genereert een activatiekaart ($F_M$) van dezelfde grootte, met waarden tussen 0 en 1. Deze kaart fungeert als een "mask" dat de belangrijkheid van elke pixel in $F_R$ scoort.
     3. De uiteindelijke output ($F_N$) wordt berekend door elementgewijze vermenigvuldiging en optelling: $F_N = F_R + F_R \otimes F_M$.
   • Dit zorgt ervoor dat het netwerk de feature maps verfijnt door zich te focussen op relevante ruimtelijke informatie (ogen, mond) en irrelevante gebieden te onderdrukken.

3. Ensemble Methode:

   • Om de nauwkeurigheid verder te maximaliseren, gebruiken de auteurs een eenvoudige ensemble-strategie waarbij de voorspellingen van 7 verschillende CNN-modellen worden gemiddeld (zonder gewichten).

Belangrijkste Bijdragen

• Nieuw "Masking Idea": Een innovatief aandachtmechanisme dat een Unet-achtige localisatie-netwerk integreert om feature maps te verfijnen en de focus te leggen op cruciale gezichtsregio's.
• Residual Masking Network (RMN): Een nieuwe architectuur die ResNet combineert met deze Masking Blocks, specifiek ontworpen voor FER-taken.
• Nieuwe Dataset (VEMO): De auteurs hebben een nieuwe dataset genaamd VEMO (Vietnam Emotion) gecreëerd en gepubliceerd om hun netwerk te evalueren, naast de standaard FER2013 dataset.
• Open Source: De volledige code en modellen zijn beschikbaar gesteld via GitHub.

Resultaten

De methode is getest op twee datasets: FER2013 (publiek) en VEMO (privé/nieuw).

• FER2013 Resultaten:

  • Zonder Ensemble: De RMN bereikte een nauwkeurigheid van 74,14%, wat hoger is dan andere state-of-the-art modellen zoals ResNet152 (73,22%) en CBAM ResNet50 (73,39%).
  • Met Ensemble: Door het ensemble van 7 netwerken te gebruiken, bereikte het systeem een nauwkeurigheid van 76,82%. Dit is een verbetering van ongeveer 1% ten opzichte van de beste bestaande ensemble-methoden.
  • Het model heeft weliswaar het hoogste aantal parameters (142,9 miljoen), maar levert de beste prestaties.

• VEMO Resultaten:

  • Op de VEMO dataset behaalde de RMN een nauwkeurigheid van 65,94%, wat hoger was dan vergelijkbare modellen zoals ResNet34 (64,84%) en ResAttNet56 (60,82%).

• Visuele Analyse (Grad-CAM):

  • Visualisaties tonen aan dat het netwerk na toepassing van de Masking Blocks zich sterk concentreert op de ogen en de mond, wat overeenkomt met de menselijke waarneming van emoties.

Betekenis en Conclusie

Dit paper introduceert een krachtige aanpak voor gezichtsuitdrukkingherkenning die de beperkingen van traditionele landmarge-detectie en standaard CNN's overwint. Door een Unet-gebaseerd maskeringsmechanisme te integreren in een residu-netwerk, kan het model effectief leren welke ruimtelijke gebieden het belangrijkst zijn voor emotieclassificatie.

De resultaten tonen aan dat deze methode state-of-the-art prestaties levert, zelfs op datasets met onbalans in emotie-categorieën en in "in-the-wild" scenario's. De creatie van de VEMO dataset draagt bovendien bij aan de diversiteit van beschikbare data voor FER-onderzoek. De auteurs benadrukken dat hoewel de prestaties hoog zijn, complexe emoties (zoals angst en verdriet) nog steeds moeilijk te onderscheiden zijn, wat een uitdaging blijft voor zowel mens als machine. Toekomstig werk richt zich op het testen van generalisatie op grotere datasets (zoals ImageNet) en het reduceren van het model voor real-time toepassingen.