AffectNet+: A Database for Enhancing Facial Expression Recognition with Soft-Labels

Technische Samenvatting: AffectNet+: Een Database voor het Verbeteren van Gezichtsutdrukkingsherkenning met Soft-Labels

Probleemstelling
Geautomatiseerde gezichtsutdrukkingsherkenning (Facial Expression Recognition, FER) staat voor aanzienlijke uitdagingen door intra-klasse variaties (diverse manifestaties van een enkele emotie) en inter-klasse gelijkenissen (overlappende gezichtsspieractivaties tussen verschillende emoties). Deze problemen worden verergerd door "samengestelde expressies", waarbij een enkele gezichtsimago een mengeling van emoties overbrengt in plaats van een discrete categorie. Bestaande FER-datasets, zoals AffectNet, vertrouwen op "hard-labels", waarbij een enkele discrete emotiecategorie aan elke afbeelding wordt toegewezen. Deze aanpak negeert de nuance van gemengde emoties en de onzekerheid die inherent is aan menselijke annotatie, wat vaak leidt tot ruisende labels en bevooroordeelde modellen. Bovendien missen huidige datasets frequent uitgebreide metadata (bijv. leeftijd, geslacht, etniciteit, hoofdhouding) en houden ze geen rekening met de variërende moeilijkheidsgraden van het herkennen van expressies in "in-the-wild" omgevingen.

Methodologie
De auteurs stellen een nieuw raamwerk voor genaamd Soft-FER, dat discrete hard-labels vervangt door soft-labels. Een soft-label wordt gedefinieerd als een vector van waarschijnlijkheidsscores die de mate vertegenwoordigt waarin meerdere emotiecategorieën simultaan aanwezig zijn in een enkele gezichtsimago. Om deze labels voor de AffectNet+ dataset te genereren, hebben de auteurs een Multi-Annotated Set (MAS) gebruikt die bestaat uit 36.000 afbeeldingen die door ten minste twee menselijke annotatoren zijn gelabeld om een hogere betrouwbaarheid te garanderen.

Het proces voor het genereren van soft-labels maakt gebruik van twee verschillende deep learning-methoden:

1. Ensemble van Binaire Classifiers (EBC): Deze aanpak traint acht binaire classifiers (één voor elke emotieklasse op een one-vs-rest wijze) met behulp van een ensemble van drie verschillende architecturen: ResNet-50, EfficientNet-B3 en XceptionNet. Om klasse-imbalans tijdens de training aan te pakken, hebben de auteurs een specifieke negatieve sampling-strategie voorgesteld op basis van de correlatie van Action Units (AUs) tussen emoties. De uiteindelijke semantische score voor elke emotie wordt berekend door de probabilistische outputs van de drie classifiers te aggregeren, gewogen naar hun respectieve betrouwbaarheidsscores (gemiddelde nauwkeurigheid).
2. Action Unit (AU)-gebaseerde Classifier: Deze methode maakt gebruik van het Emotional Facial Action Coding System (EMFACS). Een multi-head ResNet-50 model wordt simultaan getraind om binaire classificatie uit te voeren en een 21-dimensionale AU-representatievector te voorspellen. Het model leert de specifieke AU-combinaties die met elke emotie geassocieerd zijn. De uiteindelijke waarschijnlijkheid wordt afgeleid door de binaire classificatie-output te combineren met een gelijkenissscore tussen de voorspelde AU-vector en de ground-truth AU-vector voor elke emotieklasse.

De uiteindelijke soft-label vector voor elke afbeelding is het gemiddelde van de semantische scores geproduceerd door de EBC en de AU-gebaseerde classifier.

Op basis van de overeenstemming tussen de gegenereerde soft-labels en de oorspronkelijke door mensen toegewezen hard-labels, wordt de AffectNet+ dataset verdeeld in drie subsets:

• Easy (Gemakkelijk): Het hard-label komt overeen met de emotie met de hoogste waarschijnlijkheid in de soft-label vector.
• Challenging (Uitdagend): Het hard-label valt binnen de top drie waarschijnlijkheden van de soft-label vector, maar is niet de hoogste.
• Difficult (Moeilijk): Het hard-label verschijnt niet in de top drie waarschijnlijkheden van de soft-label vector.

Daarnaast hebben de auteurs de metadata van de dataset bijgewerkt door leeftijd, geslacht, etniciteit, hoofdhouding en twee sets gezichtskenmerken (68-punts en 28-punts) toe te voegen met behulp van getrainde deep learning-modellen.

Belangrijkste Bijdragen

• Introductie van Soft-Labels: Het artikel introduceert het concept van soft-labels voor gezichtsuitdrukking-datasets, wat een meer realistische, multidimensionale beschrijving van gezichtsuitdrukkingen biedt die samengestelde emoties en variërende intensiteiten vastlegt.
• AffectNet+ Dataset: De auteurs presenteren AffectNet+, een volgende generatie dataset gebouwd op AffectNet. Deze bevat soft-labels voor alle afbeeldingen, drie op moeilijkheidsgraad gebaseerde subsets (Easy, Challenging, Difficult) en verrijkte metadata (demografie, houding, landmarks).
• Nieuwe Labeling-methodologie: Het artikel stelt twee automatische methoden voor en valideert deze (EBC en AU-gebaseerde classifier) voor het berekenen van soft-labels, waarmee de hoge kosten en tijd die nodig zijn voor handmatige multi-annotatie worden aangepakt.
• Subjectieve Evaluatie: Een menselijke studie met zes deelnemers toonde aan dat soft-labels de voorkeur genieten boven hard-labels voor het beschrijven van gezichtsuitdrukkingen en dat mensen betrouwbaar accurate soft-labels van willekeurige alternatieven kunnen onderscheiden.

Experimentele Resultaten

• Label Generatie: Het EBC-model behaalde hoge gemiddelde nauwkeurigheden (variërend van ~78% tot 93% afhankelijk van de ensemble-configuratie) over alle emotieklassen, waarbij het ensemble de standaarddeviatie aanzienlijk verminderde vergeleken met individuele modellen. De AU-gebaseerde classifier vertoonde sterke prestaties voor de meeste emoties, hoewel deze moeite had met Angst en Woede vanwege de hoge AU-overlap.
• Baseline Prestaties (Hard-FER): Een baseline ResNet-50 model getraind op hard-labels behaalde 85,86% nauwkeurigheid op de "Easy" subset, maar daalde aanzienlijk naar 51,62% op de "Challenging" en 34,34% op de "Difficult" subsets. Het model vertoonde hoge verwarring tussen vergelijkbare emoties (bijv. Minachting vs. Neutraal/Blij, Walging vs. Woede).
• Baseline Prestaties (Soft-FER): Wanneer geëvalueerd met soft-labels, vertoonde het baseline model een lagere Weighted Mean Absolute Error (W-MAE) en Weighted Failure Rate (W-FR) op de Easy subset vergeleken met de Difficult subset. Opvallend genoeg verminderde Soft-FER de verwarring tussen Neutraal en Minachting vergeleken met Hard-FER, omdat het elke emotieklasse onafhankelijk behandelt in plaats van een enkele discrete keuze af te dwingen.
• Menselijke Evaluatie: In subjectieve tests gaf 65% van de deelnemers de voorkeur aan soft-labels boven hard-labels voor het beschrijven van afbeeldingen, en 81% kon accurate soft-labels correct identificeren tegenover willekeurige alternatieven.

Betekenis en Claims
Het artikel claimt dat AffectNet+ de beperkingen van bestaande FER-datasets aanpakt door een meer genuanceerde representatie van gezichtsuitdrukkingen te bieden via soft-labels. Door te erkennen dat gezichtsuitdrukkingen vaak samengestelde emoties en variërende intensiteiten inhouden, maakt de dataset de ontwikkeling van modellen met gladdere beslissingsgrenzen mogelijk. De auteurs stellen dat AffectNet+ onderzoek zal faciliteren in verschillende gebieden, waaronder:

• Het kwantificeren van onzekerheid in FER.
• Het ontwikkelen van multi-labeling modellen die in staat zijn om meerdere expressies simultaan te voorspellen.
• Het mitigeren van de effecten van ruisende labels en ongebalanceerde datadistributies.
• Het verbeteren van model interpreteerbaarheid en generalisatie in "in-the-wild" settings.
• Het mogelijk maken van domeinadaptatie en zelfgesuperviseerd leren door verrijkte metadata.

De auteurs concluderen dat AffectNet+ een belangrijke stap voorwaarts is in affective computing, door een bron te bieden die de complexiteit van menselijke emotionele expressie beter weerspiegelt dan voorheen gebruikte hard-label datasets.