An Empirical Study of Handcrafted Feature Learning and Convolutional Neural Networks for Facial Expression Recognition

Technische Samenvatting: Een Empirische Studie naar Handmatige Feature Learning en Convolutionele Neurale Netwerken voor Gezichtsuitdrukkingherkenning

Probleemstelling
Gezichtsuitdrukkingherkenning (Facial Expression Recognition, FER) is een cruciale taak binnen computer vision met toepassingen in mens-computerinteractie, mentale gezondheidsmonitoring en gedragsanalyse. Hoewel moderne systemen voornally vertrouwen op Convolutionele Neurale Netwerken (CNN's) vanwege hun vermogen om hiërarchische kenmerken automatisch te leren, blijven klassieke handmatige feature-beschrijvers zoals Histogram of Oriented Gradients (HOG) en Local Binary Patterns (LBP) relevant als baselines. De kernuitdaging die in deze studie wordt aangepakt, is bepalen of handmatige kenmerken in combinatie met klassieke machine learning-classifiers een concurrerende prestatie kunnen leveren ten opzichte van lichtgewicht deep learning-modellen, met name bij de overgang van gecontroleerde laboratoriumomgevingen naar onbeperkte real-world scenario's.

Methodologie
De studie voerde een systematische empirische evaluatie uit waarbij drie verschillende pipelines werden vergeleken over drie datasets met variërende niveaus van complexiteit:

1. HOG + SVM: Een pipeline die gradiëntgebaseerde structurele kenmerken (randrichtingen, gezichtsomtrekken) extraheert met behulp van HOG, geclassificeerd via een lineaire Support Vector Machine.
2. LBP + Logistic Regression: Een pipeline die lokale textuurpatronen vastlegt via Local Binary Patterns, geclassificeerd met behulp van Logistische Regressie.
3. Lightweight CNN: Een aangepaste deep learning-architectuur bestaande uit drie convolutionele blokken (met Batch Normalization, MaxPooling en Dropout), gevolgd door fully connected lagen en een Softmax-output, getraind end-to-end met de Adam-optimizer.

Datasets
Prestaties werden geëvalueerd op drie datasets die verschillende moeilijkheidsgraden vertegenwoordigen:

• FER-2013: Een onbeperkte, real-world dataset (~35.000 afbeeldingen) gekenmerkt door aanzienlijke variaties in verlichting, pose, occlusie en beeldkwaliteit.
• CK+ (Extended Cohn-Kanade): Een gecontroleerde, laboratoriumgestuurde dataset met goed uitgelijnde gezichten en uitvergrote expressies.
• KDEF (Karolinska Directed Emotional Faces): Een gecontroleerde dataset met frontale afbeeldingen van 70 proefpersonen, die een intermediair niveau van moeilijkheid vertegenwoordigt tussen CK+ en FER-2013.

Belangrijkste Resultaten
De experimentele resultaten, gemeten aan de hand van classificatienauwkeurigheid, onthulden duidelijke prestatiepatronen op basis van datasetcomplexiteit:

• CNN Prestaties: De CNN behaalde de beste algehele prestaties over alle datasets. Het bereikte 51,6% nauwkeurigheid op FER-2013, 72,4% op KDEF en 96,9% op CK+. De CNN toonde een superieure robuustheid tegen posevariatie, verandering in verlichting en achtergrondruis, met name op de onbeperkte FER-2013 dataset.
• HOG + SVM Prestaties: Deze aanpak presteerde uitzonderlijk goed op gecontroleerde datasets, met een nauwkeurigheid van 98,4% op CK+ en 58,2% op KDEF. Echter, de prestaties daalden aanzienlijk op FER-2013 (44,0%), wat aangeeft dat gradiëntgebaseerde structurele beschrijvers moeite hebben met generalisatie onder real-world variabiliteit.
• LBP + Logistic Regression Prestaties: Deze pipeline leverde de zwakste resultaten over alle datasets (25,0% op FER-2013, 14,7% op KDEF en 25,0% op CK+). De studie schrijft dit falen toe aan het onvermogen van louter textuele representaties om de globale ruimtelijke relaties tussen gezichtsonderdelen (bijv. ogen, mond, wenkbrauwen) te vatten die nodig zijn voor emotiediscriminatie.

Betekenis en Bijdragen
De primaire bijdrage van dit werk is de demonstratie dat datasetcomplexiteit een diepere impact heeft op de herkenningsprestaties dan enkel de keuze van de feature-representatie. De studie benadrukt enkele belangrijke bevindingen:

1. Beperkingen van Handcrafted Features: Hoewel HOG een sterke baseline blijft voor gecontroleerde omgevingen, mist het de generalisatiekracht die vereist is voor onbeperkte real-world toepassingen. LBP, dat uitsluitend steunt op lokale textuur, bleek onvoldoende voor robuuste FER.
2. Superioriteit van Learned Representations: CNN's presteren beter dan klassieke methoden door automatisch hiërarchische kenmerken te leren die gezamenlijk worden geoptimaliseerd voor zowel extractie als classificatie. Dit end-to-end leren maakt een betere afhandeling van complexe variaties in pose en verlichting mogelijk.
3. Evaluatiecontext: Het artikel benadrukt dat een hoge nauwkeurigheid op gecontroleerde datasets (zoals CK+) geen succes in de echte wereld garandeert. Het significante prestatieverschil waargenomen tussen CK+ en FER-2013 onderstreept de noodzaak om FER-systemen op onbeperkte datasets te evalueren om de werkelijke praktische bruikbaarheid te beoordelen.

Beperkingen en Toekomstige Richtingen
De auteurs erkennen beperkingen, waaronder de relatief kleine omvang van de CK+ en KDEF datasets, het gebrek aan transfer learning of pre-trained architecturen, het exclusieve gebruik van grijswaardenafbeeldingen en de focus op statische afbeeldingen in plaats van temporele dynamiek. Toekomstig werk wordt voorgesteld om transfer learning met architecturen zoals ResNet of Vision Transformers te verkennen, hybride benaderingen die handmatige en geleerde kenmerken combineren, video-gebaseerde herkenning en het gebruik van explainable AI-technieken om beslissingsgebieden te visualiseren.