Design and Evaluation of a Lightweight Real-Time Facial Expression Recognition System: A PyTorch Mini-Xception Implementation Trained on FERPlus.

Stel je een computer voor die het gezicht van een persoon kan observeren en begrijpen wat diegene voelt. Dit is het doel van gezichtsuitdrukkingherkenning, een wetenschappelijk veld dat probeert de subtiele bewegingen van onze spieren te vertalen naar specifieke emoties zoals blijdschap, verdriet of boosheid. Decennialang hebben onderzoekers complexe digitale breinen gebouwd om dit te doen, maar deze vereisen vaak enorme, dure computers om te draaien. Deze zware systemen hebben moeite wanneer ze in realtime moeten werken, zoals wanneer een videofeed live wordt gestreamd via een webcam. De uitdaging is geweest om een systeem te creëren dat slim genoeg is om deze uitdrukkingen nauwkeurig te herkennen, maar licht genoeg is om te draaien op gewone, alledaagse computers zonder te haperen of vast te lopen.

Een onderzoeker genaamd Debanjan Chakraborty pakte dit probleem aan door een nieuwe, gestroomlijnde versie van een digitaal brein te ontwerpen die specifiek voor deze taak is bedoeld. In plaats van de gigantische, energieverslindende modellen die gebruikelijk zijn in het vakgebied, bouwde Chakraborty een piekle, efficiënte architectuur genaamd Mini-Xception. Dit model werd getraind op een grote collectie gezichtsbilder bekend als de FERPlus-dataset, die duizenden foto's bevat van mensen die zeven verschillende emoties tonen. De dataset vormde echter een lastige hindernis: deze was sterk ongebalanceerd. Er waren duizenden foto's van mensen die blij of neutraal keken, maar zeer weinig die emoties zoals walging of angst lieten zien. Als een computer leert van een dergelijke scheve collectie, heeft hij de neiging om de zeldzame emoties volledig te negeren en voor bijna alles "blij" of "neutraal" te raden, simpelweg om meestal gelijk te hebben.

Om dit op te lossen, testte de onderzoeker verschillende manieren om de computer te leren aandacht te besteden aan de zeldzame emoties. Ze probeerden de onbalans te negeren, ze probeerden de zeldzame emoties maximale belangrijkheid te geven, en ze probeerden een middenweg-aanpak die ze een matige stimulans gaf. De resultaten lieten zien dat de middenweg-aanpak het beste werkte. Door het trainingsproces aan te passen zodat de zeldzame emoties net genoeg waarde kregen zonder te overreageren, leerde het systeem alle zeven emoties met een hoge mate van balans te herkennen. Het uiteindelijke model was ongelooflijk klein en bevatte minder dan 57.000 instelbare parameters, wat piepklein is vergeleken met standaard systemen die vaak miljoenen hebben. Deze kleine omvang betekende dat het hele model minder dan één megabyte aan opslagruimte in beslag nam, waardoor het gemakkelijk te dragen en te draaien is op standaard apparatuur.

De echte test was echter of dit kleine systeem het tempo van een live videostroom kon bijhouden. De onderzoeker richtte een systeem op om gezichten in realtime te detecteren met behulp van een webcam en vervolgens de uitdrukking direct te classificeren. Ze testten dit op een Apple M1 Pro-computer, een veelvoorkomende high-performance laptop. Ze ontdekten dat het systeem de video met een constante snelheid van ongeveer 30 frames per seconde kon verwerken, wat vloeiend genoeg is voor het menselijk oog om continue beweging waar te nemen. Het hele proces, van het opsporen van het gezicht tot het benoemen van de emotie, duurde minder dan zes milliseconden. Verrassend genoeg ontdekte de onderzoeker dat voor deze specifieke taak van het verwerken van individuele videoframes één voor één, de hoofdprocessor van de computer eigenlijk sneller was dan de gespecialiseerde grafische chip. Dit komt omdat de grafische chip, hoewel krachtig voor grote batches gegevens, een kleine vertraging heeft bij het opstarten voor elk individueel frame, terwijl de hoofdprocessor de kleine, snelle taken efficiënter afhandelt.

Het systeem bevatte ook een vangnet voor gezichtsdetectie. Het gebruikt primair een moderne, snelle methode om gezichten in de video te vinden, maar als die methode faalt, kan het onmiddellijk overschakelen naar een oudere, betrouwbare techniek om ervoor te zorgen dat de videofeed nooit stopt. Om de output er natuurlijk uit te laten zien, heeft het systeem de resultaten gladgestreken, zodat de emotie-label niet wild van frame naar frame springt maar geleidelijk verandert, net zoals menselijke uitdrukkingen dat doen. De studie bevestigde dat een lichtgewicht, zorgvuldig afgestemd systeem inderdaad gezichtsuitdrukkingen in realtime kan herkennen zonder een supercomputer nodig te hebben.

Ondanks deze successen was de onderzoeker voorzichtig om te vermelden wat het systeem niet kan doen. De computer ziet alleen de fysieke vorm van een gezicht; hij weet niet wat de werkelijke innerlijke gevoelens van een persoon zijn. Een glimlach kan oprechte vreugde zijn, of het kan een beleefd masker zijn, en het systeem kan het verschil niet zien. Bovendien is het systeem getraind op lage-resolutie beelden en kan het geen medische condities diagnosticeren of de menselijke beoordeling in gevoelige situaties vervangen. Het is een hulpmiddel voor het herkennen van zichtbare signalen, en geen venster naar de menselijke ziel. Het werk dient als een bewijs dat met het juiste ontwerp, krachtige kunstmatige intelligentie kan worden verkleind om op een laptop te passen, wat de deur opent voor real-time emotioneel bewustzijn in alledaagse technologie zonder de noodzaak voor massieve hardware.