Design and Evaluation of a Lightweight Real-Time Facial Expression Recognition System: A PyTorch Mini-Xception Implementation Trained on FERPlus.

Stellen Sie sich einen Computer vor, der ein Gesicht beobachten und verstehen kann, was eine Person fühlt. Dies ist das Ziel der Gesichtsausdruckserkennung, einem wissenschaftlichen Feld, das versucht, die subtilen Bewegungen unserer Muskeln in spezifische Emotionen wie Freude, Traurigkeit oder Wut zu übersetzen. Seit Jahrzehnten bauen Forscher komplexe digitale Gehirne, um dies zu erreichen, aber diese benötigen oft massive, teure Computer, um zu funktionieren. Diese schweren Systeme haben Schwierigkeiten, in Echtzeit zu arbeiten, etwa wenn ein Videofeed live über eine Webcam gestreamt wird. Die Herausforderung bestand darin, ein System zu schaffen, das intelligent genug ist, um diese Ausdrücke präzise zu erkennen, aber leicht genug, um auf gewöhnlichen, alltäglichen Computern ohne Verzögerungen oder Einfrieren zu laufen.

Ein Forscher namens Debanjan Chakraborty ging dieses Problem an, indem er eine neue, gestraffte Version eines digitalen Gehirns speziell für diese Aufgabe entwarf. Anstatt die riesigen, energiefressenden Modelle zu verwenden, die in diesem Bereich üblich sind, baute Chakraborty eine winzige, effiziente Architektur namens Mini-Xception. Dieses Modell wurde auf einer großen Sammlung von Gesichtsbildern trainiert, bekannt als FERPlus-Datensatz, der Tausende von Bildern von Menschen enthält, die sieben verschiedene Emotionen zeigen. Der Datensatz stellte jedoch eine knifflige Hürde dar: Er war stark unausgewogen. Es gab Tausende von Bildern von Menschen, die glücklich oder neutral blicken, aber sehr wenige, die Emotionen wie Ekel oder Angst zeigten. Wenn ein Computer aus einer solch einseitigen Sammlung lernt, neigt er dazu, die seltenen Emotionen völlig zu ignorieren und fast alles als „glücklich“ oder „neutral“ einzustufen, nur um meistens richtig zu liegen.

Um dieses Problem zu lösen, testete der Forscher verschiedene Wege, wie man das Computerprogramm lehren kann, den seltenen Emotionen Aufmerksamkeit zu schenken. Er ignorierte das Ungleichgewicht, er gab den seltenen Emotionen maximale Bedeutung und er probierte einen Mittelweg aus, der ihnen eine moderate Steigerung gab. Die Ergebnisse zeigten, dass der Mittelweg am besten funktionierte. Indem er den Trainingsprozess so anpasste, dass die seltenen Emotionen gerade genug wertgeschätzt wurden, ohne zu überreagieren, lernte das System, alle sieben Emotionen mit einem hohen Maß an Balance zu erkennen. Das fertige Modell war unglaublich klein und enthielt weniger als 5erten 57.000 einstellbare Parameter, was winzig im Vergleich zu Standard-Systemen ist, die oft Millionen besitzen. Diese geringe Größe bedeutete, dass das gesamte Modell weniger als ein Megabyte Speicherplatz einnahm, was es einfach zu transportieren und auf Standardgeräten auszuführen machte.

Der wahre Test war jedoch, ob dieses kleine System mit einem Live-Videostream mithalten konnte. Der Forscher richtete ein System ein, das Gesichter in Echtzeit mittels einer Webcam erkennt und dann sofort den Ausdruck klassifiziert. Er testete dies auf einem Apple M1 Pro Computer, einem gängigen Hochleistungs-Laptop. Er fand heraus, dass das System das Video mit einer konstanten Rate von etwa 30 Bildern pro Sekunde verarbeiten konnte, was flüssig genug ist, damit das menschliche Auge es als kontinuierliche Bewegung wahrnimmt. Der gesamte Prozess, vom Erkennen des Gesichts bis zum Benennen der Emotion, dauerte weniger als sechs Millisekunden. Überraschenderweise entdeckte der Forscher, dass für diese spezifische Aufgabe des Verarbeitens einzelner Videobilder nacheinander der Hauptprozessor des Computers tatsächlich schneller war als sein spezialisierter Grafikchip. Dies liegt daran, dass der Grafikchip, obwohl er leistungsstark für große Datenpakete ist, eine leichte Verzögerung beim Starten für jedes einzelne Bild aufweist, während der Hauptprozessor die kleinen, schnellen Aufgaben effizienter bewältigt.

Das System enthielt auch ein Sicherheitsnetz für die Gesichtserkennung. Es verwendet primlich eine moderne, schnelle Methode, um Gesichter im Video zu finden, aber falls diese Methode fehlschlägt, kann es sofort zu einer älteren, zuverlässigen Technik wechseln, um sicherzustellen, dass der Videofeed niemals unterbrochen wird. Um die Ausgabe natürlich wirken zu lassen, glättete das System die Ergebnisse, sodass das Emotionslabel nicht wild von Frame zu Frame springt, sondern sich graduell verändert, genau wie menschliche Ausdrücke es tun. Die Studie bestätigte, dass ein leichtgewichtiges, sorgfältig abgestimmtes System in der Lage ist, Gesichtsausdrücke in Echtzeit zu erkennen, ohne einen Supercomputer zu benötigen.

Trotz dieser Erfolge war der Forscher sorgfältig darauf bedacht, festzuhalten, was das System nicht kann. Der Computer sieht nur die physische Form eines Gesichts; er weiß nicht um die wahren inneren Gefühle einer Person. Ein Lächeln kann echte Freude sein, oder es kann eine höfliche Maske sein, und das System kann den Unterschied nicht erkennen. Zudem wurde das System mit niedrig aufgelösten Bildern trainiert und kann keine medizinischen Diagnosen stellen oder das menschliche Urteilsvermögen in sensiblen Situationen ersetzen. Es ist ein Werkzeug zur Erkennung sichtbarer Hinweise, kein Fenster zur menschlichen Seele. Die Arbeit steht als Beweis dafür, dass mit dem richtigen Design leistungsstarke künstliche Intelligenz verkleinert werden kann, um auf einen Laptop zu passen, was die Tür für emotionale Wahrnehmung in Echtzeit in der Alltagstechnologie öffnet, ohne dass massives Hardware-Equipment nötig ist.