A Multiscale Network with Supervised Contrastive Learning for Real-Time Facial Emotion Recognition

Dieses Paper präsentiert ein auf Deep Learning basierendes System, das ein Multiskalen-Netzwerk und überwachtes kontrastives Lernen nutzt, um durch die Modellierung kontinuierlicher Ausdrucksveränderungen eine Echtzeit-Gesichtsausdruckserkennung zu erreichen, wobei eine zufriedenstellende Leistung auf Standarddatensätzen für Anwendungen wie die psychologische Beratung demonstriert wird.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen zu verstehen, wie sich ein Freund fühlt, indem Sie ihn einfach nur beobachten. Manchmal bedeutet ein Lächeln, dass er glücklich ist; ein anderes Mal kann es bedeuten, dass er höflich ist oder Traurigkeit verbirgt. Stellen Sie sich nun vor, Sie versuchen, dies mit einem Computer zu tun, der jedoch nur eine einzige Momentaufnahme erhält. Es ist, als würde man versuchen, die Handlung eines Films zu erraten, indem man nur einen einzigen Frame betrachtet – das geht leicht schief.

Dieses Paper stellt ein neues System namens MSFERNet (Multi-Scale Facial Emotion Recognition Network) vor, das genau dieses Problem lösen soll. Betrachten Sie es als eine „intelligente Kamera“, die nicht nur einmal auf ein Gesicht blickt, sondern beobachtet, wie sich das Gesicht im Laufe der Zeit verändert, ganz ähnlich wie ein Psychologe, der einen Patienten während einer Sitzung beobachtet.

Hier ist eine Aufschlüsselung der Funktionsweise, unter Verwendung einfacher Analogien:

1. Das Problem: Emotionen sind ein Film, kein Foto

Die Autoren weisen darauf sich hin, dass Emotionen nicht statisch sind; sie fließen und verändern sich. Eine Person kann neutral beginnen, etwas verärgert werden und dann zur Ruhe kommen. Die meisten alten Computersysteme sind wie Fotografen, die ein einzelnes Bild machen und dann die Stimmung erraten. Dieses Paper argumentet, dass man, um jemanden wirklich zu verstehen, den „Film“ seines Gesichts sehen muss.

2. Die Lösung: Eine Kamera mit mehreren Objektiven (MSFERNet)

Der Kern ihres Systems ist eine neue Art von KI-Architektur, die sie entwickelt haben. Stellen Sie sich einen Detektiv vor, der versucht, einen Fall zu lösen.

• Das „Weitwinkel“-Objektiv: Einige Teile des Systems betrachten das große Ganze (die allgemeine Form des Gesichts).
• Das „Zoom“-Objektiv: Andere Teile zoomen auf winzige Details (das Zucken einer Lippe oder eine Falte in der Stirn).
• Das „Gedächtnis“ (Residual Learning): Genau wie ein Detektiv, der sich an Hinweise vom frühen Tag erinnert, nutzt dieses System „Residual Blocks“, um das zu behalten, was es zuvor gesehen hat, damit es den Faden der Geschichte nicht verliert, während es tiefer grabt.
• Der „Spotlight“ (Attention Mechanism): Das System besitzt ein eingebautes Scheinwerferlicht (genannt CBAM), das den Hintergrund (wie ein unordentliches Zimmer oder ein Fenster) ignoriert und sich strikt auf das Gesicht konzentriert, indem es die wichtigsten Teile hervorhebt.

3. Das Gehirn trainieren: Lernen aus Gruppen

Um dieses System zu lehren, haben die Forscher ihm nicht einfach nur Bilder gezeigt und gesagt: „Das ist glücklich.“ Sie verwendeten eine Technik namens Supervised Contrastive Learning.

• Die Analogie: Stellen Sie sich einen Lehrer vor, der einem Schüler einen Haufen roter Äpfel und einen Haufen grüner Äpfel zeigt. Anstatt nur zu sagen: „Rot ist rot“, sagt der Lehrer: „Schau darauf, wie ähnlich sich diese roten Äpfel untereinander sind und wie sehr sie sich von den grünen unterscheiden.“
• Indem das System ähnliche Emotionen gruppiert und unterschiedliche Emotionen in seinem „Geist“ voneinander wegdrängt, lernt der Computer ein viel klareres Bild davon, wie jede Emotion tatsächlich aussieht.

4. Die Sprache vereinfachen: Das Drei-Farben-System

Die Forscher erkannten, dass das echte Leben kompliziert ist. Ein Standard-Datensatz umfasst 7 oder 8 verschiedene Emotionen (Wut, Ekel, Angst, Trauer, Freude, Überraschung, Neutral usw.).

• Die Analogie: Sie entschieden sich, dies für ihre Echtzeit-Anwendung in ein „Ampelsystem“ zu vereinfachen:
  • Grün: Positiv (Glück/Freude)
  • Gelb: Neutral
  • Rot: Negativ (Wut, Ekel, Angst, Trauer)
• Sie ließen „Überraschung“ bewusst weg, denn wie eine Wendung in einem Film kann Überraschung je nach Kontext alles bedeuten, was sie für eine schnelle Analyse zu verwirrend macht.

5. Das Echtzeit-Werkzeug (RT-FER)

Sie haben eine benutzerfreundliche Anwendung namens RT-FER entwickelt.

• So funktioniert es: Sie können ein Video hochladen oder Ihre Webcam verwenden. Das System erfasst Ihr Gesicht aus jedem Frame, lässt es durch die „Multi-Lens-Kamera“ laufen und gibt Ihnen einen Wert aus.
• Der Wert: Es übersetzt die Emotion in eine Zahl zwischen -1 und 1.
  • -1 ist rein negativ.
  • 0 ist neutral.
  • +1 ist rein positiv.
• Die Grafik: Während das Video läuft, zeichnet das System eine Liniengrafik, die zeigt, wie Ihre Stimmung über die Zeit auf und ab „reitet“.

6. Die Ergebnisse: Schnell, leichtgewichtig und präzise

Das Team hat ihr System auf Standard-Datensätzen (wie FER13 und CK+) getestet.

• Leistung: Es schnitt sehr gut ab und erreichte eine Genauigkeit von etwa 96,77 % bei einem Datensatz und 81,08 % bei ihrer vereinfachten 3-Emotions-Version.
• Effizienz: Das Beste daran ist, dass das System „leichtgewichtig“ ist. Es besitzt nur 2,37 Millionen Parameter (denken Sie an diese als die Anzahl der Regeln, die der Computer auswendig lernen muss). Im Vergleich zu anderen Systemen, die wie schwere, langsame Lastwagen sind, ist dieses hier wie ein flinkes Fahrrad. Es ist klein genug, um auf normalen Geräten zu laufen, ohne dass ein Supercomputer benötigt wird.

7. Der Haken (Fehleranalyse)

Die Autoren waren ehrlich bezüglich der Mängel. Wenn die Trainingsdaten „schlechte Fotos“ enthalten – wie etwa ein Bild mit einem Logo statt eines Gesichts oder ein Gesicht, das von einem riesigen Wasserzeichen bedeckt ist – gerät das System in Verwirrung. Es ist, als würde man versuchen, einem Kind beizubringen, Hunde zu erkennen, indem man ihm Bilder von Katzen zeigt, an denen Hundsohren angenäht wurden.

Zusammenfassung

Kurz gesagt präsentiert dieses Paper eine intelligente, leichtgewichtige KI, die Gesichter wie ein menschlicher Beobachter betrachtet, indem sie Veränderungen im Zeitverlauf statt nur einer einzelnen Momentaufnahme analysiert. Sie vereinfacht komplexe Emotionen in einen klaren „Positiv/Negativ/Neutral“-Wert, was sie zu einem nützlichen Werkzeug macht, um emotionale Veränderungen in Echtzeit-Videos zu verfolgen.

Technische Zusammenfassung

Technisches Resümee: Ein multiskaliges Netzwerk mit Supervised Contrastive Learning für die Echtzeit-Gesichtsausdruckserkennung

Problemstellung

Die Gesichtsausdruckserkennung (Facial Emotion Recognition, FER) in Echtzeit stellt erhebliche Herausforderungen dar, insbesondere in videosbasierten Szenarien, in denen sich emotionale Zustände kontinuierlich und nicht diskret entwickeln. Eine primäre Schwierigkeit liegt in der hohen inter-subjektiven Variabilität von Gesichtsausdrungen sowie der Ambiguität von Emotionen (z. B. kann ein Lächeln, je nach Kontext, Freude, Höflichkeit oder Sarkasmus bedeuten). Zudem konzentrierte sich die bestehende Forschung weitgehend auf die statische Bilderkennung oder die Klassifizierung einzelner Frames, wodurch eine Lücke in der Fähigkeit zur Analyse und Überwachung emotionaler Veränderungen über längere Zeiträume entstand. Diese Einschränkung behindert das umfassende Verständnis des psychologischen Zustands eines Individuums, was für Anwendungen in der Psychologie und Beratung, in denen das Verhältnis von Experten zu Patienten unzureichend ist, von entscheidender Bedeutung ist.

Methodik

Die Autoren schlagen ein zweiphasiges System vor, das aus einer Deep-Learning-Architektur zur Merkmalsextraktion und Klassifizierung sowie einer Echtzeit-Anwendungsschnittstelle besteht.

1. MSFERNet-Architektur

Das Herzstück des Systems ist MSFERNet (Multi-Scale Facial Expression Recognition Network), das darauf ausgelegt ist, die Problematik der Merkmalsdegradation und verschwindender Gradienten zu adressen, die bei tiefen sequentiellen CNNs häufig vorkommt. Die Architektur umfasst:

• Backbone: Es nutzt die frühen Stadien eines vortrainierten EfficientNet-B0, um niedrigschwellige und mittelschwellige semantische Merkmale zu extrahieren, was die Rechenkomplexität im Vergleich zur Verwendung des vollständigen Netzwerks reduziert.
• Residual Refinement: Die extrahierten Feature Maps durchlaufen einen Verfeinerungsblock, der eine $3 \times 3$ Konvolution, Batch Normalization, ReLU und einen Residual Block mit Skip-Connections enthält, um Identitätsabbildungen zu bewahren und den Gradientenfluss zu stabilieren.
• Multiskalige Merkmalsextraktion: Das Netzwerk verwendet parallele konvolutionale Zweige mit $3 \times 3$ und $5 \times 5$ Kernen.
  • Stufe 1: Die Zweige werden mittels Element-wise Addition kombiniert.
  • Stufe 2: Die Zweige werden kanalweise konkateniert, um komplementäre Informationen aus unterschiedlichen rezeptiven Feldern zu bewahren.
• Attention-Mechanismus: Ein Convolutional Block Attention Module (CBAM) wird nach jeder multiskaligen Stufe angewendet, um informativere Gesichtsbereiche sequenziell hervorzuheben (Kanal- und räumliche Aufmerksamkeit) und gleichzeitig Hintergrundrauschen zu unterdrücken.
• Classification Head: Die Merkmale werden heruntergesampelt, global gepoolt und durch vollvernetzte Schichten (128 und 64 Einheiten) mit Dropout (0.3) geleitet, um Overfitting zu verhindern.
• Supervised Contrastive Learning: Ein Projection Head bildet die Merkmale in einen normalisierten Embedding-Raum ab. Das Modell wird mit einer kombinierten Verlustfunktion trainiert:
  $$L = 1.0 \times L_{cross} + 0.1 \times L_{sup}$$
  Wobei $L_{cross}$ der Categorical Cross-Entropy Loss ist und $L_{sup}$ der Supervised Contrastive Loss, der darauf ausgelegt ist, bessere Repräsentationen emotionaler Merkmale zu erlernen, indem positive Proben (gleiche Klasse) im Embedding-Raum näher zusammengezogen und negative Proben voneinander weggestoßen werden.

2. Datensatz-Preprocessing und Modifikation

Die Studie nutzt die Datensätze FER13 und CK+. Um das Ziel der Unterstützung von Psychologen bei der Identifizierung breiter mentaler Zustände zu unterstützen, haben die Autoren den Standard-7-Klassen-FER13-Datensatz in ein 3-Klassen-System modifiziert:

• Positiv: Abgeleitet von der Klasse 'Happy'.
• Negativ: Zusammengeführt aus 'Angry', 'Disgust', 'Fear' und 'Sad'.
• Neutral: Unverändert beibehalten.
• Hinweis: Die Klasse 'Surprise' wurde aufgrund ihrer hohen kontextuellen Abhängigkeit und der Tendenz, gemischte Emotionen hervorzurufen, ausgeschlossen.
• Preprocessing: Die Bilder wurden auf $128 \times 128$ skaliert und Standard-Augmentationen (Shifting, Zooming, Shearing, Flipping) wurden angewendet. Korrupte Bilder wurden herausgefiltert.

3. RT-FER System

Eine benutzerfreundliche Anwendung namens RT-FER wurde entwickelt, um die Echtzeit-Überwachung zu demonstrieren. Sie erfasst Live-Videos oder verarbeitet hochgeladene Videos, extrahiert Gesichter aus den Frames und speist diese in das trainierte MSFERNet ein. Das System liefert:

• Emotionsvorhersage: Die vorhergesagte Klasse mit Konfidenzwerten.
• Emotions-Scoring: Ein kontinuierlicher Score, der als $Score = p_{positive} - p_{negative}$ berechnet wird (Abbildung von Negativ auf -1, Neutral auf 0, Positiv auf 1).
• Visualisierung: Eine grafische Benutzeroberfläche zeigt den Video-Feed neben einem Echtzeit-Plot an, der den Emotions-Score über die Zeit verfolgt.

Zentrale Beiträge

1. MSFERNet-Architektur: Vorschlag eines multiskaligen, auf Attention basierenden Netzwerks, das Transfer Learning, Residual-Mechanismen und Supervised Contrastive Learning integriert.
2. Datensatz-Adaption: Erstellung eines modifizierten 3-Klassen-FER13-Datensatzes, der auf die Analyse psychologischer Zustände zugeschnitten ist und den Mangel an Standard-Datensätzen für breite emotionale Kategorien adressiert.
3. RT-FER Anwendung: Entwicklung einer funktionalen GUI, die eine Echtzeit-Emotionsüberwachung und die Visualisierung emotionaler Veränderungen über die Zeit ermöglicht, einschließlich eines Video-Players zur Beobachtung kontextbedingter emotionaler Verschiebungen.

Experimentelle Ergebnisse

Das Modell wurde auf FER13 (Original 7-Klassen und modifizierter 3-Klassen) sowie auf dem CK+ Datensatz mit einem 80:10 Train-Test-Split evaluiert.

• Performance:
  • FER13 (7-Klassen): 66,73 % Genauigkeit.
  • FER13 (3-Klassen): 81,08 % Genauigkeit.
  • CK+: 96,77 % Genauigkeit.
• Effizienz: Das Modell enthält lediglich 2,37 Millionen trainierbare Parameter, was es signifikant ressourceneffizienter macht als State-of-the-Art-Modelle wie AlexNet (62,30 Mio.) oder VGGNet (84,00 Mio.).
• Einfluss des Supervised Contrastive Loss: Die Einbeziehung von $L_{sup}$ verbesserte die Genauigkeit über alle Datensätze hinweg (z. B. verbesserte FER13 7-Klassen von 64,19 % auf 66,73 %; CK+ von 95,56 % auf 96,77 %).
• Vergleich: Das vorgeschlagene MSFERNet übertraf mehrere bestehende SOTA-Modelle sowohl auf den FER13- als auch auf den CK+ Datensätzen bei gleichzeitig geringerer Parameteranzahl.

Bedeutung und Limitationen

Die Arbeit behauptet, dass das vorgeschlagene System die Lücke zwischen statischer Emotionserkennung und kontinuierlicher Überwachung des psychologischen Zustands schließt. Durch die Bereitstellung eines Werkzeugs zur Verfolgung emotionaler Veränderungen über die Zeit bietet es eine potenzielle Unterstützung für Psychologen, um zusätzliche Einblicke in den emotionalen Zustand eines Subjekts zu gewinnen und so die Belastung durch manuelle Beobachtung zu verringern.

Die Autoren räumen bescheiden Limitationen ein und merken an, dass trotz des Preprocessings die Trainingsdaten fehlerhafte Stichproben (z. B. Bilder mit Logos oder Wasserzeichen) enthielten, was das Training beeinflusste. Sie betonen zudem, dass die Echtzeit-Erkennung aufgrund von Variationen in der Bildqualität und der inhärenten Ambiguität von Gesichtsausdrücken weiterhin eine Herausforderung darstellt. Die Arbeit schließt mit dem Hinweis, dass die aktuellen Ergebnisse zufriedenstellend sind, zukünftige Verbesserungen jedoch durch das Training auf größeren Real-World-Datensätzen und die Integration stärkerer Attention-Mechanismen erreicht werden könnten.