A Shared Latent for Partially-Labeled Multi-Task Facial Affect Recognition

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, menschliche Emotionen allein durch das Betrachten von Gesichtern zu verstehen. Dabei geht es nicht nur darum, ein Lächeln oder ein Stirnrunzeln zu erkennen; es geht darum, ein komplexes, dreiteiliges Rätsel zu entschlüsseln, das gleichzeitig abläuft. Erstens gibt es das „Stimmungsbarometer“, eine kontinuierliche Skala, die misst, wie positiv oder negativ eine Person sich fühlt und wie intensiv dieses Gefühl ist. Zweitens gibt es das „Etiketten-Buch“, das versucht, die spezifische Emotion zu benennen, wie etwa „Wut“ oder „Überraschung“. Drittens gibt es die „Muskel-Karte“, die winzige, unwillkürliche Bewegungen der Gesichtsmuskeln verfolgt, die auftreten, selbst wenn wir versuchen, unsere Gefühle zu verbergen.

Der schwierige Teil ist, dass wir in der realen Welt selten ein perfektes Lehrbuchbeispiel erhalten. Manchmal hat ein Videoclip eine Stimmungsmessung, aber keine Muskeldaten; ein anderes Mal hat er eine Muskelkarte, aber kein Emotions-Etikett. Es ist, als würde man versuchen, ein Puzzlespiel zu lösen, bei dem die meisten Teile fehlen und die Teile, die man hat, in verschiedenen Schachteln verstreut sind. Die meisten Computerprogramme gehen damit um, indem sie die fehlenden Teile ignorieren oder raten, was sie sein könnten, aber diese Arbeit stellt eine kühne Frage: Was wäre, wenn wir aufhören, die Lücken zu ignorieren, und stattdessen die fehlenden Teile nutzen, um das Bild zu vervollständigen? Die Autoren schlagen einen neuen Weg vor, um Computern beizubringen, dass selbst ein teilweiser Hinweis auf eine Emotion dabei helfen kann, die anderen zu verstehen – und verwandeln so einen unordentlichen, unvollständigen Datensatz in ein leistungsstarkes Lernwerkzeug.

---

Das Rätsel der fehlenden Teile

Die Forscher befassten sich mit einem Problem, das sie „partiell beschichtetes Multi-Task-Learning“ nennen. Stellen Sie sich das wie ein Klassenzimmer vor, in dem ein Lehrer drei verschiedene Fragen zu einem einzelnen Schüler stellt: „Wie fühlt er sich?“ (Stimmung), „Was sagt er aus?“ (Ausdruck) und „Welche Muskeln bewegen sich?“ (Action Units). In einer perfekten Welt beantwortet jeder Schüler alle drei Fragen. Aber in der realen Welt (speziell in einem Datensatz namens s-Aff-Wild2) beantworten nur etwa 37 % der Schüler alle drei Fragen. Der Rest beantwortet nur ein oder zwei Fragen.

Traditionell gehen Computerprogramme, die mit diesem Problem konfrontiert sind, einfach dazu über, die Fragen wegzuwerfen, die sie für einen bestimmten Schüler nicht beantworten können. Wenn ein Schüler nur die Frage nach der „Stimmung“ beantwortet hat, würde das Programm die Fragen nach dem „Ausdruck“ und den „Muskeln“ für diesen Schüler komplett ignorieren. Die Autoren erkannten, dass dies eine Verschwendung war. Sie argumentierten, dass selbst wenn ein Schüler nur eine einzige Frage beantwortet, diese Antwort dem Lehrer dennoch etwas über die gesamte Persönlichkeit des Schülers verrät.

Der magische „gemeinsame Geheimtipp“

Um dies zu beheben, erfand das Team einen cleveren Trick, den sie ein „Shared Latent“ (gemeinsames latentes Merkmal) nennen. Stellen Sie sich ein geheimes, unsichtbares Notizbuch vor, das jeder Schüler ausfüllen muss, bevor er irgendwelche Fragen beantwortet. Dieses Notizbuch enthält eine komprimierte Zusammenfassung des wahren emotionalen Zustands des Schülers.

Hier liegt die Magie: Selbst wenn ein Schüler nur die Frage nach der „Stimmung“ beantwortet, zwingt ihn seine Antwort dazu, dieses geheime Notizbuch zu aktualisieren. Da die Fragen nach „Ausdruck“ und „Muskeln“ ebenfalls auf demselben Notizbuch basieren, hilft die Antwort auf die „Stimmung“ dem Computer indirekt dabei, die anderen beiden Fragen später besser zu erraten. Es ist so, als würden Sie einem Freund nur Ihre Lieblingsfarbe verraten, aber diese eine Tatsache hilft ihm dabei, Ihren Musikgeschmack und Ihr Lieblingsessen zu erraten, weil er Sie gut genug kennt, um die Verbindungen herzustellen.

Indem sie die fehlenden Antworten nicht als Fehler behandeln, die gelöscht werden müssen, sondern als Hinweise, die „marginalisiert“ werden (ein schicker mathematischer Begriff für das Mitteln der Möglichkeiten), lernt der Computer ein viel reicheres Verständnis der menschlichen Emotion.

Die Kraft zweier Augen

Das Paper entdeckte auch etwas Überraschendes darüber, wie man das „Gehirn“ des Computers aufbaut. Normalerweise versuchen Wissenschaftler, ein einziges superintelligentes Gehirn zu erschaffen. Aber hier stellte das Team fest, dass die Verwendung von zwei leicht unterschiedlichen Gehirnen, die zusammenarbeiten, besser war – allerdings mit einer Einschränkung.

Sie probierten zwei verschiedene Arten von vortrainierten Gesichtserkennungs-Systemen (sogenannte Backbones) aus. Als sie die Antworten dieser beiden im Durchschnitt kombinierten, verbesserten sich die Ergebnisse. Dies funktionierte jedoch nur, wenn die beiden Gehirne „nahe Verwandte“ (near-peers) waren – das heißt, sie waren etwa gleich intelligent, machten aber unterschiedliche Fehler. Wenn sie ein superintelligentes Gehirn und ein schwächeres Gehirn verwendeten, half der Durchschnitt nicht. Es war wie bei zwei Detektiven: Wenn beide scharfsinnig sind, aber die Hinweise unterschiedlich interpretieren, lösen sie den Fall schneller. Wenn einer ein Genie ist und der andere ein Anfänger, zieht das Genie den anderen nur nach unten.

Was funktionierte und was nicht

Die Ergebnisse waren beeindruckend, aber die Autoren waren sehr sorgfältig darin, zu benennen, was nicht funktionierte, was ebenso wichtig ist.

• Die gute Nachricht: Bei der Aufgabe des Ausdrucks (Benennung der Emotion) hob ihre neue Methode die Punktzahl von 0,403 (unter Verwendung eines Standard-Spezialisten) auf 0,446. Dies war ein signifikanter Sprung, den andere Methoden nicht erreichen konnten.
• Die Obergrenze der Action Units: Bei der Aufgabe der Muskelverfolgung gelang es ihnen, eine bisherige Grenze zu durchbrechen und die Punktzahl von 0,543 auf 0,556 zu steigern. Dies geschah, weil das zweite „nahe Verwandte“-Gehirn half, und nicht, weil sie mehr Daten hinzugefügt hatten.
• Das Stimmungsbarometer: Der kontinuierliche Stimmungswert (Valenz-Arousal) blieb etwa gleich und pendelte sich bei 0,641 ein. Die Autoren merkten an, dass dies innerhalb des „Rauschens“ lag, was bedeutet, dass die Verbesserung statistisch nicht signifikant war.
• Was scheiterte: Sie versuchten, mehr externe Daten (wie Datensätze aus anderen Studien) hinzuzufügen, um die Muskelverfolgung zu unterstützen, aber das änderte nichts an der Situation. Sie probierten auch eine populäre Methode namens „Mean Teacher“ (bei der ein Computer sich selbst lehrt), aber diese verbesserte die Aufgabe der Emotionsbenennung nicht. Dies bewies, dass das Problem nicht darin lag, wie sie die Fragen gewichteten, sondern in der Qualität des „geheimen Notizbuchs“ (der Repräsentation) selbst.

Das Urteil

Das Paper kommt zu dem Schluss, dass der Grund, warum Computer mit seltenen Emotionen (wie „Angst“ oder „Ekel“) kämpfen, nicht darin liegt, dass sie bessere mathematische Regeln oder mehr Daten benötigen. Es liegt daran, dass die Art und Weise, wie sie das Gesicht „sehen“, nicht detailliert genug ist, um diese kniffligen Emotionen voneinander zu unterscheiden. Indem sie das „Shared Latent“ nutzten, um den Computer zu zwingen, aus partiellen Hinweisen zu lernen, und indem sie zwei kluge, aber unterschiedliche Gehirne paarten, gelang es ihnen, ein System zu bauen, das die unsichtbaren Verbindungen zwischen Stimmung, Ausdruck und Muskelbewegung sieht.

Die erreichte Endpunkt-Punktzahl auf ihrem Testdatensatz war 1,679. Obwohl dies ein starkes Ergebnis ist, bleiben die Autoren bescheiden: Sie geben zu, dass dies ein „In-Sample“-Endpunkt ist (getestet auf Daten, für die sie optimiert haben), und dass der wahre Test darin besteht, ob diese Idee des „Shared Secret“-Notizbuchs auch auf anderen, ungesehenen Datensätzen funktioniert. Erste Tests auf anderen Datensätzen deuten darauf hin, dass dies der Fall ist, allerdings nur unter spezifischen Bedingungen. Die Reise zur perfekten Lesung menschlicher Gesichter geht weiter, aber dieses Paper hat den Forschern eine neue, leistungsstarke Taschenlampe gereicht, um die Lücken in der Dunkelheit zu beleuchten.