Emotion Intensity Matters: Generating Realistic Expressions in Virtual Humans with CVAEs
Dieses Paper schlägt einen Conditional Variational Autoencoder (CVAE) vor, der auf einem kleinen Datensatz realer menschlicher Gesichtsausdrücke trainiert wurde, um steuerbare, realistische Animationen virtueller Menschen zu generieren, die die semantische Konsistenz bewahren und variierende emotionale Intensitäten ohne manuelles Eingreifen präzise widerspiegeln.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der Computergrafik ist die Erstellung eines Charakters, der sich wirklich lebendig anfühlt, eine der schwierigsten Aufgaben, denen sich ein Künstler stellen kann. Wir sind zwar schon lange in der Lage, virtuelle Menschen zu erschaffen, die realistisch aussehen, doch um sie echt wirken zu lassen, bedarf es mehr als nur eines guten Gesichts; es erfordert die subtile, sich ständig verändernde Sprache der Emotionen. Jahrzehntelang haben Animatoren sich auf eine Methode namens performancegesteuerte Animation verlassen, bei der Kameras das Gesicht eines echten Schauspielers erfassen und diese Bewegungen auf einen digitalen Charakter übertragen. Das funktioniert gut, erfordert jedoch für jeden einzelnen Ausdruck einen menschlichen Darsteller und schränkt die Fähigkeit ein, Variationen zu erstellen, ohne von vorne beginnen zu müssen. Ein neuerer Ansatz versucht, Computer dazu zu bringen, die Regeln der menschlichen Emotionen zu verstehen, damit sie eigenständig neue Ausdrücke erfinden können, ohne dass ein Schauspieler vor einer Kamera stehen muss. Die Herausforderung bestand darin, dass Emotionen nicht statisch sind; sie verändern sich in ihrer Stärke, von einem schwachen Hauch von Traurigkeit bis hin zu einer überwältigenden Welle der Trauer. Die meisten Computermodelle haben Schwierigkeiten, diese Nuance einzufangen, und produzieren oft Gesichter, die zu glatt oder generisch wirken und es an der spezifischen Intensität mangelt, die ein Gefühl glaubhaft macht.
Forscher der Pontifical Catholic University of Rio Grande do Sul in Brasilien haben einen neuen Weg entwickelt, um dieses Problem zu lösen, mit dem Ziel, einen Computer darauf zu trainieren, realistische emotionale Ausdrücke mit variierenden Intensitätsstufen zu generieren. Sie konzentrierten sich auf sechs grundlegende menschliche Emotionen: Freude, Wut, Angst, Traurigkeit, Ekel und Überraschung. Anstatt den Computer einfach nur ein Video kopieren zu lassen, trainierten sie ein System darauf, die zugrunde liegende Struktur dieser Gefühle aus einer Sammlung echter menschlicher Darbietungen zu erlernen. Das Team sammelte Videomaterial von sechzehn verschiedenen Personen, acht Männern und acht Frauen, die diese sechs Emotionen auf zwei unterschiedlichen Intensitätsstufen darstellten: niedrig und hoch. Aus diesem Material extrahierten sie die spezifischen numerischen Werte, die die Bewegung eines virtuellen Gesichts steuern, wie zum Beispiel, wie hoch eine Augenbraue gehoben wird oder wie weit ein Mund geöffnet wird. Dies ergab einen Datensatz von 7.680 spezifischen Momenten des Gesichtsausdrucks – eine relativ geringe Zahl für eine so komplexe Aufgabe –, den die Forscher nutzten, um ihr Modell zu lehren.
Der Kern ihrer Methode ist eine Art künstliche Intelligenz, die als Conditional Variational Autoencoder bezeichnet wird. Vereinfacht gesagt arbeitet dieses System wie ein Schüler, der eine Reihe von Beispielen studiert und dann lernt, neue Bilder basierend auf einer Beschreibung zu zeichnen. Der Computer wurde mit den Gesichtsdaten zusammen mit Labels gefüttert, die angaben, welche Emotion gezeigt wurde, wie intensiv sie war und ob die Person männlich oder weiblich war. Das System lernte, diese Informationen in eine kompakte interne Repräsentation zu komprimieren, was im Wesentlichen eine mentale Landkarte dessen erstellt, wie jede Emotion bei unterschiedlicher Stärke aussieht. Wenn der Computer angewiesen wurde, einen neuen Ausdruck zu generieren, konnte man ihm sagen, er solle ein „hochintensives fröhliches Gesicht einer Frau“ oder ein „schwach intensives trauriges Gesicht eines Mannes“ erstellen, und er produzierte einen neuen Satz von Gesichtsbewegungen, die diesen Anweisungen entsprachen. Die Forscher stellten fest, dass das System erfolgreich kohärente emotionale Variationen erstellen konnte, doch das erste Ergebnis wies einen Fehler auf, der bei dieser Art von Technologie häufig vorkommt: Die Ausdrücke waren zu glatt. Der Computer neigte dazu, die Details zu mitteln, was die Gesichter ruhig und etwas stumpf erscheinen ließ und die scharfen Spitzen echter menschlicher Emotionen vermissen ließ.
Um diesen Glättungseffekt zu beheben, fügte das Team einen zweiten Schritt zu ihrem Prozess hinzu, der als Verfeinerungsschicht fungiert. Sie berechneten den Unterschied zwischen den echten menschlichen Ausdrücken, mit denen sie begannen, und den etwas stumpfen Versionen, die vom ersten Computermodell erstellt wurden. Dann trainierten sie ein zweites, spezialisiertes System darauf, das Muster dieser Unterschiede zu erlernen. Dieses zweite System fungierte wie ein Korrekturwerkzeug, das genau identifizierte, wo das erste Modell die Markierung verfehlt hatte, und die fehlende Energie und Dynamik wieder hinzufügte. Als diese Korrektur angewendet wurde, erhielten die virtuellen Gesichter ihre natürliche Vitalität zurück. Die Mundbewegungen wurden ausgeprägter, und die Intensität der Emotionen kehrte auf ein Niveau zurück, das den ursprünglichen menschlichen Darbietungen sehr nahe kam. Statistische Tests bestätigten, dass die finalen, korrigierten Ausdrücke der echten menschlichen Daten viel näher kamen als die anfänglichen computergenerierten Versionen, wodurch sich die Ähnlichkeit in der Bewegung der Gesichtskontrollen effektiv verdoppelte.
Die Studie maß auch, wie gut ein separates, unabhängiges Computerprogramm die Emotionen in diesen neuen virtuellen Gesichtern erkennen konnte. Vor dem Korrekturschritt hatte der Computer manchmal Schwierigkeiten, die Gefühle zu identifizieren, insbesondere bei komplexen Emotionen wie Angst oder Überraschung. Nach dem Verfeinerungsschritt verbesserten sich die Erkennungsraten für die meisten Emotionen signifikant, was darauf hindeutet, dass die hinzugefügten Details nicht bloß zufälliges Rauschen, sondern echte emotionale Hinweise waren. Die Forscher merkten an, dass das System sowohl bei niedrigen als als auch bei hohen Intensitätsstufen gut funktionierte, was bewies, dass es das gesamte Spektrum menschlicher Ausdrucksformen bewältigen kann, ohne für jedes neue Szenario neu trainiert werden zu müssen. Obwohl das System noch weiterer Tests durch menschliche Beobachter bedarf, um zu sehen, wie natürlich sich die Gesichter einem echten Publikum gegenüber anfühlen, zeigen die Ergebnisse, dass es möglich ist, kontrollierbare, ausdrucksstarke virtuelle Charaktere aus einem relativ kleinen Satz an realen Daten zu erschaffen. Dieser Ansatz bietet einen Weg nach vorn, um digitale Charaktere zu erschaffen, die das volle Spektrum menschlicher Gefühle ausdrücken können, ohne die ständige Notwendigkeit menschlicher Schauspieler oder manueller künstlerischer Anpassungen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.