CETalk: Continuous Valence-Arousal Control for Audio-Driven 3D Talking Head Generation
Dieses Paper stellt CETalk vor, ein audiogesteuertes Framework zur Generierung von 3D-Talking-Heads, das kontinuierliche Valenz-Arousal-Repräsentationen und eine multiskalige zeitliche Modellierungsarchitektur nutzt, um eine feingliedrige emotionale Steuerung sowie eine präzise Lippensynchronisation zu erreichen und gleichzeitig die Einschränkungen diskreter Emotionskategorien zu überwinden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich schnell entwickelnden Welt der digitalen Medien ist die Fähigkeit, lebensnahe virtuelle Menschen zu erschaffen, aus dem Bereich der Science-Fiction in die praktische Anwendung übergegangen. Diese digitalen Avatare werden zunehmt als virtuelle Assistenten, in der virtuellen Realitätskommunikation und für interaktive Unterhaltung eingesetzt. Eine zentrale Herausforderung in diesem Bereich besteht darin, diese Charaktere mit ihrem Gesicht sprechen zu lassen, nicht nur mit ihrem Mund. Während frühe Systeme erfolgreich Lippenbewegungen an gesprochene Wörter anpassen konnten, hatten sie oft Schwierigkeiten, die subtilen, wechselnden Emotionen zu vermitteln, die eine menschliche Konversation echt wirken lassen. Traditionelle Ansätze behandelten Emotionen als distinkte, getrennte Boxen, wie etwa „glücklich“, „traurig“ oder „wütend“. Diese Methode funktionierte bei groben Zügen gut, scheiterte jedoch daran, die fluide, kontinuierliche Natur menschlicher Gefühle einzufangen, bei der ein Lächeln langsam in einen besorgten Blick übergehen kann oder in der Aufregung leise vor sich hin brodelt, bevor sie ausbricht. Zudem sind der Zeitpunkt der Sprache und der Zeitpunkt der Emotion grundlegend verschieden; der Mund muss sich schnell bewegen, um den rasanten Lauten der Wörter zu entsprechen, während emotionale Ausdrücke sich oft langsamer über das gesamte Gesicht hinweg entwickeln.
Forscher der Technischen Universität Hefei haben ein neues System namens CETalk entwickelt, um diese spezifischen Probleme zu lösen. Anstatt Emotionen in starre Kategorien zu zwingen, nutzt dieses System eine kontinuierliche zweidimensionale Karte, um Gefühle zu beschreiben, indem es verfolgt, wie positiv oder negativ ein Gefühl ist und wie aktiv oder passiv es sich anfühlt. Dieser Ansatz ermöglicht es dem Computer, Gesichtsanimationen zu generieren, die fließend wechseln und den natürlichen Ebbe und Flut der menschlichen Konversation widerspiegeln. Das Team baute einen großen neuen Datensatz auf, um ihr System zu trainieren, indem sie 3D-Gesichtsbewegungen aus bestehenden Videoaufnahmen rekonstruierten und diese kontinuierlichen emotionalen Werte automatisch für jedes einzelne Frame schätzten. Diese Daten lieferten die notwendige Grundlage, um dem Computer beizubringen, zwischen den schnellen, präzisen Bewegungen, die für die Sprache erforderlich sind, und den langsameren, großflächigen Veränderungen, die die Stimmung vermitteln, zu unterscheiden.
Der Kern des neuen Systems liegt darin, wie es mit der Zeit umgeht. Die Forscher erkannten, dass Sprache und Emotion auf unterschiedlichen Geschwindigkeiten operieren, ähnlich wie ein Schlagzeuger einen stetigen, schnellen Takt hält, während ein Sänger eine lange, langsame Note hält. Um dies zu bewältigen, teilt das System die Verarbeitung in zwei parallele Pfade auf. Ein Pfad konzentriert sich auf die hochgeschwindigkeitsbezogenen Details von Mund und Kiefer, um sicherzustellen, dass jedes Silben perfekt mit dem Audio synchronisiert ist. Der andere Pfad konzentriert sich auf die langsameren, breiteren Bewegungen des Gesichts, die Emotionen ausdrücken, wie etwa eine gerunzelte Stirn oder ein Weiten der Augen. Diese beiden Informationsströme werden dann durch ein intelligentes Integrationssystem wieder zusammengeführt, das Moment für Moment entscheidet, wie viel Gewicht den Sprachbewegungen gegenüber dem emotionalen Ausdruck beigemessen werden soll. Dies ermöglicht es der finalen Animation, sowohl in der Lippensynchronisation als auch in ihrer emotionalen Tiefe präzise zu sein.
Um ihre Arbeit zu testen, verglich das Team ihr System mit mehreren bestehenden Methoden unter Verwendung von drei verschiedenen Videosätzen. Die Ergebnisse zeigten, dass ihr Ansatz deutlich genauere Lippenbewegungen und realistischere Gesichtsausdrücke erzeugte als die bisher besten Methoden. In Tests auf dem MEAD-Datensatz reduzierte ihr System die Fehler bei den Lippenbewegungen auf etwa 7,48 Millimeter und die Fehler bei den gesamten Gesichtsbewegungen auf etwa 9,91 Millimeter und übertraf damit alle anderen getesteten Technologien in diesem spezifischen Benchmark. Über die Genauigkeit hinaus demonstrierte das System eine überlegene Fähigkeit, kontinuierlichen emotionalen Anweisungen zu folgen. Als das System angewiesen wurde, ein Gesicht zu generieren, das graduell von einem negativen in einen positiven Zustand übergeht, folgte es dem Pfad mit hoher Präzision und entsprach der beabsichtigten emotionalen Trajektorie weitaus besser als seine Konkurrenten.
Die Forscher demonstrierten auch, dass das System eine feingliedrige Kontrolle über die Intensität einer Emotion ermöglicht. Durch die Anpassung der Eingangswerte konnten sie den Ausdruck eines Charakters subtil intensiver oder gedämpfter machen, ohne die Synchronisation mit der Stimme zu unterbrechen. Diese Ebene der Kontrolle ist entscheidend für die Erstellung digitaler Menschen, die sich wahrhaft lebendig anfühlen und in der Lage sind, die nuancierten, kontinuierlichen emotionalen Wechsel vollziehen zu können, die die reale menschliche Interaktion definieren. Indem sie sich von diskreten Kategorien abwandten und die kontinuierliche Natur des menschlichen Affekts annahmen, stellt diese Arbeit einen bedeutenden Schritt nach vorn dar, um die virtuelle Kommunikation weniger wie das Beobachten einer Maschine und mehr wie das Verbinden mit einem Menschen wirken zu lassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.