From Tokens to Faces: Investigating Discrete Speech Representations for 3D Facial Animation
Diese Arbeit evaluiert vier Familien diskreter Sprachrepräsentationen für die 3D-Gesichtsanimation, wobei sie demonstriert, dass das Kodieren phonetischer Klassen präzise Vorhersagen liefert, und ermöglicht die Einführung einer Audio-Visual Text-to-Speech (AVTTS)-Pipeline, die gemeinsame diskrete Repräsentationen nutzt, um gleichzeitig Sprache und 3D-Gesichtsbewegungen zu dekodieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, gleichzeitig zu sprechen und sein Gesicht zu bewegen. Sie haben die Stimme des Roboters, aber wie sagen Sie seinem Gesicht, was es tun soll? Geben Sie ihm ein detailliertes Skript für jede Muskelbewegung? Geben Sie ihm eine rohe Audiodatei? Oder geben Sie ihm eine Reihe einfacher, codierter Anweisungen?
Diese Arbeit mit dem Titel „From Tokens to Faces“ ist im Grunde ein Geschmackstest. Die Forscher wollten herausfinden, welche Art von „Anweisungscode“ am besten funktioniert, um ein 3D-animiertes Gesicht natürlich aussehen zu lassen, während es spricht.
Die vier Arten von „Anweisungscodes“
Die Forscher testeten vier verschiedene Wege, menschliche Sprache in Daten (genannt „Repräsentationen“) zu übersetzen, die ein Computer verstehen kann:
- Der „semantische“ Code (HuBERT): Denken Sie an einen Übersetzer, der die Bedeutung des Satzes versteht. Er weiß, was gesagt wird, und den Kontext drumherum. Er ist großartig darin, die „Idee“ der Sprache zu verstehen.
- Der „akustische“ Code (WavTokenizer): Dies ist wie ein Hochgeschwindigkeits-Audiokompressor. Er konzentriert sich rein auf die Schallwellen und wie sie sich anfühlen, und ignoriert dabei die Bedeutung oder die spezifischen Buchstaben. Er ist sehr effizlich darin, den Klang zu rekonstruieren, aber er „weiß“ nichts über Wörter.
- Der „hybride“ Code (SpeechTokenizer): Dies ist eine Mischung aus beiden. Er versucht, sowohl die Bedeutung der Wörter als auch die Textur des Klangs gleichzeitig zu verstehen.
- Der „labelbasierte“ Code (CosyVoice2): Dies ist wie ein strenger Lehrer mit einer Checkliste. Er zerlegt die Sprache in spezifische, diskrete Labels (wie bestimmte Buchstaben oder Laute) und konzentriert sich auf die Struktur der Sprache statt auf den fließenden Klang.
Das Experiment: Der Gesicht-Decoder
Die Forscher nahmen diese vier verschiedenen Codes und speisten sie in zwei verschiedene „Gesichtstreiber“ (Decoder) ein:
- Der GRU: Ein schrittweiser Treiber, der sich immer nur einen Frame des Gesichts nach dem anderen ansieht.
- Der Transformer: Ein Treiber, der den ganzen Satz auf einmal betrachtet, so als würde man einen Absatz lesen, um den Fluss zu verstehen.
Sie maßen dann, wie gut die resultierenden animierten Gesichter mit den echten menschlichen Gesichtern übereinstimmten, und zwar mit drei Methoden:
- Mathematik: Messung des Abstands zwischen den Lippen des Roboters und den Lippen des Menschen.
- Geschmeidigkeit: Überprüfung, ob das Gesicht ruckelig war oder sich flüssig bewegte.
- Der „menschliche Auge“-Test: Sie ließen echte Menschen die Videos ansehen und bewerten, wie realistisch sie aussahen, ähnlich wie bei einem Blindverkostungstest.
Was sie herausfanden
Hier sind die überraschenden Ergebnisse, einfach erklärt:
- Bedeutung zählt: Der „semantische“ Code (der Übersetzer) und der „labelbasierte“ Code (die Checkliste) waren die Gewinner. Sie erzeugten die realistischsten Gesichter. Es stellt sich heraus, dass ein Gesicht, um natürlich zu bewegen, wissen muss, was gesagt wird (die phonetischen Klassen), und nicht nur, wie die Schallwellen vibrieren.
- Zu viel Ton ist schlecht: Der „akustische“ Code (reiner Klang) und der „hybride“ Code (Klang + Bedeutung) schnitten schlecht ab. Es scheint, dass der Computer zu sehr auf die rohen Details des Klangs fixiert ist, dass er darüber stolpert, wie er die Lippen bewegen soll. Das „Rauschen“ des Klangs stand der Gesichtsanimation tatsächlich im Weg.
- Der beste Treiber: Der „Transformer“-Treiber (der den ganzen Satz betrachtet) funktionierte viel besser mit den diskreten Codes als der schrittweise Treiber.
- Die Überraschung beim „labelbasierten“ Code: Der „labelbasierte“ Code, der ursprünglich für Text-to-Speech entwickelt wurde, funktionierte fast so gut wie der komplexe „semantische“ Code. Das ist eine große Sache, weil er einfacher und strukturierter ist.
Die große Idee: Die „Alles-in-einem“-Maschine
Der spannendste Teil der Arbeit ist eine neue Idee, die sie AVTTS (Audio Visual Text-to-Speech) nennen.
Normalerweise muss man, um einen sprechenden Kopf zu erstellen, zwei Schritte durchlaufen:
- Text in Audio umwandeln.
- Dieses Audio in ein bewegtes Gesicht umwandeln.
Die Forscher zeigten, dass da der „labelbasierte“ Code so gut darin ist, Sprache darzustellen, man ihn als gemeinsame Sprache verwenden kann. Man kann Text in das System einspeisen, und es kann sowohl das Audio als auch das bewegte Gesicht zur exakt gleichen Zeit ausgeben, perfekt synchronisiert, ohne dass ein Zwischenschritt nötig ist. Es ist wie ein Dirigent, der sowohl das Orchester (die Stimme) als auch die Tänzer (das Gesicht) von einem einzigen Notenblatt aus leitet.
Das Fazit
Um ein Robotergesicht echt aussehen zu lassen, muss man ihm nicht jedes winzige Detail der Schallwelle füttern. Man muss es mit einem klaren, strukturierten Verständnis der Laute und Buchstaben füttern, die gesprochen werden. Wenn man dem Computer eine klare „Karte“ der Sprache gibt (wie eine Checkliste der Laute), kann er die Lippen perfekt bewegen, selbst wenn er nicht über die rohe Audiodatei verfügt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.