OmniMate: Open-Ended Real-Time Streaming Audio-Visual Generation for Interactive Avatars
OmniMate ist ein vereinheitlichtes Framework, das durch die Einführung eines Generation Progress Controllers für eine adaptive Antwortprogression und eines Multi-Reference Conditioning Moduls zur Gewährleistung langfristiger kreuzmodaler Identitätskonsistenz eine hochwertige, latenzarme, offen endende Echtzeit-Streaming-Audio-visuelle Avatar-Generierung ermöglicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sprechen mit einem Freund, der in einem Computerbildschirm lebt. Sie möchten, dass er nicht nur spricht, sondern auch seine Hände bewegt, blinzelt und in Echtzeit auf Ihre Stimme reagiert, genau wie ein echter Mensch. Dies ist der Traum von „interaktiven Avataren“. Lange Zeit war die Erstellung dieser digitalen Charaktere wie das Filmen eines Kinofilms: Man musste jede Zeile und jede Geste planen, bevor man auf „Play“ drücken konnte. Doch vor kurzem haben Wissenschaftler „Diffusionsmodelle“ entwickelt, die wie magische Pinsel sind, die augenblicklich hochwertige Videos und Klänge aus Text erstellen können. Diese Technologie ist so gut geworden, dass sie einen Charakter sprechen und sich synchron zur Audioaufnahme bewegen lassen kann. Es gibt jedoch einen Haken: Diese Modelle funktionieren meist am besten, wenn sie genau wissen, wie lange das Gespräch dauern wird. Wenn man versucht, ein freifließendes Gespräch zu führen, bei dem der Computer raten muss, wann er aufhören muss zu sprechen und wieder anfangen soll zuzuhören, gerät der Charakter oft durcheinander, spricht zu lange oder sieht nach ein paar Minuten wie eine andere Person aus. Dieses Paper befasst sich genau mit diesem Problem: Wie man einen digitalen Freund erschafft, der ewig mit einem chatten kann, ohne sein Gesicht oder seine Stimme zu verlieren und ohne hinter Ihren Worten zurückzubleiben.
Die Forscher hinter diesem Projekt, ein Team der Xi'an Jiaotong University und China Telecom, haben ein neues System namens OmniMate entwickelt. Betrachten Sie OmniMate als einen superintelligenten digitalen Puppenspieler, der ein niemals endendes Gespräch bewältigen kann. Im Gegensatz zu früheren Systemen, die stolpern könnten, wenn das Gespräch länger wird oder der Nutzer unterbricht, ist OmniMate darauf ausgelegt, natürlich zu fließen und nahtlos zwischen „Sprech“- und „Zuhör“-Modi zu wechseln, während der Charakter exakt gleich aussieht und klingt.
Das Geheimnis von Omni-Mates Erfolg liegt in zwei klugen Tricks, mit denen es auf der Hut bleibt. Erstens verwendet es etwas, das man Generation Progress Controller (GPC) nennt. Stellen Sie sich vor, Sie lesen ein Bilderbuch, aber Sie wissen nicht, wie viele Seiten noch übrig sind. Normalerweise lesen Sie vielleicht über das Ende hinaus oder hören zu früh auf. Der GPC ist wie ein eingebauter Seitenzähler, der dem Avatar genau sagt, wie viel von seiner Antwort noch generiert werden muss. Er liefert dem System einen „Fortschrittsbalken“ für jedes winzige Stück Video und Audio, das erstellt wird. Dies ermöglicht es dem Avatar, genau zu wissen, wann er einen Satz beendet und nahtlos in eine „Zuhör“-Pose wechselt, um auf Ihren nächsten Input zu warten. Oh ohne dies würde der Avatar vielleicht weiterreden, nachdem er fertig ist, oder sich ungeschickt aufhalten.
Der zweite Trick ist das Multi-Reference Conditioning Module (MRCM). Haben Sie schon einmal bemerkt, dass eine Person auf einem Foto ein wenig anders aussieht, wenn man sie aus einem seltsamen Winkel betrachtet? In langen Videos leiden digitale Avatare oft unter „Identitätsdrift“, wobei sich ihr Gesicht langsam in das einer anderen Person verwandelt oder sich die Tonhöhe ihrer Stimme verändert. OmniMate löst dies, indem es sich ständig daran erinnert, wer der Charakter ist. Anstatt nur den allerersten Frame des Videos zu betrachten, behält es eine „Gedächtnisbank“ aus mehreren Referenzfotos und einer Probe der Stimme des Charakters. Während das Video spielt, gleicht es diese Referenzen ständig ab – wie ein Maler, der immer wieder auf ein Porträt blickt, um sicherzustellen, dass Nase und Augen korrekt bleiben –, wodurch gewährleistet wird, dass der Charakter gleich aussieht und klingt, egal ob er 10 Sekunden oder 10 Minuten lang spricht.
Das Team hat OmniMate auf einem Benchmark namens VerseBench getestet, der reale Gespräche simuliert. Die Ergebnisse waren beeindruckend: Das System kann Video und Audio mit einer Geschwindigkeit von 27,64 Bildern pro Sekunde (FPS) generieren, mit einer „Time-to-First-Frame“ (wie lange es dauert, bis das Video angezeigt wird), von nur 3,49 Sekunden. Das ist schnell genug, um sich wie ein echtes, Live-Gespräch anzufühlen. In Tests schlug OmniMate andere Top-Modelle darin, das Gesicht und die Stimme des Charakters über lange Zeiträume konsistent zu halten. Während andere Systeme nach einer Minute vielleicht anfangen, unscharf zu werden oder die Stimme zu verändern, blieb OmniMate selbst in Tests, die bis zu 240 Sekunden dauerten, stabil.
Die Autoren weisen jedoch vorsichtig darauf hin, dass das System noch nicht perfekt ist. Wenn das System die Dauer einer Antwort falsch einschätzt, könnte der Avatar ein Wort abschneiden oder sich wiederholen. Auch wenn der Charakter etwas tun müsste, das sein Aussehen drastisch verändert, wie etwa einen großen Kostümwechsel, könnte das System Schwierigkeiten haben, die Identität konsistent zu halten. Aber insgesamt stellt OmniMate einen bedeutenden Fortschritt dar: einen Weg, digitale Freunde zu haben, die in Echtzeit mit uns chatten können, sich daran erinnern, wer sie sind, und auf uns reagieren können, ohne die ungeschickten Glitches der Vergangenheit. Es verwandelt die statischen, vorab geplanten Videos von heute in die dynamischen, lebendigen Gespräche von morgen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.