Live Avatar: Streaming Real-time Audio-Driven Avatar Generation with Infinite Length
Dieses Paper stellt Live Avatar vor, ein ko-designedes Algorithmus-System-Framework, das durch die Kombination einer destillierten kausalen Diffusions-Pipeline mit Timestep-forcing Pipeline Parallelism die erste praktische, Echtzeit-, unendlich lange Streaming-Generierung von 14-Milliarden-Parameter-audiogesteuerten Avataren ermöglicht, um 45 FPS zu erreichen und gleichzeitig langfristigen Identitätsdrift zu eliminieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine Geschichte zu erzählen. Sie möchten, dass er spricht, sich die Lippen bewegt und seine Gesichtsausdrücke ändert, alles in perfekter Synchronität mit Ihrer Stimme, während er gleichzeitig wie ein echter Mensch aussieht. Dies ist die Welt der audiogesteuerten Avatar-Generierung. Lange Zeit haben Wissenschaftler „digitale Schauspieler“ mithilfe einer Art KI namens Diffusionsmodell erschaffen. Denken Sie bei einem Diffusionsmodell an einen Bildhauer, der mit einem Block aus verrauschtem Rauschen beginnt und das Rauschen langsam wegmeißelt, um eine perfekte Statue zu enthüllen. Normalerweise arbeitet dieser Bildhauer in einer sehr strengen Reihenfolge: Er muss erst den Kopf fertigstellen, bevor er mit dem Körper beginnen kann, und er muss dies Schritt für Schritt tun, was viel Zeit in Anspruch nimmt.
Das große Problem ist: Wenn Sie diesen Roboter bitten, eine Stunde lang eine Geschichte zu erzählen, neigt er dazu, verwirrt zu werden. Er könnte vergessen, wie das Gesicht des Charakters vor fünf Minuten aussah, oder seine Stimme könnte plötzlich wie die einer ganz anderen Person klingen. Dies wird als „Drift“ bezeichnet. Zudem ist, weil der Bildhauer so langsam arbeitet, ist es nicht möglich, ein Echtzeit-Gespräch mit ihm zu führen; bis er einen Satz beendet hat, haben Sie bereits vergessen, was Sie gesagt haben. Das Ziel der Forscher war es, einen digitalen Schauspieler zu bauen, der schnell genug ist, um live mit Ihnen zu sprechen, intelligent genug, um seine Identität über Stunden hinweg zu bewahren, und detailliert genug, um fotorealistisch auszusehen.
Hier kommt Live Avatar ins Spiel, ein neues Projekt, das wie ein Meisterdirigent für ein riesiges Orchester aus Computerchips fungiert. Die Forscher hinter dieser Arbeit, angeführt von Teams der University of Science and Technology of China und Alibaba, haben einen Weg gefunden, ein riesiges KI-Modell mit 14 Milliarden Parametern (ein „14B“-Modell, was in der Welt der KI gewaltig ist) zum Sprechen, Bewegen und Streamen von Videos in Echtzeit zu bringen, ohne den Verstand zu verlieren.
Normalerweise ist das Erstellen eines so langen und schnellen Videos ein Widerspruch. Man kann entweder Geschwindigkeit oder Qualität haben, aber nicht beides. Live Avatar löst dies, indem es die Art und Weise ändert, wie die KI über Zeit und Gedächtnis „denkt“. Anstatt zu versuchen, sich an jedes einzelne perfekte Detail der Vergangenheit zu erinnern (was dazu führt, dass die KI verwirrt wird und driftet), speichert das System ein „verrauschtes“ Gedächtnis. Stellen Sie sich vor, Sie versuchen, eine Melodie zu erinnern, indem Sie sie grob summen, anstatt zu versuchen, jede einzelne Note perfekt abzurufen. Dieses „grobe“ Gedächtnis wirkt wie ein Filter, der das Gesicht des Charakters stabil hält, während sich der Mund natürlich bewegt.
Das Team hat zudem einen cleveren Weg zur Beschleunigung erfunden, der Timestep-forcing Pipeline Parallelism genannt wird. Stellen Sie sich eine Fabrik-Montagestraße vor, in der, anstatt dass ein einzelner Arbeiter jeden Schritt beim Bau eines Autos erledigt, ein Team von Arbeitern eingesetzt wird. In einer normalen Video-KI wartet jeder Arbeiter, bis der vorherige fertig ist, bevor er selbst anfangen kann. Live Avatar ändert die Regeln: Jeder Arbeiter auf der Linie (oder jeder Computerchip, bekannt als GPU, wird einem spezifischen Schritt zugewiesen. Während Arbeiter A die Räder poliert, bemalt Arbeiter B die Tür und Arbeiter C installiert den Motor – und das alles zur exakt gleichen Zeit. Dies verwandelt einen langsamen, sequenziellen Prozess in einen schnellen, parallelen Prozess.
Die Ergebnisse sind beeindruckend. Auf einem Setup mit 5 leistungsstarken H100-Grafikkarten kann Live Avatar Videos mit 45 Bildern pro Sekunde (FPS) generieren, was schneller ist als die menschliche Wahrnehmung. Es dauert nur 1,21 Sekunden, um den ersten Frame nach Ihrem Sprechen zu generieren. Am wichtigsten ist: Es kann ewig weitergehen. Die Forscher testeten dies, indem sie den Avatar über 10.000 Sekunden (das sind fast drei Stunden am Stück) sprechen ließen, und der Charakter driftete nicht, glitchte nicht und verlor nicht seine Identität.
Dies ist nicht nur ein theoretischer Sieg; das Team hat eine neue Testumgebung namens GenBench entwickelt, um zu beweisen, dass andere Methoden bei langen Dauern scheitern, während ihre Methode erfolgreich ist. Sie fanden heraus, dass andere Systeme zwar für ein paar Sekunden gut aussehen mögen, aber nach einigen Minuten an Qualität verlieren, die Farben ändern oder das Gesicht der Person verändern. Live Avatar hingegen bleibt konsistent. Dies deutet darauf hin, dass durch die Kombination einer „verrauschten“ Gedächtnisstrategie mit einem smarten Montagestraßen-System endlich digitale Menschen entstehen können, die bereit für unendliche Echtzeit-Gespräche sind.
Das Paper schließt explizit die Idee aus, dass man die KI mit stundenlangen Videos trainieren muss, damit sie funktioniert. Stattdessen haben sie gezeigt, dass das Training auf kurzen Clips (etwa 3 Sekunden) ausreicht, sofern man ihren speziellen „verrauschten Historie“-Trick verwendet. Sie argumentieren auch gegen die alte Überzeugung, dass man sich zwischen einem schnellen, qualitativ minderwertigen Modell und einem langsamen, hochwertigen Modell entscheiden muss. Mit ihrer Methode kann man ein massives, hochwertiges Modell haben, das in Echtzeit läuft.
Obwohl das System unglaublich schnell ist, merken die Autoren an, dass es immer noch eine kleine Verzögerung gibt. Die Zeit von dem Moment, in dem Sie sprechen, bis das Video auf dem Bildschirm erscheint, beträgt unter Einbeziehung der Netzwerk-Laufzeit etwa 3 Sekunden. Dies ist schnell genug für viele Interaktionen, aber möglicherweise noch nicht schnell genug für ein nahtloses Face-to-Face-Gespräch, bei dem jede Millisekunde zählt. Für Streaming, virtuelle Assistenten und digitales Storytelling ist dies jedoch ein gewaltiger Sprung nach vorn und deutet darauf hin, dass die Ära der unendlichen, Echtzeit-Avatare nicht länger nur ein Traum ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.