Avatar-Forever: Decoupled Parallel Training for High-Quality Real-Time Infinite Avatars
Avatar-Forever ist ein entkoppeltes paralleles Trainingsframework, das Full-Parameter-Distillation für hohe visuelle Qualität mit einem leichtgewichtigen Long-Horizon-Adapter kombiniert, der mittels Recovery-oriented Rollout Training trainiert wird und eine stabile, Echtzeit-, unendliche audio-gesteuerte Avatar-Generierung auf einer einzelnen H100-GPU ermöglicht.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Sie mit einem digitalen Freund sprechen können, der genau wie ein echter Mensch aussieht, sich bewegt und spricht – und das für immer. Das ist nicht nur ein Science-Fiction-Film-Traum; es ist das Ziel eines Feldes namens Visual Computing, bei dem Wissenschaftler Computern beibringen, bewegte Bilder zu verstehen und zu erschaffen. Um dies zu erreichen, nutzen Forscher KI-Modelle – massive digitale Gehirne, die mit Millionen von Videos trainiert wurden –, um zu lernen, wie Menschen aussehen und sich bewegen. Eine zentrale Herausforderung in diesem Bereich ist die Streaming-Videogenerierung. Denken Sie an ein Staffellaufrennen: Der Computer generiert ein paar Sekunden Video, nutzt das Ergebnis dann als Ausgangspunkt für die nächsten paar Sekunden und so weiter. Das Problem ist: Wenn der Computer in den ersten paar Sekunden einen winzigen Fehler macht, wird dieser Fehler durch die Kette weitergereicht, wird mit jedem Schritt größer und seltsamer, bis die digitale Person anfängt zu schmelzen oder zu vergessen, wer sie ist. Dieses Paper widmet sich dem Kopfzerbrechen, die digitalen Menschen perfekt aussehen und natürlich agieren zu lassen, selbst wenn sie stundenlang ohne Unterbrechung sprechen.
Die Forscher hinter Avatar-Forever erkannten, dass der Versuch, dieses „Staffellauf“-Problem mit den alten Methoden zu lösen, so war, als würde man versuchen, einem Schüler beizubringen, gleichzeitig schnell zu rennen und niemals zu stolpern, indem man ihm einen einzigen, verwirrenden Lehrplan gibt. Die alte Methode versuchte, zwei sehr unterschiedliche Ziele in einen einzigen Trainingsprozess zu pressen: die Videogenerierung super schnell zu machen (damit sie sich echt anfühlt) und sie super robust zu machen (damit sie nach einer Minute nicht auseinanderfällt). Die Autoren argumentieren, dass diese beiden Ziele sich tatsächlich bekämpfen. Wenn man sich zu sehr auf Geschwindigkeit konzentriert, wird das Video wackelig; wenn man sich zu sehr darauf konzentriert, Fehler zu beheben, wird es zu langsam.
Anstatt den Computer also zu zwingen, beide Fähigkeiten gleichzeitig zu lernen, teilt Avatar-Forever das Training in zwei separate, parallele Klassen auf. Stellen Sie sich ein digitales Fitnessstudio mit zwei verschiedenen Bahnen vor. Auf der ersten Bahn, dem Efficiency Branch, übt die KI einen Sprint. Sie lernt, hochwertige Videos in nur wenigen Schritten zu generieren, wobei sie sich rein auf Geschwindigkeit und ein gutes Aussehen im Kurzzeitbereich konzentriert. Auf der zweiten Bahn, dem Robustness Branch, übt die KI eine andere Fähigkeit: die Erholung. Hier bringen die Forscher der KI absichtlich einen schlechten Startpunkt bei – indem sie das Bild verschwimmen lassen, Rauschen hinzufügen oder Teile des Gesichts verdecken – und verlangen von ihr trotzdem, die nächsten Sekunden Video zu generieren. Dies wird als Recovery-oriented Rollout Training (RRT) bezeichnet. Es ist, als würde man einem Turner beibringen, einen perfekten Rückwärtssalto zu machen, selbst wenn er beim ersten Schritt stolpert. Die KI lernt, ihre eigenen Fehler, während sie passieren, zu korrigieren, anstatt nur zu hoffen, dass sie nicht auftreten.
Sobald die KI auf beiden Bahnen trainiert hat, kombiniert die Forschung die beiden Fähigkeiten. Sie nehmen den schnellen Läufer und den Erholungsexperten und verschmelzen sie zu einem Super-Athleten. Dieser neue Avatar kann Videos in Echtzeit generieren und gleichzeitig robust genug sein, um stundenlang zu sprechen, ohne seine Identität oder seine Fassung zu verlieren. Um dies noch schneller zu machen, führten sie einen cleveren Trick namens ForeverCache ein. Normalerweise muss die KI jedes Mal, wenn sie ein neues Video-Stück generiert, die gesamte Historie dessen, was sie gerade erstellt hat, neu lesen, was so ist, als würde man jedes Mal ein ganzes Buch neu lesen, während man einen neuen Satz schreibt. ForeverCache ist wie ein intelligentes Lesezeichen; es merkt sich die stabilen Teile der Geschichte (den Hintergrund, das Gesicht der Person), sodass die KI sie nicht jedes Mal neu berechnen muss. Sie konzentriert sich nur auf die neuen Wörter, die gerade geschrieben werden.
Die Ergebnisse sind beeindruckend. Basierend auf einem massiven 22-Milliarden-Parameter-Video-Foundation-Modell kann Avatar-Forever hochauflösende Videos (768 × 512 Pixel) mit 27,2 Bildern pro Sekunde auf einer einzigen leistungsstarken H100-Grafikkarte generieren. Das ist schnell genug für eine Interaktion in Echtzeit. In Tests gelang es dem System, einen digitalen Avatar über 11 Minuten lang natürlich sprechen zu lassen, ohne dass das Gesicht schmolz, die Stimme abdriftete oder die Bewegungen roboterhaft wurden. Während andere Methoden nach einer Weile begannen, „Identitätsdrift“ (bei dem die Person wie eine andere Person aussieht) oder repetitive, steife Gesten zu zeigen, hielt Avatar-Forever den Charakter konsistent und die Bewegung flüssig. Das Team erstellte auch einen vollständig synthetischen Datensatz, um das Modell zu trainieren, was bedeutet, dass sie die Trainingsvideos selbst mithilfe von KI generierten, um perfekte Qualität und Abstimmung zu gewährleisten und die Unordnung realer Internet-Videos zu vermeiden.
Das Paper legt nahe, dass dieser „Split-Track“-Ansatz ein besserer Weg ist, um langlebige digitale Menschen als die alten, verhedderten Methoden aufzubauen. Indem sie die Notwendigkeit von Geschwindigkeit von der Notwendigkeit von Stabilität trennten, fanden die Forscher einen praktischen Weg, um digitale Menschen zu erschaffen, die unbegrenzt mit uns sprechen, lehren oder uns unterhalten können, ohne die digitalen Glitches, die normalerweise die Illusion ruinieren. Obwohl das System derzeit für leistungsstarke Server optimiert ist und noch nicht für Heimcomputer, öffnet es die Tür zu einer Zukunft, in der unsere digitalen Begleiter so lange bei uns sein können, wie wir sie brauchen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.