Stellen Sie sich vor, Sie sind ein Regisseur, der versucht, einen Film mit einem sehr speziellen, eigensinnigen Schauspieler zu drehen. Dieser Schauspieler ist ein digitaler Charakter, der von einem Computerprogramm namens „Diffusionsmodell“ erschaffen wurde. Betrachten Sie dieses Modell als einen magischen, chaotischen Künstler, der unglaublich gut darin ist, Bilder basierend auf Ihren Beschreibungen zu malen, aber ein schreckliches Gedächtnis hat. Wenn Sie ihn bitten, ein Bild eines „Mannes mit Bart, der ein Buch liest“, zeichnet er vielleicht einen perfekten Mann. Aber wenn Sie ihn dann bitten, denselben Mann beim Aufstehen und Winken zu zeichnen, könnte der Künstler verwirrt werden. Der Bart könnte verschwinden, das Gesicht könnte seine Form verändern, oder der Mann sieht plötzlich aus wie eine völlig andere Person. Dies ist das Problem des „Identitätsdrifts“. In der Welt der KI-Videogenerierung ist es, eine Figur exakt gleich aussehen zu lassen, während sie sich bewegt und verschiedene Handlungen ausführt, so, als würde man versuchen, eine Schneeflocke auf einem heißen Bürgersteig zu transportieren, ohne dass sie schmilzt.

Stellen Sie sich nun vor, Sie wollen nicht nur, dass der Schauspieler eine Sache tut, sondern er soll ein ganzes Skript aufführen: Zuerst liest er ein Buch. Dann schaut er zum Himmel auf. Dann schaut er wieder nach unten. Dies in einem einzigen, kontinuierlichen Schub zu generieren, ist ein Albtraum für die KI, weil das Gesicht des Charakters mit der Länge des Videos dazu neigt, zu „driften“ und sich zu verändern. Dieses Paper befasst sich mit einer spezifischen Herausforderung, bei der das Ziel darin besteht, ein Video einer bestimmten Person zu generieren, die eine Sequenz verschiedener Handlungen ausführt, während gleichzeitig sichergestellt wird, dass die Person im Video exakt so aussieht wie das Referenzfoto, mit dem Sie begonnen haben. Die Forscher der University of Science and Technology of China haben beschlossen, nicht zu versuchen, den ganzen Film in einer einzigen Einstellung aufzunehmen. Stattdessen haben sie einen cleveren Weg gefunden, den Film in handhabbare Szenen zu unterteilen, das Gesicht des Charakters am Ende jeder Szene zu verankern und die Teile dann so zusammenzufügen, dass der Schauspieler nie vergisst, wer er ist.

Der Drei-Stufen-Zaubertrick

Die Autoren schlagen eine „trainingsfreie“ Pipeline vor, was eine schicke Art zu sagen ist, dass sie die KI nicht neu lehren mussten, wie man zeichnet; sie mussten ihr nur bessere Anweisungen und einen besseren Arbeitsablauf geben. Sie nennen ihre Methode „Keyframe-Anchored Identity Preservation“ (Keyframe-verankerte Identitätserhaltung), was kompliziert klingt, aber eigentlich sehr logisch ist. Denken Sie an das Bauen einer Brücke über einen Fluss. Anstatt zu versuchen, die ganze Straße auf einmal zu legen (was einstürzen könnte), bauen Sie an bestimmten Punkten starke, solide Pfeiler (Keyframes) und füllen dann die Straße zwischen ihnen auf.

Stufe 1: Der Skript-Doktor (Aktionsbewusste Prompt-Verfeinerung)
Zuer것st stellten die Forscher fest, dass die der KI gegebenen Anweisungen zu vage waren. Die ursprünglichen Prompts waren wie ein Regisseur, der dem Künstler zu: „Okay, jetzt liest er, dann schaut er auf!“ ruft – ein Künstler, der ein klares Bild vom Endzustand jeder Aktion benötigt. Die KI war verwirrt darüber, wann sie mit dem Lesen aufhören sollte und wie sie aufschauen sollte.

Um dies zu beheben, nutzten die Forscher einen smarten KI-Assistenten (ein Large Language Model), um das Skript umzuschreiben. Anstatt die Aktion des Lesens zu beschreiben, schrieb der Assistent den Prompt so um, dass er den Zustand des Charakters nach dem Lesen beschreibt. Es ist der Unterschied zwischen „Der Mann dreht seinen Kopf“ und „Der Mann schaut nun nach links“. Durch die Konzentration auf den „Terminalzustand“ (die Endpose) jeder Aktion erhält die KI ein klares Ziel. Dies stellt sicher, dass die KI, wenn sie den „Keyframe“ (den Ankerpunkt) generiert, genau weiß, wie der Charakter in diesem spezifischen Moment aussehen muss.

Stufe 2: Die Kettenreaktion (ID-erhaltende Keyframe-Generierung)
Als Nächstes kommt das eigentliche Zeichnen der Ankerpunkte. Die Forscher baten die KI nicht, das ganze Video auf einmal zu zeichen. Stattdessen baten sie sie, eine Kette von Standbildern nacheinander zu zeichen.

• Um das erste Bild zu zeichen, zeigten sie der KI das Referenzfoto (die ursprüngliche Person) und den ersten umgeschriebenen Prompt.
• Um das zweite Bild zu zeichen, zeigten sie der KI dasselbe Referenzfoto (um das Gesicht gleich zu halten) UND das erste Bild, das sie gerade erstellt hatten (um die Körperposition kontinuierlich zu halten).
• Dies wiederholten sie für jede Aktion im Skript.

Dies ist der „verkettete“ Teil. Indem sie das vorherige Bild in den nächsten Schritt einspeisten, weiß die KI, wie sie den Körper natürlich bewegen kann, ohne die Verbindung zum ursprünglichen Gesicht zu verlieren. Es ist wie ein Spiel des „Stille Post“, bei dem man die Anweisungen flüstert, aber anstatt dass die Nachricht verzerrt wird, reicht man eine physische Skizze weiter, die sicherstellt, dass der nächste Künstler genau weiß, wo der letzte aufgehört hat. Dies trennt die „Identität“ (das Gesicht, das gleich bleibt) von der „Pose“ (der Körper, der sich verändert) und löst so das Drift-Problem.

Stufe 3: Das Sicherheitsnetz (ID-bewusste Inferenz-Verbesserung)
Schließlich hat die KI eine Reihe von Standbildern (den Keyframes), muss aber die Bewegung zwischen ihnen ausfüllen, um ein flüssiges Video zu erstellen. Hier geschieht die Magie. Die Forscher fügten dem Videogenerierungsprozess zwei spezielle Tricks hinzu, um sicherzustellen, dass der Charakter während der Bewegung nicht aus der Rolle fällt.

1. Multi-Referenz-Steuerung: Stellen Sie sich vor, Sie versuchen ein Bild zu zeichnen, während Ihnen jemand drei Dinge ins Ohr flüstert: die Textbeschreibung, den vorherigen Frame und das Originalfoto. Die KI hört normalerweise auf den Text und den vorherigen Frame. Die Forscher zwangen die KI, besonders intensiv auf das Originalfoto zu hören. Sie passten die Mathematik so an, dass das „Identitätssignal“ verstärkt wurde, was es der KI viel schwerer macht, das Gesicht des Charakters versehentlich zu verändern, während sie den Körper bewegt.
2. Rausch-Suche (Noise Searching): Wenn eine KI ein Video generiert, beginnt sie mit einem Bildschirm voller statischem Rauschen (wie das Schneegestöber beim Fernsehen) und bereinigt dieses langsam, um das Bild zu enthüllen. Normalt wählt die KI einfach ein zufälliges Stück „Schnee“ als Startpunkt. Die Forscher entschieden sich, wählerisch zu sein. Sie generierten mehrere verschiedene Muster von „Schnee“ und testeten schnell, welches das beste Aussehen des Gesichts ergeben würde. Sie wählten den Gewinner und nutzten diesen als Ausgangspunkt. Es ist, als würde man verschiedene Samen testen, um zu sehen, welche Blume am besten blüht, bevor man den ganzen Garten pflanzt.

Die Ergebnisse: Hat es funktioniert?

Das Team testete seine Methode in einem Wettbewerb namens IPVG26 (Track 2), bei dem das Ziel darin bestand, Videos spezifischer Personen bei der Ausführung von Aktionssequenzen zu generen. Sie haben nicht nur geraten; sie haben ihre Ergebnisse gegen andere Top-Teams gemessen.

Ihr Ansatz belegte den dritten Platz auf der offiziellen Bestenliste. Obwohl sie nicht den ersten Platz erreichten, waren die Ergebnisse beeindruckend, insbesondere in den Bereichen, die am meisten zählen: die Erkennbarkeit der Person (Identitätserhaltung) und die zeitliche Genauigkeit der Handlungen (Temporale Ausrichtung).

Bei Tests ihres Systems stellten sie fest, dass die „Multi-Referenz-Steuerung“ der Hauptverantwortliche war. Als sie diese Funktion entfernten, sank der Wert für die Konsistenz der Identität signifikant (von 0,4055 auf 0,3520). Dies bewies, dass das explizite Anweisen der KI, sich auf das Referenzfoto zu konzentrieren, der Schlüssel war, um den Gesichtsdrift zu verhindern. Die „Rausch-Suche“ half ebenfalls, lieferte aber einen kleineren Boost.

Das Paper verglich zudem zwei verschiedene „Backbones“ (die zugrunde liegenden Video-Engines, die sie verwendeten). Sie fanden heraus, dass ein Modell namens LTX-2.3 das Modell Wan2.1-VACE in fast allen Metriken besser abschnitt. Das LTX-2.3 Modell erreichte eine Gesamtpunktzahl von 0,4971, verglichen mit 0,4818 für das andere Modell.

Was das bedeutet

Das Paper behauptet nicht, das Problem der KI-Videogenerierung für immer gelöst zu haben. Es sagt nicht, dass der Charakter sich niemals verändern wird oder dass die Methode für jedes erdenkliche Szenario perfekt funktioniert. Stattdessen legt es nahe, dass die Zerlegung einer komplexen Videoaufgabe in kleinere, verankerte Schritte eine sehr effektive Methode zur Bewältigung ist.

Indem sie das Video als eine Kette von „Terminalzuständen“ (dem Ende jeder Aktion) statt als einen kontinuierlichen, fließenden Strom behandelten, gelang es den Forschern, die Identität des Charakters auch bei komplexen und sequenziellen Handlungen intakt zu halten. Sie zeigten, dass man eine KI nicht immer von Grund auf neu trainieren muss; manchmal braucht man nur eine bessere Karte, einen stärkeren Anker und ein wenig zusätzliche Hilfe bei der Wahl des Startpunkts. Für jeden, der konsistente Charaktere in digitalen Geschichten erstellen möchte, bietet dieser „keyframe-verankerte“ Ansatz einen zuverlässigen, trainingsfreien Weg, um den Schauspieler in seiner Rolle zu halten, egal wie viele Szenen er spielen muss.