Identity-Preserving Text-to-Video Generation via Agentic Enhancement and Semantic Repair
Das Papier schlägt Agentic Enhancement and Semantic Repair (AESR) vor, ein leichtgewichtiges Framework, das ein agentisches Prompt-Enhancement-Modul und ein VLM-gesteuertes visuelles semantisches Reparaturmodul kombiniert, um Identitätsdrift und Fehler bei der Befolgung von Anweisungen in proprietären Text-zu-Video-Modellen zu überwinden und damit den ersten Platz bei der ACM MM 2026 Identity-Preserving Video Generation Challenge zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich schnell entwickelnden Welt der künstlichen Intelligenz ist eine spezifische Herausforderung entstanden: Maschinen beizubringen, bewegte Bilder zu erstellen, die nicht nur einer schriftlichen Geschichte folgen, sondern auch eine bestimmte Person während des gesamten Clips exakt so aussehen lassen wie sie selbst. Stellen Sie sich vor, Sie bitten einen Computer, ein Video eines Freundes zu generieren, der durch einen belebten Markt läuft, dann anhält, um eine Blume zu kaufen, während gleichzeitig sichergestellt wird, dass das Gesicht im Video unverkennbar das Ihres Freundes bleibt. Während moderne Werkzeuge bereits in der Lage sind, beeindruckend realistische Bewegungen und Beleuchtungen zu erzeugen, haben sie oft Schwierigkeiten mit dieser Konsistenz. Der Charakter kann als Ihr Freund beginnen, verwandelt sich dann aber langsam in jemand anderen, oder der Computer vergisst schlichtweg, die Blume einzufügen, um die Sie gebeten haben, besonders wenn die Anweisungen komplex werden. Dies ist eine erhebliche Hürde, da die leistungsfähigsten verfügbaren Videogeneratoren „Black Boxes“ sind – geschlossene Systeme, deren innere Abläufe verborgen bleiben, was es Forschern unmöglich macht, den Code einfach anzupassen, um diese Fehler zu beheben.
Ein Team von Forschern der Peking University hat einen neuen Ansatz entwickelt, um dieses Problem zu lösen, ohne die Black Box öffnen zu müssen. Anstatt zu versuchen, den Videogenerator selbst zu verändern, haben sie einen intelligenten Assistenten gebaut, der darum herumarbeitet. Dieses System, das sie AESR nennen, fungiert wie ein hochqualifizierter Regisseur und Editor, der die Anweisungen vor dem Dreh vorbereitet und Fehler nach der ersten Aufnahme korrigiert. Die Forscher fanden heraus, dass sie die Ergebnisse signifikant verbessern konnten, indem sie die Text-Prompts, die dem Computer gegeben werden, sorgfältig verfeinerten und anschließend visuelle Referenzen nutzten, um spezifische Fehler im generierten Video zu korrigieren. In einem großen internationalen Wettbewerb für diese Technologie belegte ihr System den ersten Platz und bewies, dass diese Methode der Führung und Reparatur des Outputs ein praktischer und leistungsstarker Weg ist, um Videos zu erstellen, in denen die Identität des Subjekts der Wirklichkeit treu bleibt.
Der Kern ihrer Lösung liegt in zwei unterschiedlichen Phasen, die vor und nach der Erstellung des Videos stattfinden. Zuerst stellten die Forscher fest, dass die Art und Weise, wie ein Mensch einen Prompt schreibt, eine immense Bedeutung hat, aber verschiedene Videogeneratoren unterschiedliche Schreibstile bevorzugen. Um dies zu handhaben, entwickelten sie ein digitales „Handbuch“, das aus Erfahrung lernt. Dieses Handbuch beginnt mit den offiziellen Anweisungen der Ersteller des Videogenerators, die dem System mitteilen, wie es Befehle am liebsten entgegennimmt. Die Forscher gingen jedoch weiter und fügten eine Ebene hinzu, die aus realen Beispielen lernt. Sie richteten eine automatisierte Schleife ein, in der das System ein Video generiert, es auf Fehler überprüft und sein Handbuch anschließend mit dem Erlernten aktualisiert. Wenn das System bemerkt, dass der Videogenerator oft eine bestimmte Art von Bewegung vergisst oder ein Objekt nicht klar beschreibt, zeichnet das Handbuch diesen Fehler und die Korrektur für das nächste Mal auf. Im Laufe der Zeit wächst diese Sammlung von Wissen, was dem System ermöglicht, bessere Anweisungen für komplexe Szenen zu formulieren, wie etwa eine Person, die mit mehreren Objekten interagiert oder eine Sequenz von Handlungen ausführt.
Selbst mit besseren Anweisungen enthält die erste Version eines Videos oft noch kleine Fehler, die durch Text allein nicht behoben werden können. Ein Computer mag die Worte „eine Frau, die in die Kamera schaut“ verstehen, aber das resultierende Video zeigt sie vielleicht beim Wegschauen, oder es übersieht ein entscheidendes Detail wie einen spezifischen Hut, den sie tragen soll. Um dies zu adressen, führten die Forscher eine zweite Phase namens „visuelle semantische Reparatur“ ein. In dieser Phase fungiert ein separates KI-System als Kritiker, das das Entwurfsvideo betrachtet und es mit der ursprünglichen Anfrage vergleicht. Wenn es ein Problem entdeckt, wie etwa ein fehlendes Objekt oder ein Gesicht, das leicht abgewichen ist, schreibt es nicht einfach eine neue Beschreibung. Stattdessen wählt es einen spezifischen Frame aus dem Video aus und bearbeitet ihn so, dass genau das zu sehen ist, was dort sein sollte. Dieses bearbeitete Bild dient als konkretes visuelles Ziel. Das System speist dieses korrigierte Bild zusammen mit dem Originalvideo und einem neuen Satz von Anweisungen in ein Videobearbeitungswerkzeug ein. Dieses Werkzeug nutzt das bearbeitete Bild als Leitfaden, um das spezifische Segment des Videos zu korrigieren, sodass das Endergebnis der visuellen Absicht des Prompts entspricht.
Um das bestmögliche Ergebnis zu gewährleisten, verließen sich die Forscher nicht auf einen einzigen Versuch. Sie generierten mehrere Versionen jedes Videos unter Verwendung verschiedener Kombinationen ihrer verbesserten Anweisungen und Reparaturtechniken. Sie nutzten dann eine Selektionsstrategie, um diese Kandidaten zu vergleichen, wobei Faktoren wie die Übereinstimmung des Videos mit dem Text, die Beständigkeit des Gesichts und die allgemeine Geschmeidigkeit der Bewegung gewichtet wurden. Durch die Auswahl der einen besten Version aus dieser Gruppe maximierten sie die Qualität des Endprodukts. Bei Tests gegen einen Satz von 200 herausfordernden Beispielen, die die Bewahrung der Identität des Gesichts betrafen, übertraf ihr System bestehende Methoden. Die Ergebnisse zeigten, dass ihr Ansatz erfolgreich Fehler reduzierte, bei denen sich das Gesicht der Person veränderte oder wesentliche visuelle Elemente verschwanden. Der Erfolg des Teams wurde durch den Sieg ihres Systems namens MIPL_Video im ACM MM 2026 Identity-Preserving Video Generation Challenge im Bereich der Gesichtsidealität bestätigt.
Diese Arbeit zeigt, dass es selbst dann effektive Wege gibt, mächtige Werkzeuge zu besseren Ergebnissen zu führen, wenn diese für direkte Modifikationen geschlossen sind. Durch die Kombination eines Lernsystems, das die Anweisungen verbessert, mit einem visuellen Editor, der spezifische Fehler behebt, schufen die Forscher einen Workflow, der sowohl leichtgewichtig als auch hocheffektiv ist. Ihre Erkenntnisse legen nahe, dass die Zukunft der hochwertigen, identitätsbewahrenden Videogenerierung nicht unbedingt vom Bau größerer, komplexerer Modelle abhängen wird, sondern von der Entwicklung klügerer Wege, wie wir mit den Modellen interagieren, die wir bereits haben. Die Fähigkeit, die Ähnlichkeit einer Person beizubehalten, während man komplexen, dynamischen Geschichten folgt, eröffnet neue Möglichkeiten für das Storytelling und die Inhaltserstellung und beweist, dass sorgfältige Vorbereitung und gezielte Korrektur Ergebnisse erzielen können, die eine reine Generierung allein nicht erreichen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.