Stellen Sie sich vor, Sie sind ein Regisseur, der versucht, eine Filmszene zu drehen, aber anstatt eines einzelnen Skripts haben Sie einen chaotischen Haufen Fotos und einen Videoclip und müssen Ihren Schauspielern genau sagen, was sie tun sollen. Dies ist die Welt der KI-Videobearbeitung, einem Feld, in dem Computer lernen, Videos basierend auf dem zu verändern, was wir ihnen sagen. Lange Zeit waren diese Computer wie enthusiastische, aber verwirrte Praktikanten: Wenn man sie bat, „den Himmel so aussehen zu lassen wie dieses Foto und den Charakter wie jenes“, vertauschten sie oft den Himmel mit dem Charakter oder vermischten die beiden Bilder zu einem seltsamen Durcheinander. Das Kernproblem war nicht, dass die Computer die Bilder nicht sehen konnten; es war, dass sie die Anweisungen nicht klar genug verstehen konnten, um zu wissen, welcher Teil des Videos basierend auf welchem spezifischen Foto geändert werden sollte.

Dieses Paper, ReBind, geht dieser Verwirrung entgegen, indem es erkennt, dass das Geheimnis nicht nur in einem intelligenteren Videogenerator liegt, sondern in einem intelligenteren „Übersetzer“. Die Autoren schlagen vor, dass die alte Art der Anweisungsgebung – vage Sätze wie „Ersetze den Typ durch die Person in Foto 2“ – für einen Computer, wenn mehrere Fotos im Spiel sind, zu unscharf ist. Stattdessen schlagen sie eine neue Art des Sprechens mit der KI vor, die wie ein strenger Inspizient fungiert, der explizit auf jedes einzelne Foto zeigt und sagt: „Dieser Teil des Videos stammt aus diesem spezifischen Bild, und jener Teil kommt von jenem anderen.“ Indem sie zuerst die Anweisungen korrigieren, funktioniert die Magie der Videobearbeitung tatsächlich.

Das Problem: Die Verwirrung durch „zu viele Fotos“

Stellen Sie sich vor, Sie versuchen, ein Video zu bearbeiten, indem Sie einem Rezept folgen, bei dem Sie Zutaten aus drei verschiedenen Kochbüchern gleichzeitig mischen müssen. Wenn das Rezept nur sagt: „Füge etwas Gewürz aus Buch A und ein Gemüse aus Buch B hinzu“, mag ein menschlicher Koch raten können, aber ein Computer gerät oft in Panik. Er greift vielleicht das falsche Gewürz oder mischt das Gemüse mit dem falschen Gericht.

Die Autoren fanden heraus, dass bestehende KI-Modelle Schwierigkeiten mit der Multi-Referenz-Videobearbeitung hatten. Dies ist der Fall, wenn Sie ein Video (wie einen Mann, der eine Straße entlangläuft) nehmen und es mithilfe von Details aus mehreren Referenzbildern verändern wollen (vielleicht möchten Sie, dass die Straße wie eine Cyberpunk-Stadt aus Bild 1 aussieht, aber der Mann wie ein Roboter aus Bild 2).

Die alten Methoden scheiterten, weil die von ihnen verwendeten Anweisungen zu vage waren. Sie verließen sich darauf, dass die KI selbst „herausfindet“, welches Foto zu welchem Teil des Videos passt. Das Paper argumentt, dass allgemeine KI-Modelle (die Modelle, mit denen wir chatten und die unsere Fragen beantworten) für diese spezifische Aufgabe schlecht geeignet sind. Sie werden verwirrt darüber, welches visuelle Detail zu welchem Quellbild gehört, was zu Ergebnissen führt, bei denen der Roboter plötzlich die Beleuchtung der Cyberpunk-Straße übernimmt oder der Hintergrund sich ändert, obwohl er es nicht sollte. Die Autoren bezeichnen dies als eine „kritische Schwäche“: Den Anweisungen fehlt die explizite Referenzbeziehung.

Die Lösung: ReBind und die „magischen Tags“

Um dies zu beheben, entwickelte das Team ein neues System namens ReBind. Stellen Sie sich vor, Sie schreiben eine Geschichte, aber anstatt nur „das rote Auto“ zu sagen, müssen Sie ein buchstäbliches, unzerbrechliches Etikett an das Wort „rot“ heften, das besagt: „Dieses rote Auto kommt aus Foto 1.“

ReBind führt eine neue Art von Anweisung ein, die dichte Anweisungen mit expliziten Referenz-Tokens nennt:

• Der alte Weg: „Ersetze den jungen Mann durch den älteren Mann aus dem zweiten Bild.“ (Die KI muss erraten, welches Bild welches ist und wo die Änderung stattfindet).
• Der ReBind-Weg: „In dem Video wird der junge Mann aus <Video_1> durch einen älteren Mann ersetzt, dessen Gesicht <Image_2> entspricht und der einen Pullover von <Image_1> trägt.“

Indurch das Einbetten dieser speziellen „Tags“ (wie <Image_1>) direkt neben die Beschreibung in den Satz weiß die KI genau, wo sie suchen muss. Es ist, als würde man dem Computer eine Karte mit einem X an der Stelle geben, anstatt nur eine verbale Beschreibung der Nachbarschaft.

Wie sie die KI trainierten: Das zweistufige Training

Das Paper erklärt, dass man einer Standard-KI diese speziellen Anweisungen nicht einfach nur geben kann und erwarten darf, dass sie funktionieren; sie muss speziell darauf trainiert werden, sie zu schreiben. Die Autoren entwickelten einen zweistufigen Trainingsprozess für ihre neue KI, ReBind-Instruct:

1. Stufe 1: Das Format lernen (Supervised Fine-Tuning).
   Zuerst brachten sie der KI bei, diese strukturierten Sätze zu schreiben. Sie zeigten ihr tausende Beispiele von Videos und deren „Vorher-Nachher“-Versionen zusammen mit den korrekten „getaggten“ Anweisungen. Die KI lernte, auf die Änderungen zu schauen und zu sagen: „Ah, dieser Teil hat sich wegen Bild 1 geändert, und dieser Teil blieb gleich wie im Originalvideo.“ Sie lernte, die <Image_1>-Tags an den richtigen Stellen zu platzieren.

2. Stufe 2: Präzision lernen (Reinforcement Learning).
   Nur das Format zu kennen, reicht nicht aus; die KI muss präzise sein. Wenn sie sagt „der Hut ist von Bild 1“, der Hut aber eigentlich von Bild 2 ist, versagt sie. Um dies zu beheben, setzte das Team eine Technik namens Group Relative Policy Optimization (GRPO) ein.

• Betrachten Sie dies als ein Spiel, bei dem die KI einige verschiedene Versionen der Anweisung schreibt.
• Ein „Richter“ (eine andere KI) prüft diese gegen eine Checkliste. Hat sie alles erwähnt, was sich geändert hat? Hat sie den Hut korrekt mit dem richtigen Foto verknüpft? Hat sie vermieden, Dinge zu erfinden, die nicht da waren (Halluzinationen)?
• Die KI erhält eine „Belohnung“, wenn sie die Verknüpfungen richtig macht, und eine „Strafe“, wenn sie sie vermischt. Mit der Zeit lernt sie, die korrekten Foto-Tags immer an die korrekten Details zu heften.

Das Ergebnis: Ein smarterer Editor

Sobdem die KI (ReBind-Instruct) zum Experten darin geworden war, diese perfekten, getaggten Anweisungen zu schreiben, nutzten sie, um einen Videoeditor namens ReBind-Edit zu trainieren. Dieser Editor nimmt die getaggten Anweisungen und nutzt sie, um ein Videogenerationsmodell (basierend auf einem System namens LTX-2.3) zu steuern.

Die Ergebnisse waren beeindruckend. In Tests auf Benchmarks wie UniVBench und IntelligentVBench:

• Anweisungsqualität: ReBind-Instruct war wesentlich besser darin, klare, genaue Anweisungen zu schreiben, als Standard-Allgemein-KI-Modelle. Sie übertraf sogar einige der leistungsfähigsten „Closed-Source“-Modelle (die, deren Code man nicht sehen kann) darin, visuelle Details korrekt mit ihren Quellbildern zu verknüpügen.
• Videoqualität: Die von ReBind-Edit produzierten Videos waren signifikant besser als die anderer Open-Source-Methoden. In Tests, bei denen die KI das Gesicht eines Charakters mithilfe eines Fotos austauschen und gleichzeitig den Hintergrund mithilfe eines anderen ändern musste, gelang es ReBind-Edit, die Details sauber zu trennen, während andere Modelle diese oft vermischten oder die ursprüngliche Bewegung des Videos nicht beibehielten.

Die Autoren fanden heraus, dass die Qualität der Anweisung direkt die Qualität des Videos bestimmte. Als sie den Videoeditor mit den neuen „dichten“ Anweisungen mit den Tags trainierten, waren die Ergebnisse viel besser als bei der Verwendung der alten, vagen Anweisungen. Dies deutet darauf, dass der Engpass in der Videobearbeitung nicht unbedingt der Videogenerator selbst ist, sondern die Qualität der Anweisungen, die wir ihm geben.

Warum das wichtig ist

Das Paper schließt mit dem Schluss, dass für die KI, um komplexes Video-Editing wirklich zu meistern – etwa wenn man Elemente aus fünf verschiedenen Fotos in einer Szene kombinieren möchte –, wir aufhören müssen, Anweisungen als einfache Sätze zu behandeln, und anfangen müssen, sie als strukturierte Karten zu betrachten. Indem wir die KI dazu zwingen, explizit zu sagen: „Dieser Pixel kommt von jenem Foto“, eliminieren wir die Verwirrung.

Die Autoren behaupten nicht, jedes Problem der Videogenerierung gelöst zu haben, aber sie haben gezeigt, dass explizite Referenz-Verankerung (explicit reference grounding) der fehlende Schlüssel ist. Ihre Methode, ReBind, beweist, dass mit dem richtigen „Übersetzer“ zum Schreiben der Anweisungen selbst Open-Source-Modelle mit den besten Closed-Source-Systemen konkurrieren können, um Videos zu erstellen, die nicht nur visuell cool sind, sondern tatsächlich der spezifischen Multi-Foto-Vision des Regisseurs folgen.