Stel je voor dat je een regisseur bent die een filmscène probeet te filmen, maar in plaats van één enkel script, heb je een chaotische stapel foto's en een videoclip, en je moet je acteurs precies vertellen wat ze moeten doen. Dit is de wereld van AI-videobewerking, een veld waar computers leren om video's te veranderen op basis van wat we hen vertellen. Voor een lange tijd waren deze computers als enthousiaste maar verwarde stagiairs: als je hen vroeg om "de lucht eruit te laten zien als deze foto en het personage als die andere", raakten ze vaak in de war, waarbij ze de lucht verwisselden met het personage of de twee afbeeldingen mengden tot een vreemde bende. Het kernprobleem was niet dat de computers de afbeeldingen niet konden zien; het was dat ze de instructies niet duidelijk genoeg konden begrijpen om te weten welk deel van de video gebaseerd moest zijn op welke specifieke foto.

Dit artikel, ReBind, pakt die verwarring aan door te beseffen dat het geheim niet alleen een slimmere videogenerator is, maar een slimmere "vertaler". De auteurs stellen dat de oude manier van instructies geven—vage zinnen zoals "vervang de man door de persoon in foto 2"—te vaag is voor een computer om te verwerken wanneer er meerdere foto's bij betrokken zijn. In plaats daarvan stellen ze een nieuwe manier van communiceren met de AI voor, die werkt als een strikte regieassistent, die expliciet naar elke foto wijst en zegt: "Dit deel van de video komt van deze specifieke afbeelding, en dat deel komt van die andere." Door eerst de instructies te fixen, werkt de video-bewerkingsmagie daadwerkelijk.

Het Probleem: De Verwarring door "Te Veel Foto's"

Denk aan het bewerken van een video alsof je een recept volgt waarbij je ingrediënten uit drie verschillende kookboeken tegelijk moet mengen. Als het recept alleen zegt: "Voeg wat kruiden toe uit boek A en een groente uit boek B," kan een menselijke chef misschien gokken, maar een computer raakt vaak in paniek. Het kan de verkeerde kruiden pakken of de groente met het verkeerde gerecht mengen.

De auteurs ontdekten dat bestaande AI-modellen worstelden met Multi-Reference Video Editing. Dit is wanneer je een video wilt aanpassen (zoals een man die over een straat loopt) en details wilt veranderen met behulp van meerdere referentieafbeeldingen (misschien wil je dat de straat eruitziet als een cyberpunkstad uit Afbeelding 1, maar de man eruitziet als een robot uit Afbeelding 2).

De oude methoden faalden omdat de instructies die ze gebruikten te vaag waren. Ze vertrouwden erop dat de AI zelf zou "uitzoeken" welke foto bij welk deel van de video hoorde. Het artikel stelt dat algemene AI-modellen (de modellen waarmee we chatten en die vragen beantwoorden) verschrikkelijk zijn in deze specifieke taak. Ze raken in de war over welk visueel detail bij welke bronafbeelding hoort, wat leidt tot resultaten waarbij de robot de verlichting van de cyberpunkstraat krijgt, of de achtergrond verandert terwijl dat niet zou moeten. De auteurs noemen dit een "kritiek tekortkoming": de instructies missen expliciete referentierelaties.

De Oplossing: ReBind en de "Magische Tags"

Om dit op te lossen, bouwde het team een nieuw systeem genaamd ReBind. Stel je voor dat je een verhaal schrijft, maar in plaats van alleen "de rode auto" te zeggen, moet je een letterlijk, onbreekbaar label aan het woord "rood" hangen dat zegt: "Deze rode auto komt uit Foto 1."

ReBind introduceert een nieuw type instructie genaamd Dense Instructions with Explicit Reference Tokens.

• De Oude Manier: "Vervang de jonge man door de oudere man uit de tweede afbeelding." (De AI moet raden welke afbeelding welke is en waar de verandering plaatsvindt).
• De ReBind-Manier: "In de video wordt de jonge man uit <Video_1> vervangen door een oudere man wiens gezicht overeenkomt met <Image_2> en die een trui draagt van <Image_1>."

Door deze speciale "tags" (zoals <Image_1>) direct in de zin naast de beschrijving te plaatsen, weet de AI precies waar hij moet kijken. Het is alsof je de computer een kaart geeft met kruisen op de juiste plek, in plaats van alleen een mondelinge beschrijving van de buurt.

Hoe ze de AI hebben geleerd: De Tweestaps-training

Het artikel legt uit dat je deze speciale instructies niet zomaan aan een standaard AI kunt geven en verwachten dat het werkt; de AI moet specifiek getraind worden om ze te schrijven. De auteurs creëerden een tweetraps trainingsproces voor hun nieuwe AI, ReBind-Instruct:

1. Fase 1: Het Formaat Leren (Supervised Fine-Tuning).
   Eerst leerden ze de AI om deze gestructureerde zinnen te schrijven. Ze lieten de AI duizenden voorbeelden zien van video's en hun "voor en na" versies, samen met de correcte "getagde" instructies. De AI leerde naar de veranderingen te kijken en te zeggen: "Ah, dit deel veranderde door Afbeelding of de originele video bleef hetzelfde." De AI leerde om de <Image_1> tags op de juiste plekken te plaatsen.

2. Fase 2: Leren om Accuraat te Zijn (Reinforcement Learning).
   Alleen het kennen van het format is niet genoeg; de AI moet precies zijn. Als de AI zegt "de hoed is van Afbeelding 1" maar de hoed is eigenlijk van Afbeelding 2, dan faalt het. Om dit op te lossen, gebruikte het team een techniek genaamd Group Relative Policy Optimization (GRPO).

• Denk aan een spel waarbij de AI een paar verschillende versies van de instructie schrijft.
• Een "rechter" (een andere AI) controleert deze tegen een checklist. Heeft het alles vermeld wat veranderd is? Heeft het de hoed correct gekoppeld aan de juiste foto? Heeft het voorkomen dat er dingen worden verzonnen die er niet zijn (hallucinaties)?
• De AI krijgt een "beloning" voor het correct leggen van de links en een "straf" voor het mengen van de details. Na verloop van tijd leert de AI om altijd de juiste fototags aan de juiste details te koppelen.

Het Resultaat: Een Slimmere Editor

Zodra de AI (ReBind-Instruct) een expert was geworden in het schrijven van deze perfecte, getagde instructies, gebruikten ze deze om een video-editor genaamd ReBind-Edit te trainen. Deze editor neemt de getagde instructies en gebruikt deze om een videogeneratiemodel te sturen (gebaseerd op een systeem genaamd LTX-2.3).

De resultaten waren indrukwekkend. Bij tests op benchmarks zoals UniVBench en IntelligentVBench:

• Instructiekwaliteit: ReBind-Instruct was veel beter in het schrijven van heldere, nauwkeurige instructies dan standaard, algemene AI-modellen. Het presteerde zelfs beter dan sommige krachtige "closed-source" modellen (waarvan de code niet zichtbaar is) in het correct koppelen van visuele details aan hun bronafbeeldingen.
• Videokwaliteit: De video's geproduceerd door ReBind-Edit waren aanzienlijk beter dan andere open-source methoden. In tests waarbij de AI het gezicht van een personage moest vervangen met één foto en de achtergrond met een andere, slaagde ReBind-Edit erin de details uit elkaar te houden, terwijl andere modellen de boel vaak door elkaar haalden of de oorspronkelijke beweging van de video niet behielden.

De auteurs ontdekten dat de kwaliteit van de instructie direct de kwaliteit van de video bepaalde. Wanneer ze de video-editor trainden met de nieuwe "dense" instructies met tags, waren de resultaten veel beter dan wanneer ze de oude, vage instructies gebruikten. Dit suggereert dat de flessenhals in video-bewerking niet noodzakelijkerwijs de videogenerator zelf is, maar de kwaliteit van de instructies die we eraan geven.

Waarom dit ertoe doet

Het artikel concludeert dat voor AI om echt complexe video-bewerking te beheersen—waarbij je bijvoorbeeld elementen van vijf verschillende foto's in één scène wilt combineren—we moeten stoppen met instructies te behandelen als simpele zinnen en ze moeten gaan behandelen als gestructureerde kaarten. Door de AI te dwingen expliciet te stellen: "Dit pixel komt van die foto," elimineren we de verwarring.

De auteurs beweren niet dat ze elk probleem in videogeneratie hebben opgelost, maar ze hebben aangetoond dat expliciete referentie-gronding de ontbrekende sleutel is. Hun methode, ReBind, bewijst dat met de juiste "vertaler" om de instructies te schrijven, zelfs open-source modellen kunnen concurreren met de beste closed-source systemen, waardoor video's ontstaan die niet alleen visueel spectaculair zijn, maar ook daadwerkelijk de specifieke, met meerdere foto's gebaseerde visie van de regisseur volgen.