Technische Samenvatting: Aurora – Gecombineerde Videobewerking met een Agent die Hulpmiddelen Gebruikt

1. Probleemstelling

Recente geünificeerde videobewerkingsmodellen zijn samengekomen bij een ontwerp waarbij een enkele diffusion transformer gezamenlijk tekstinstructies, bronvideo's en referentieafbeeldingen (of maskers) verwerkt om diverse taken uit te voeren, zoals vervanging, verwijdering, stijltransfer en invoeging. Hoewel flexibel, gaat deze architectuur ervan uit dat gebruikers modelklare conditionering-inputs leveren: precieze tekst, specifieke referentieafbeeldingen voor visuele patronen en ruimtelijke maskers voor gelokaliseerde bewerkingen.

In de praktijk lijden ruwe gebruikersverzoeken vaak aan onvoldoende specificatie langs twee assen:

1. Visuele onvoldoende specificatie: De gebruiker noemt een specifiek entiteit of patroon (bijvoorbeeld "een Burberry-check sjaal" of "De Grote Golf van Kanagawa"), maar levert geen referentieafbeelding.
2. Tekstuele onvoldoende specificatie: De bewerking wordt indirect beschreven (bijvoorbeeld "verander het blauwe item in een voertuig dat veel sneller rijdt"), waardoor het model moet concluderen wat de concrete doelen zijn.

Huidige geünificeerde modellen missen het mechanisme om deze ontbrekende condities af te leiden, te verankeren of aan te vullen voordat de generatie begint. Dit creëert een kloof tussen de rijke conditioneringskanalen die beschikbaar zijn voor het model en de onvolledige informatie die door de gebruiker wordt verstrekt.

2. Methodologie: Het Aurora Framework

Aurora vult deze kloof door conditieconstructie te ontkoppelen van videogeneratie. Het introduceert een agentisch framework dat een door hulpmiddelen verrijkt Vision-Language Model (VLM) agent koppelt aan een geünificeerde video diffusion transformer (DiT).

2.1 De VLM Agent (Conditieconstructie)

De agent, geïmplementeerd als een LoRA-finegetuned Qwen3-VL-8B-Instruct, fungeert als een voorverwerker. Deze neemt een bronvideo ($V_{src}$), een ruwe gebruikersinstructie ($y$) en optionele gebruikersreferenties ($R$) om een gestructureerd bewerkingsplan te genereren:
$$(y', c, q, m) = \pi_\phi(V_{src}, y, R)$$
Waarbij:

• $y'$ (Herschreven Instructie): Een gestandaardiseerde, modelklare instructie die tekstuele onvoldoende specificatie oplost.
• $c$ (Taaklabel): Een canoniek bewerkings-type (bijvoorbeeld replace_object, remove_object) gebruikt voor routing.
• $q$ (Afbeeldingzoekopdracht): Een optionele zoekopdracht om een web-afbeeldingszoekhulpmiddel te activeren (via Serper API) als een referentieafbeelding ontbreekt.
• $m$ (Maskerzin): Een optionele zin om een segmentatiehulpmiddel te activeren (GroundingDINO + SAM) als ruimtelijke verankering ontbreekt.

Uitvoering van Hulpmiddelen:
Als $q$ of $m$ niet-leeg zijn, roept de agent externe hulpmiddelen aan:

• Afbeeldingzoekopdracht: Haalt kandidaat-afbeeldingen op en selecteert de meest relevante.
• Segmentatie: Genereert een masker voor het doelgebied en monteert dit op de bronvideo.

De uiteindelijke output is een geünificeerde conditioneringstuple $\mathbf{x} = (y', V_{src}, R^+)$, waarbij $R^+$ de originele gebruikersreferenties plus eventueel opgehaalde afbeeldingen of gemaskerde afbeeldingen omvat. Het taaklabel $c$ wordt gebruikt tijdens planning, maar wordt niet aan het videomodel doorgegeven.

2.2 De Video DiT (Videogeneratie)

De ruggengraat voor videogeneratie is een geünificeerde Diffusion Transformer (DiT) gebouwd op Wan2.2-TI2V-5B. Deze verwerkt de conditioneringstuple $\mathbf{x}$ via twee paden:

1. Multimodaal Contextpad: Een bevroren Qwen3.5-4B encoder verwerkt de herschreven instructie ($y'$), bemonsterde bronframes en referentieafbeeldingen ($R^+$) tot een gedeelde multimodale context ($T_{ctx}$) voor cross-attention.
2. Latente Tokenpad: Ruizige videotokens, brontokens en referentietokens worden samengevoegd langs de token-volgorde-dimensie.
   • Zero-tijdstap Modulatie: Om niet-bewerkte inhoud en referentie-identiteit te behouden, worden bron- en referentietokens gemoduleerd met een zero-tijdstap embedding ($a(0)$), terwijl ruizige tokens de standaard flow-matching-trajectorie volgen ($a(t)$). Dit zorgt ervoor dat conditioneringstokens vast blijven terwijl de video denoist.

2.3 Trainingsdoelen

• Video DiT: Getraind met flow matching op een mengsel van data voor afbeeldingsbewerking, instructiegebaseerde videobewerking en referentiegeleide videobewerking. Het leert om lege, door de gebruiker verstrekte en door hulpmiddelen opgehaalde referenties uniform te behandelen.
• VLM Agent:
  • Supervised Fine-Tuning (SFT): Getraind op 25.000 planningsvoorbeelden en 10.000 voorbeelden voor selectie van referentieafbeeldingen. Het doel is het volledige 4-velds plan, waarmee de agent leert instructies te herschrijven, taken te routeren en hulpmiddelen te selecteren.
  • Preference Alignment (DPO): Getraind op 1.800 preferentieparen om grensgevallen op te lossen (bijvoorbeeld valse afbeeldingzoekopdracht-activering, ambigu maskerzinnen, herschrijvingen die beperkingen verliezen). Dit scherpt de beslissingsgrenzen zonder videobemonsteringsvariatie te mengen in het leerdoel.

3. Belangrijkste Bijdragen

1. Aurora Framework: Een agentisch videobewerkingssysteem dat ruwe, onvoldoende gespecificeerde verzoeken afbeeldt op complete, modelklare conditioneringstuples met behulp van een door hulpmiddelen verrijkte VLM-agent.
2. AgentEdit-Bench: Een nieuwe benchmark specifiek ontworpen om videobewerking te evalueren onder tekstuele en visuele onvoldoende specificatie. Deze bevat 150 gevallen over vijf taaktypes (IP-vervanging, IP-toevoeging, IP-achtergrondverandering, redenering en verwijdering) waarbij het ruwe verzoek noodzakelijke condities weglaat.
3. Trainingsdata & Alignering: Een dataset-construktiepijplijn voor VLM-agentplanning en referentiekeuze, gecombineerd met DPO-gebaseerde preferentie-alignment om randgevallen in hulpmiddel-activering en instructieherschrijving aan te pakken.
4. Modeloverdraagbaarheid: Demonstratie dat de Aurora VLM-agent kan worden gekoppeld aan bevroren, bestaande geünificeerde videobewerkingsmodellen (bijvoorbeeld UniVideo, Kiwi-Edit) om hun prestaties op onvoldoende gespecificeerde verzoeken te verbeteren.

4. Experimentele Resultaten

• Prestaties op AgentEdit-Bench:
  • De Aurora video DiT alleen (zonder de agent) scoort 74,7, wat beter is dan UniVideo (67,0) en Kiwi-Edit (69,7) op ruwe prompts.
  • Het toevoegen van de VLM-agent verhoogt de score naar 87,9. De winst is het grootst bij IP-taken (vervanging en toevoeging), waarbij de agent succesvol ontbrekende referentieafbeeldingen ophaalt.
  • Ablatiestudies tonen aan dat SFT de meerderheid van de winst bijdraagt (85,0), terwijl DPO verdere verfijning toevoegt (87,9) door grensfouten te corrigeren.
• Prestaties op Bestaande Benchmarks (EditVerse-Bench, OpenVE-Bench):
  • Op benchmarks met goed gespecificeerde input bereikt Aurora state-of-the-art resultaten onder open-source methoden (7,61 op EditVerse-Bench, 3,38 op OpenVE-Bench), waarmee het grootste deel van de kloof met de gesloten bron Runway Alepe-baseline wordt gedicht.
  • Zelfs wanneer hulpmiddelen zijn uitgeschakeld (alleen instructieherschrijving vindt plaats), verbetert de agent de prestaties, wat de waarde van instructieverfijning aangeeft.
• Overdraagbaarheid:
  • Wanneer de Aurora VLM-agent wordt gekoppeld aan bevroren versies van UniVideo en Kiwi-Edit, verbetert deze consequent hun scores op zowel AgentEdit-Bench als bestaande benchmarks, wat bewijst dat de nuttigheid van de agent model-agnostisch is.

5. Betekenis en Beperkingen

Betekenis:
Het artikel betoogt dat vooruitgang in videobewerking niet alleen afhangt van sterkere video DiT's, maar ook van de betrouwbare vertaling van ruwe gebruikersverzoeken naar modelklare condities. Aurora demonstreert dat een agentische laag effectief onvoldoende specificatie kan oplossen, waardoor geünificeerde modellen real-world, onvolledige gebruikersinput kunnen verwerken zonder dat het videomodel zelf voor elk nieuw hulpmiddel of elke nieuwe conditie opnieuw getraind hoeft te worden.

Beperkingen:

• Trainingsparadigma: De VLM-agent wordt gealigneerd via offline DPO. De auteurs merken op dat online RL (bijvoorbeeld GRPO) over de volledige pijplijn, waarbij de uiteindelijk bewerkte clip als beloningssignaal wordt gebruikt, momenteel onpraktisch is vanwege rekenkrachtbeperkingen.
• Bewegingscomplexiteit: De 5B video DiT verwijdert, styliseert en voegt objecten met beperkte beweging betrouwbaar toe. Het toevoegen van nieuwe onderwerpen met grote, fysiek plausibele beweging blijft echter moeilijk, wat wordt toegeschreven aan zowel de capaciteit van de ruggengraat als het gebrek aan dergelijke gevallen in de trainingsdata.

Breder Impact:
De auteurs erkennen risico's met betrekking tot niet-toestemmende identiteitsmanipulatie en auteursrechtkwesties die voortvloeien uit het web-afbeeldingzoekhulpmiddel, en positioneren Aurora als een creatief hulpmiddel in plaats van een instrument voor het produceren van bewijs.