🤖 AI

OmniDirector: General Multi-Shot Camera Cloning without Cross-Paired Data

Het artikel introduceert OmniDirector, een verenigd framework dat algemene multi-shot camera-cloning voor videogeneratie mogelijk maakt zonder de noodzaak van cross-gepaarde data door gebruik te maken van een nieuwe rastergebaseerde camerarepresentatie en een hiërarchische prompt-expansieagent om personages, acties en complexe cameratrajecten te coördineren.

Oorspronkelijke auteurs: Jiwen Liu, Shujuan Li, Zhixue Fang, Xiaohan Li, Yan Zhou, Zijie Meng, Zhimin Zhang, Yawen Luo, Guoxin Zhang, Yu-Shen Liu, Pengfei Wan

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiwen Liu, Shujuan Li, Zhixue Fang, Xiaohan Li, Yan Zhou, Zijie Meng, Zhimin Zhang, Yawen Luo, Guoxin Zhang, Yu-Shen Liu, Pengfei Wan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een filmregisseur bent. Je hebt een perfecte scène in je hoofd, maar je hebt slechts één stilstaande foto om mee te beginnen. Je wilt een verhaal vertellen, maar de camera moet bewegen: inzoomen op het gezicht van een personage, over een landschap pannen, of schakelen tussen verschillende hoeken.

Normaal gesproken is het vragen aan een computer om dit te doen alsof je probeert een dans uit te leggen aan iemand die nog nooit een dans heeft gezien door alleen maar wiskundige vergelijkingen te gebruiken. Het is ofwel te vaag (gewoon zeggen "beweeg de camera") of te ingewikkeld (exacte 3D-coördinaten geven die niemand kan visualiseren).

OmniDirector is een nieuwe tool die dit oplost door je toe te staan de camerabewegingen van elke video die je wilt naar je eigen afbeelding te "kopiëren en plakken". Dit is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. De "Ghost Room" Truc (Het Cameragrogrid)

Het grootste probleem met het kopiëren van camerabewegingen is dat computers in de war raken als de nieuwe scène er anders uitziet dan de oude. Als de referentievideo een klein speelgoedautootje is en jouw afbeelding een echte berg, kan een directe kopie ervoor zorgen dat de berg eruitziet als een speeltje.

Om dit op te lossen, gebruikt OmniDirector een slimme truc genaamd het Camera Grid.

De Analogie: Stel je voor dat je iemand wilt leren hoe hij een specifieke route rijdt. In plaats van ze een video te laten zien van een Ferrari die door Parijs rijdt (wat hen in de war kan brengen als ze met een vrachtwagen in New York rijden), laat je ze een video zien van een ** spookachtige, lege kamer** met alleen rasterlijnen op de vloer en de wanden.
Hoe het werkt: Het systeem neemt de camerabewegingen van je referentievideo en tekent ze als een bewegend rooster in een lege 3D-ruimte. Dit rooster toont alleen het pad en de hoek van de camera, waardoor auto's, mensen en decors worden weggestreept.
Het Resultaat: Omdat de "kamer" leeg is, leert de computer de beweging perfect zonder afgeleid te worden door de inhoud. Het kan die exacte beweging vervolgens toepassen op jouw berg, jouw speelgoedauto of alles wat er is, ongeacht grootte of vorm.

2. De "Regie-assistent" (De Prompt Agent)

Zodra de computer weet hoe de camera beweegt, moet hij weten wat hij moet tonen. Je hebt misschien een referentievideo, een beginfoto en een tekstuele beschrijving (bijv. "een kat die op een hek zit").

Het Probleem: Als je al deze instructies zomaar bij de computer gooit, kan hij in de war raken. Hij zou per ongeluk de kat uit de referentievideo kunnen kopiëren in plaats van jouw foto, of hij kan de camerabewegingen door elkaar halen met het verhaal.
De Oplossing: OmniDirector gebruikt een slimme "Assistent" (een Hierarchical Prompt Expansion Agent).
- De Analogie: Denk aan deze assistent als een vertaler die zowel "Camerataal" als "Veralingtaal" spreekt. Hij kijkt naar de referentievideo en schrijft een specifiek script: "Eerst trekt de camera terug (Shot 1). Daarna schakelt de camera naar links (Shot 2)."
- Het scheidt zorgvuldig de camerabewegingen van de verhaaldetails. Het zorgt ervoor dat de computer weet: "Gebruik de beweging van de referentievideo, maar gebruik de kat van jouw foto." Dit voorkomt dat de computer per ongels de verkeerde objecten van de referentievideo steelt.

3. De "Alles-in-één-winkel" (Multi-Shot Cloning)

De meeste eerdere tools konden alleen één continue camerabeweging aan. Als je een video met drie verschillende shots wilde (zoals een filmscène), zouden ze falen of rommelig worden.

OmniDirector is bijzonder omdat het Multi-Shot video's aankan. Het begrijpt dat een film niet slechts één lange opname is, maar een reeks snedes. Het kan een referentievideo met meerdere snedes bekijken en exact die sequentie van shots repliceren op jouw afbeelding, waarbij het de logica van het verhaal en de vloeiende overgangen behoudt.

4. Waarom het beter is dan voorheen

Geen "Valsspelen": Oude methoden probeerden vaak te leren door te kijken naar paren video's die identiek waren, behalve voor de camerabeweging. Maar die video's zijn moeilijk te vinden. OmniDirector heeft die niet nodig. Het bouwt zijn eigen "trainingsdata" door miljo's willekeurige internetvideo's om te zetten in die "Ghost Room" roosters.
Geen "Lekkage": Omdat het gebruik maakt van het lege rooster en de slimme assistent, kopieert het niet per ongeluk de verkeerde mensen of objecten uit de referentievideo. Het houdt jouw afbeelding schoon en kopieert alleen de beweging.
Het werkt gewoon: De paper laat zien dat zelfs als je een rauwe video of een simpele lijntekening (zoals een Canny edge map) in plaats van het perfecte rooster invoert, het systeem slim genoeg is om de camerabewegingen alsnog te achterhalen. Het is als een muzikant die een liedje perfect kan spelen, zelfs als je de melodie neuriet in plaats van de bladmuziek te spelen.

Samenvatting

OmnerDirector is als een magische cameraman. Je geeft het een stilstaande foto en een referentievideo. Het stript de referentievideo tot op zijn "skelet" (de beweging van het lege rooster), gebruikt een slimme assistent om een duidelijk script te schrijven, en animeert vervolgens jouw foto om exact zoals de referentievideo te bewegen — of het nu gaat om een enkele zoom of een complexe filmscène met meerdere snedes. Dit doet het zonder speciale data nodig te hebben of in de war te raken door de verschillen in de scènes.

Technische Samenvatting: OmniDirector

Probleemstelling

Camerabeweging is een cruciaal element in videogeneratie, dat de sfeer, emotie en narratieve diepgang vormgeeft. Bestaande methoden voor cameracontrole kampen echter met aanzienlijke beperkingen:

Tekstuele beschrijvingen: Hoewel toegankelijk, slagen ze er niet in om genuanceerde cinematografische attributen nauwkeurig te definiëren.
Expliciete parametrische representaties: Methoden die gebruikmaken van matrices of Plücker-coördinaten bieden precisie, maar leggen een hoge drempel op voor de gebruiker en hebben moeite met multi-shot generatie en shot-transities.
Video-referentie benaderingen:
- Expliciete parameterextractie: Lijdt onder schaalambiguïteit bij het overdragen van cameratrajecten van referentie-omgevingen naar gegenereerde scènes met verschillende ruimtelijke schalen.
- Impliciet/End-to-End leren: Vertrouwt op cross-paired data (video's met identieke camerabeweging maar verschillende inhoud). Dergelijke data is schaars in de echte wereld. Hoewel synthetische data dit kan verlichten, missen ze vaak de narratieve complexiteit van echte beelden, wat leidt tot matige prestaties bij het afhandelen van shot cuts en complexe transities. Bovendien lijden bestaande methoden vaak aan "informatielekkage", waarbij het model onbedoeld de verschijning of karakterbeweging van de referentievideo kopieert in plaats van alleen de cameratraject.

Er is een gebrek aan een algemeen framework dat in staat is om complexe, multi-shot camerabewegingen te klonen van referentievideo's zonder dat cross-paired trainingsdata vereist is of last heeft van inhoudelijke lekkage.

Methodologie

De auteurs stellen OmniDirector voor, een verenigd framework ontworpen voor Multi-Modal Diffusion Transformers (MMDiTs) om algemene multi-shot cameraclone te bereiken. De methodologie bestaat uit drie kerncomponenten:

1. Camera Grid Representatie

Om camerabeweging los te koppelen van de scène-inhoud en schaalbare training mogelijk te maken, introduceren de auteurs de Camera Grid.

Concept: In plaats van ruwe video of expliciete parameters te gebruiken, wordt camerabeweging gerenderd als een video van een lege 3D-scène die een ruimtelijk rooster bevat.
Constructie:
- Cameraposities ( $R_i, t_i$ ) worden geëxtraheerd uit referentievideo's.
- Een lege 3D-scène wordt gemodelleerd met orthogonale roosterlijnen die de vloer, het plafond en een "tunnelwand" rond de cameratraject visualiseren om relatieve beweging weer te geven.
- Speciale effecten zoals fisheye-distortie en dolly zoom (Hitchcock zoom) worden ondersteund door het renderingschema aan te passen (bijv. door het gebruik van het Kannala–Brandt model voor distortie).
Voordelen:
- Generaliteit: Verenig de single en multi-shot cloning.
- Ontkoppeling: De lege scène voorkomt interferentie van verschijning of karakterbeweging.
- Schaalbaarheid: Elke video kan worden omgezet in een camera grid, waardoor de constructie van miljoenen-schaal trainingsdatasets mogelijk is zonder de noodzaak van handmatig gecureerde cross-paired data.

2. OmniDirector Architectuur & Training

Architectuur: Gebouwd op een Multi-Modal Diffusion Transformer (MMDiT).
Input Injectie: De camera grid ( $G$ ), referentie-afbeelding ( $I$ ) en de ruisige video latent ( $Z_v$ ) worden gecodeerd via een 3D VAE en geconcateneerd langs de frame-dimensie om een verenigde spatiotemporele representatie ( $z_{vis}$ ) te vormen. Tekstcondities worden apart verwerkt en interageren met visuele tokens via joint attention.
Trainingsstrategie:
- Dataset: Getraind op 1,8 miljoen internet-schaal video-paren (referentievideo + gegenereerde camera grid).
- Self-Reconstruction Objectief: 30% van de trainingssamples gebruikt de camera grid zelf als de doelvideo. Dit dwingt het model om de geometrische structuur en temporele dynamiek van het rooster te leren in plaats van het als een zwakke hint te behandelen, wat overfitting op spurieuze correlaties voorkomt.

3. Hiërarchische Prompt Expansion (PE) Agent

Om cameracontrole harmonieus te integreren met andere signalen (gebruikersprompts, referentiebeelden) tijdens inferentie, wordt een nieuwe PE Agent ingezet:

Camera Prompt Generatie: Een MLLM (Qwen3-VL) genereert een cameraprompt ( $T_c$ $T_{c}$ ) die is gedecomposed in:
- Inter-shot: Analyseert relaties tussen opeenvolgende shots om semantische coherentie over transities heen te waarborgen.
- Intra-shot: Beschrijft camerabeweging binnen individuele shots op basis van pose-estimatie en visuele correctie.
Semantische Fusie: De agent fuseert de cameraprompt, de referentie-afbeelding en de gebruikersprompt tot één samenhangende tekstconditie, wat conflicten en achtergrondlekkage voorkপ্ত.
Adaptieve Classifier-Free Guidance (CFG): Er wordt een coarse-to-fine denoising strategie gebruikt. Camera grid features worden geïnjecteerd tijdens de high-noise regime om een globale ruimtelijke structuur vast te stellen, terwijl andere signalen worden geïntroduceerd in het low-noise regime om lokale details te verfijnen.

Belangrijkste Bijdragen

OmniDirector Framework: Een verenigd video-generatieframework dat algemene multi-shot cameraclone bereikt zonder cross-paired data, en regie-niveau controle biedt voor MMDiTs.
Camera Grid: Een nieuwe, algemene visuele representatie voor camerabeweging die het traject ontkoppelt van de inhoud, wat de constructie van miljoenen-schaal trainingsdatasets mogelijk maakt.
Hiërarchische Prompt Expansion Agent: Een mechanisme dat camerabeweging systematisch integreert met multimodale signalen, wat semantische coherentie in multi-shot scenario's waarborgt en informatielekkage minimaliseert.

Experimentele Resultaten

Het framework is geëvalueerd op een diverse set van 1.094 samples, variërend van single/multi-shot video's, diverse resoluties en complexe effecten.

Kwantitatieve Prestaties: OmniDirector presteert beter dan state-of-the-art baselines (CamCloneMaster, Seedance2.0, LTX-LoRA) op alle metrieken.
- Camera Nauwkeurigheid: Behaalde een Relative Translation Error (RTE) van 16,84° en een Translation Precision (T-Pre) van 72,74%, wat een relatieve verbetering van 39,3% in translatieprecisie betekent ten opzichte van de op één na beste methode.
- Transitie Nauwkeurigheid: Behaalde 96,52% Temporal Precision (Tem-Pre) en 83,79% Semantic Precision (Sem-Pre) voor shot-transities.
- Lekkage Rate: Toonde de laagste lekkage rate (0,51% frame, 3,38% shot), wat aanzienlijk beter is dan de baselines die worstelen met inhoudelijke lekkage.
Kwalitatieve Prestaties: Het model cloneert getrouw complexe trajecten (inclusief dolly zooms en arc shots) en behoudt semantische coherentie in multi-shot sequenties, terwijl baselines vaak falen bij transities of bewegingsartefacten vertonen.
Emergent Capabilities: Het model vertoont zero-shot generalisatie; het voert camerabewegingen succesvol uit wanneer het geconditioneerd is op ruwe RGB-video's of Canny edge-sequenties zonder hertraining, wat suggereert dat de camera grid effectief een begrip van ruimtelijke dynamiek ontsluit.

Betekenis

Het artikel stelt dat OmniDirector de fundamentele trade-off tussen precisie en toegankelijkheid in cameracontrole aanpakt. Door de introductie van de camera grid omzeilen de auteurs de schaarste aan data van cross-paired datasets en de schaalambiguïteit van expliciete parameterextractie. Het framework maakt de generatie van hoogwaardige, multi-shot video's mogelijk met regie-niveau controle, waarmee de kloof tussen intuïtieve referentie-gebaseerde controle en de rigoureuze eisen van professionele cinematografie wordt overbrugd. Het werk vestigt een nieuw paradigma voor het trainen van video-generatiemodellen op massale, automatisch gecureerde datasets afgeleid van standaard internetvideo's.