🤖 AI

OmniDirector: General Multi-Shot Camera Cloning without Cross-Paired Data

Das Papier stellt OmniDirector vor, ein einheitliches Framework, das allgemeines Multi-Shot-Kamera-Cloning für die Videogenerierung ermöglicht, ohne dass paarweise Daten erforderlich sind, indem es eine neuartige gitterbasierte Kamerarepräsentation und einen hierarchischen Prompt-Expansion-Agenten nutzt, um Charaktere, Aktionen und komplexe Kameratrajektorien zu koordinieren.

Ursprüngliche Autoren: Jiwen Liu, Shujuan Li, Zhixue Fang, Xiaohan Li, Yan Zhou, Zijie Meng, Zhimin Zhang, Yawen Luo, Guoxin Zhang, Yu-Shen Liu, Pengfei Wan

Veröffentlicht 2026-06-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiwen Liu, Shujuan Li, Zhixue Fang, Xiaohan Li, Yan Zhou, Zijie Meng, Zhimin Zhang, Yawen Luo, Guoxin Zhang, Yu-Shen Liu, Pengfei Wan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Filmregisseur. Sie haben eine perfekte Szene im Kopf, aber Sie haben nur ein einziges, unbewegtes Foto als Ausgangspunkt. Sie wollen eine Geschichte erzählen, aber die Kamera muss sich bewegen: auf das Gesicht einer Figur zoomen, über eine Landschaft schwenken oder zwischen verschiedenen Winkeln schneiden.

Normalt ist die Aufforderung an einen Computer, dies zu tun, so, als würde man versuchen, jemandem einen Tanz zu erklären, der noch nie einen Tanz gesehen hat, indem man nur mathematische Gleichungen verwendet. Es ist entweder zu vage (nur „bewege die Kamera“ zu sagen) oder zu kompliziert (exakte 3D-Koordinaten anzugeben, die sich niemand vorstellen kann).

OmniDirector ist ein neues Werkzeug, das dies löst, indem es Ihnen ermöglicht, die Kamerabewegungen von jedem Video, das Sie mögen, auf Ihr eigenes Bild zu „kopieren und einzufügen“. So funktioniert es, unterteilt in einfache Konzepte:

1. Der „Geisterraum“-Trick (Das Kameragitter)

Das größte Problem beim Kopieren von Kamerabewegungen ist, dass Computer verwirrt werden, wenn die neue Szene anders aussieht als die alte. Wenn das Referenzvideo ein winziges Spielzeugauto ist und Ihr Bild ein echter Berg, könnte ein direktes Kopieren den Berg wie ein Spielzeug aussehen lassen.

Um dies zu beheben, nutzt OmniDirector einen cleveren Trick namens Kameragitter.

Die Analogie: Stellen Sie sich vor, Sie wollen jemandem beibringen, eine bestimmte Route zu fahren. Anstatt ihm ein Video von einem Ferrari zeigt, der durch Paris fährt (was ihn verwirren könnte, wenn er mit einem LKW in New York fährt), zeigen Sie ihm ein Video eines geisterhaften, leeren Raums mit nur Gitternetzlinien auf dem Boden und den Wänden.
Wie es funktioniert: Das System nimmt die Kamerabewegungen aus Ihrem Referenzvideo und zeichnet sie als bewegtes Gitter in einen leeren 3D-Raum. Dieses Gitter zeigt nur den Pfad und den Winkel der Kamera und lässt alles andere – Autos, Menschen und Landschaften – weg.
Das Ergebnis: Da der „Raum“ leer ist, lernt der Computer die Bewegung perfekt, ohne durch den Inhalt abgelenkt zu werden. Er kann diese exakte Bewegung dann auf Ihren Berg, Ihr Spielzeugauto oder irgendetwas anderes anwenden, unabhängig von Größe oder Form.

2. Der „Regieassistent“ (Der Prompt-Agent)

Sob einmal der Computer weiß, wie sich die Kamera bewegt, muss er wissen, was er zeigen soll. Sie könnten ein Referenzvideo, ein Startfoto und eine Textbeschreibung haben (z. B. „eine Katze, die auf einem Zaun sitzt“).

Das Problem: Wenn Sie einfach all diese Anweisungen in den Computer werfen, könnte er verwirrt werden. Er könnte versehentlich die Katze aus dem Referenzvideo kopieren anstatt aus Ihrem Foto, oder er könnte die Kamerabewegungen mit der Geschichte vermischen.
Die Lösung: OmniDirector nutzt einen intelligenten „Assistenten“ (einen hierarchischen Prompt-Expansion-Agenten).
- Die Analogie: Denken Sie an diesen Assistenten als einen Übersetzer, der sowohl „Kamerasprache“ als auch „Sprache der Geschichte“ spricht. Er betrachtet das Referenzvideo und schreibt ein spezifisches Skript: „Zuerst zieht die Kamera zurück (Einstellung 1). Dann schneidet sie nach links (Einstellung 2).“
- Er trennt sorgfältig die Kamerabewegungen von den Details der Geschichte. Er stellt sicher, dass der Computer weiß: „Nutze die Bewegung aus dem Referenzvideo, aber nutze die Katze aus deinem Foto.“ Dies verhindert, dass der Computer versehentlich die falschen Objekte aus dem Referenzvideo stiehlt.

3. Der „Alles-aus-einer-Hand“-Service (Multi-Shot-Klonen)

Die meisten bisherigen Werkzeuge konnten nur eine einzige kontinuierliche Kamerabewegung handhaben. Wenn Sie ein Video mit drei verschiedenen Einstellungen wollten (wie eine Filmszene), versagten sie oder wurden chaotisch.

OmniDirector ist besonders, weil es Multi-Shot-Videos handhaben kann. Es versteht, dass ein Film nicht nur eine einzige lange Aufnahme ist, sondern eine Serie von Schnitten. Es kann ein Referenzvideo mit mehreren Schnitten betrachten und genau diese Sequenz von Einstellungen auf Ihr Bild replizieren, wobei es die Logik der Geschichte beibehält und die Übergänge flüssig gestaltet.

4. Warum es besser ist als zuvor

Kein „Schummeln“: Alte Methoden versuchten oft, durch das Betrachten von Videopaaren zu lernen, die sich bis auf die Kamerabewegung identisch waren. Aber solche Videos sind schwer zu finden. OmniDirector benötigt sie nicht. Es baut seine eigenen „Trainingsdaten“, indem es Millionen von zufälligen Internetvideos in diese „Geisterraum“-Gitter verwandelt.
Kein „Leakage“ (Durchsickern): Da es das leere Gitter und den smarten Assistenten verwendet, kopiert es nicht versehentlich die falschen Personen oder Objekte aus dem Referenzvideo. Es hält Ihr Bild sauber und kopiert nur die Bewegung.
Es funktioniert einfach: Die Arbeit zeigt, dass das System sogar dann klug genug ist, die Kamerabewegungen zu erfassen, wenn man ihm ein Rohvideo oder eine einfache Linienzeichnung (wie eine Canny-Edge-Map) anstatt des perfekten Gitters füttert. Es ist wie ein Musiker, der ein Lied perfekt spielen kann, selbst wenn man die Melodie nur summt, anstatt die Noten vorzuspielen.

Zusammenfassung

OmniDirector ist wie ein magischer Kameramann. Sie geben ihm ein Standbild und ein Referenzvideo. Er reduziert das Referenzvideo auf sein „Skelett“ (die Bewegung des leeren Gitters), nutzt einen smarten Assistenten, um ein klares Skript zu schreiben, und animiert dann Ihr Foto so, dass es sich exakt wie das Referenzvideo bewegt – egal, ob es sich um einen einfachen Zoom oder eine komplefxe Filmszene mit mehreren Schnitten handelt. Er tut dies, ohne spezielle Daten zu benötigen oder durch die Unterschiede in den Szenen verwirrt zu werden.

Technisches Resümee: OmniDirector

Problemstellung

Kamerabewegung ist ein entscheidendes Element in der Videogenerierung, das Atmosphäre, Emotion und erzählerische Tiefe prägt. Bestehende Methoden zur Kamerasteuerung stehen jedoch vor erheblichen Einschränkungen:

Textuelle Beschreibungen: Obwohl sie zugänglich sind, versagen sie dabei, nuancierte kinematografische Attribute präzise zu definieren.
Explizite parametrische Repräsentationen: Methoden, die Matrizen oder Plücker-Koordinaten verwenden, bieten zwar Präzision, stellen aber hohe Hürden für die Benutzer dar und haben Schwierigkeiten bei der Generierung von Multi-Shot-Sequenzen und Übergängen zwischen den Einstellungen.
Video-referenzierte Ansätze:
- Explizite Parameterextraktion: Leidet unter Skalenambiguitäten beim Transfer von Kameratrajektorien von Referenzumgebungen auf generierte Szenen mit unterschiedlichen räumlichen Skalen.
- Implizites/End-to-End-Lernen: Verlässt sich auf kreuzweise gepaarte Daten (Videos mit identischer Kamerabewegung, aber unterschiedlichem Inhalt). Solche Daten sind in der realen Welt selten. Während synthetische Daten dies lindern können, fehlt ihnen oft die erzählerische Komplexität realer Aufnahmen, was zu einer schlechten Leistung bei der Handhabung von Schnitten und komplexen Übergängen führt. Darüber hinaus leiden bestehende Methoden oft unter „Informationsleckagen“, bei denen das Modell unbeabsichtigt Aussehen oder Charakterbewegungen aus dem Referenzvideo kopiert, anstatt nur die Kameratrajektorie zu übernehmen.

Es mangelt an einem allgemeinen Framework, das in der Lage ist, komplexe Multi-Shot-Kamerabewegungen aus Referenzvideos zu klonen, ohne auf kreuzweise gepaarte Trainingsdaten angewiesen zu sein oder unter Inhaltsleckagen zu leiden.

Methodik

Die Autoren schlagen OmniDirector vor, ein vereinheitlichtes Framework, das für Multi-Modal Diffusion Transformer (MMDiTs) entwickelt wurde, um allgemeines Multi-Shot-Kamera-Cloning zu erreichen. Die Methodik besteht aus drei Kernkomponenten:

1. Kamera-Grid-Repräsentation (Camera Grid Representation)

Um die Kamerabewegung von Szeneninhalten zu entkoppeln und skalierbares Training zu ermöglichen, führen die Autoren das Camera Grid ein.

Konzept: Anstatt Rohvideo oder explizite Parameter zu verwenden, wird die Kamerabewegung als Video einer leeren 3D-Szene dargestellt, die ein räumliches Gitter enthält.
Konstruktion:
- Kameraposierungen ( $R_i, t_i$ ) werden aus Referenzvideos extrahiert.
- Eine leere 3D-Szene wird mit orthogonalen Gitternlinien modelliert, die Boden, Decke und eine den Kameratrajektorien umgebende „Tunnelwand“ darstellen, um die relative Bewegung zu visualisieren.
- Spezialeffekte wie Fisheye-Verzerrung und Dolly Zoom (Hitchcock-Zoom) werden durch Modifikation des Rendering-Schemas unterstützt (z. B. durch Verwendung des Kannala–Brandt-Modells für Verzerrungen).
Vorteile:
- Generalität: Vereinheitlicht Single-Shot- und Multi-Shot-Cloning.
- Entkopplung: Die leere Szene verhindert Interferenzen durch Aussehen oder Charakterbewegungen.
- Skalierbarkeit: Jedes Video kann in ein Camera Grid umgewandelt werden, was die Konstruktion von Millionen-Skala-Trainingsdatensätzen ermöglicht, ohne dass manuell kuratierte, kreuzweise gepaarte Daten benötigt werden.

2. OmniDirector Architektur & Training

Architektur: Basiert auf einem Multi-Modal Diffusion Transformer (MMDiT).
Input-Injektion: Das Camera Grid ( $G$ ), das Referenzbild ( $I$ ) und das verrauschte Video-Latent ( $Z_v$ ) werden über einen 3D-VAE kodiert und entlang der Frame-Dimension zu einer einheitlichen spatiotemporalen Repräsentation ( $z_{vis}$ ) konkateniert. Textbedingungen werden separat verarbeitet und interagieren via Joint Attention mit den visuellen Tokens.
Trainingsstrategie:
- Datensatz: Trainiert auf 1,8 Millionen Internet-Skala-Videopaaren (Referenzvideo + generiertes Camera Grid).
- Selbst-Rekonstruktions-Ziel: 30 % der Trainingsproben nutzen das Camera Grid selbst als Zielvideo. Dies zwingt das Modell, die geometrische Struktur und die zeitliche Dynamik des Grids zu lernen, anstatt es nur als schwachen Hinweis zu behandeln, wodurch das Overfitting auf Schein-Korrelationen verhindert wird.

3. Hierarchischer Prompt-Expansion (PE) Agent

Um die Kamerasteuerung während der Inferenz harmonisch mit anderen Signalen (User-Prompts, Referenzbilder) zu integrieren, wird ein neuartiger PE-Agent eingesetzt:

Kamera-Prompt-Generierung: Ein MLLM (Q-wen3-VL) generiert einen Kamera-Prompt ( $T_c$ $T_{c}$ ), der zerlegt wird in:
- Inter-Shot: Analysiert die Beziehungen zwischen benachbarten Einstellungen, um die semantische Kohärenz über Übergänge hinweg sicherzustellen.
- Intra-Shot: Beschreibt die Kamerabewegung innerhalb einzelner Einstellungen basierend auf Pose-Estimation und visueller Korrektur.
Semantische Fusion: Der Agent fusioniert den Kamera-Prompt, das Referenzbild und den User-Prompt zu einer einzigen, kohärenten Textbedingung, um Konflikte und Hintergrund-Leakage zu vermeiden.
Adaptives Classifier-Free Guidance (CFG): Eine Coarse-to-Fine-Denoising-Strategie wird verwendet. Camera-Grid-Features werden während der High-Noise-Phase injiziert, um die globale räumliche Struktur zu etablieren, während andere Signale in der Low-Noise-Phase eingeführt werden, um lokale Details zu verfeinern.

Zentrale Beiträge

OmniDirector Framework: Ein vereinheitlichtes Videogenerierungs-Framework, das allgemeines Multi-Shot-Kamera-Cloning ohne kreuzweise gepaarte Daten erreicht und Regie-Kontrolle für MMDiTs bietet.
Camera Grid: Eine neuartige, allgemeine visuelle Repräsentation für Kamerabewegungen, die die Trajektorie vom Inhalt entkoppelt und die Konstruktion von Millionen-Skala-Trainingsdatensätzen ermöglicht.
Hierarchical Prompt Expansion Agent: Ein Mechanismus, der Kamerabewegungen systematisch mit multimodalen Signalen integriert, die semantische Kohärenz in Multi-Shot-Szenarien sicherstellt und Informationsleckagen minimiert.

Experimentelle Ergebnisse

Das Framework wurde auf einem vielfältigen Satz von 1.094 Proben evaluiert, die Single- und Multi-Shot-Videos, verschiedene Auflösungen und komplexe Effekte abdecken.

Quantitative Leistung: OmniDirector übertrifft State-of-the-Art-Baselines (CamCloneMaster, Seedance2.0, LTX-LoRA) in allen Metriken.
- Kamera-Genauigkeit: Erreichte einen relativen Translationsfehler (RTE) von 16,84° und eine Translationspräzision (T-Pre) von 72,74 %, was einer relativen Verbesserung der Translationspräzision von 39,3 % gegenüber der zweitbesten Methode entspricht.
- Übergangs-Genauigkeit: Erreichte 96,52 % zeitliche Präzision (Tem-Pre) und 83,79 % semantische Präzision (Sem-Pre) bei Shot-Übergängen.
- Leakage-Rate: Demonstrierte die niedrigste Leakage-Rate (0,51 % Frame, 3,38 % Shot) und übertraf damit signifikant die Baselines, die mit Inhaltsleckagen zu kämpfen haben.
Qualitative Leistung: Das Modell klont originalgetreu komplexe Trajektorien (einschließlich Dolly Zooms und Arc Shots) und bewahrt die semantische Kohärenz in Multi-Shot-Sequenzen, während Baselines oft bei Übergängen scheitern oder Bewegungsartefakte aufweisen.
Emergente Fähigkeiten: Das Modell zeigt Zero-Shot-Generalisierung und führt Kamerabewegungen erfolgreich aus, wenn es auf rohen RGB-Videos oder Canny-Edge-Sequenzen konditioniert ist, ohne dass ein Retraining erforderlich war, was darauf hindeutet, dass das Camera Grid effektiv das Verständnis für räumliche Dynamiken freischaltet.

Bedeutung

Das Paper behauptet, dass OmniDirector den grundlegenden Zielkonflikt zwischen Präzision und Zugänglichkeit bei der Kamerasteuerung löst. Durch die Einführung des Camera Grids umgehen die Autoren die Datenknappheit kreuzweise geparter Datensätze sowie die Skalenambiguität der expliziten Parameterextraktion. Das Framework ermöglicht die Generierung hochqualitativer Multi-Shot-Videos mit Regie-Kontrolle und schließt damit die Lücke zwischen intuitiver, referenzbasierter Steuerung und den strengen Anforderungen professioneller Kinematografie. Die Arbeit etabliert ein neues Paradigma für das Training von Videogenerationsmodellen auf massiven, automatisch kuratierten Datensätzen, die aus Standard-Internetvideos abgeleitet wurden.