💻 computer science

TRACE: Object Motion Editing in Videos with First-Frame Trajectory Guidance

Das Paper stellt TRACE vor, ein Framework zur Bearbeitung von Objektbewegungen in Videos, das es Nutzern ermöglicht, durch die Definition einer einzigen Trajektorie im ersten Bild eine konsistente und realistische Pfadänderung des Objekts unter Beibehaltung des ursprünglichen Szeneninhalts zu erzielen.

Ursprüngliche Autoren: Quynh Phung, Long Mai, Cusuh Ham, Feng Liu, Jia-Bin Huang, Aniruddha Mahapatra

Veröffentlicht 2026-03-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Quynh Phung, Long Mai, Cusuh Ham, Feng Liu, Jia-Bin Huang, Aniruddha Mahapatra

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast ein Video von deinem Kind, das mit einem Drachen im Park läuft. Das Video ist toll, aber du möchtest, dass der Drache nicht einfach geradeaus fliegt, sondern eine lustige Schleife macht oder direkt zu einer bestimmten Eiche im Hintergrund zieht.

Früher war das unmöglich, ohne das ganze Video neu zu drehen oder als Experte Frame für Frame zu bearbeiten. TRACE ist wie ein magischer Videoredakteur, der genau das für dich erledigt – und zwar so einfach, als würdest du nur einen einzigen Strich auf ein Foto malen.

Hier ist die Erklärung, wie TRACE funktioniert, mit ein paar einfachen Vergleichen:

1. Das Problem: Der "Kamera-Tanz"

Stell dir vor, du hältst eine Kamera in der Hand und läufst selbst durch den Park, während du das Kind filmst. Wenn du jetzt sagst: "Der Drache soll sich nach links bewegen", ist das kompliziert. Warum? Weil sich die Kamera auch bewegt. Was auf dem ersten Bild "links" aussieht, könnte auf dem nächsten Bild "hinten" sein, weil du dich gedreht hast.

Bisherige Programme waren wie sture Roboter: Sie wussten nicht, wie die Kamera sich bewegt, und haben den Drachen dann oft einfach nur geradeaus geschoben – egal, ob er dabei durch Bäume oder durch die Luft "geglitcht" wäre.

2. Die Lösung: TRACE (Der "Traum-Planer")

TRACE löst dieses Problem in zwei Schritten, wie ein erfahrener Regisseur, der erst den Plan macht und dann die Szene dreht.

Schritt 1: Der "Übersetzer" (Cross-View Motion Transformation)

Das ist das Genie im Hintergrund.

Was du tust: Du öffnest das Video, hältst es an der allerersten Stelle an und zeichnest mit ein paar Punkten oder einem Kasten (einem "Bounding Box") den Weg, den der Drache nehmen soll. Du sagst quasi: "Hier startet er, und hier landet er."
Was TRACE macht: TRACE denkt sich: "Aha! Der Nutzer will, dass der Drache zu der Eiche fliegt." Aber da sich die Kamera bewegt, muss TRACE den Weg für jeden einzelnen Moment des Videos neu berechnen.
Die Analogie: Stell dir vor, du zeichnest eine Linie auf eine Landkarte (das erste Bild). TRACE ist wie ein Navigator, der diese Linie nimmt und sie automatisch auf eine sich bewegende Landkarte überträgt, die sich ständig dreht und zoomt. Er berechnet genau, wo der Drache in Sekunde 1, Sekunde 2 und Sekunde 3 sein muss, damit er trotz der Kamera-Bewegung genau dort ankommt, wo du es willst. Er verhindert, dass der Drache "verrutscht".

Schritt 2: Der "Zauberer" (Video Re-Synthesis)

Jetzt hat TRACE den perfekten Fahrplan für den Drachen. Jetzt kommt der zweite Teil.

Was passiert: TRACE nimmt das Originalvideo und "löscht" den alten Drachen aus. Aber es ist kein einfaches Löschen wie mit einem Radiergummi, bei dem ein weißer Fleck bleibt.
Die Analogie: TRACE ist wie ein genialer Maler, der ein neues Bild über das alte malt. Er nimmt den Fahrplan aus Schritt 1 und malt den Drachen neu – aber diesmal bewegt er sich genau auf dem neuen Weg. Das Tolle ist: Er malt den Drachen so, dass er genau so aussieht wie im Original (gleiche Farbe, gleiche Form), aber er bewegt sich neu. Der Hintergrund (die Bäume, der Boden, die Kamera-Bewegung) bleibt zu 100 % unverändert. Es ist, als würde man einen Schauspieler in einem Film austauschen, ohne dass man merkt, dass er nicht der ursprüngliche war.

Warum ist das so besonders?

Kein Stress mit Details: Du musst nicht wissen, wie man 3D-Modelle berechnet oder wie man Frame für Frame bearbeitet. Du musst nur den Zielort auf dem ersten Bild zeigen.
Es funktioniert bei Bewegung: Selbst wenn die Kamera wild herumwirbelt (wie bei einem Action-Film), versteht TRACE, wie sich die Welt bewegt, und passt den Pfad des Objekts perfekt an.
Vielseitig: Du kannst nicht nur den Weg ändern, sondern auch Dinge austauschen (aus einem Hirsch wird ein Tiger) oder neue Dinge hinzufügen, die sich dann genau so bewegen, wie du es dir vorstellst.

Zusammenfassung in einem Satz

TRACE ist wie ein Assistent, dem du auf einem Foto sagst: "Geh dorthin!", und er berechnet automatisch den perfekten Weg für das Video, löscht das alte Objekt und malt es neu auf, damit es genau dort ankommt, ohne dass der Rest des Films auch nur einen Wimpernschlag verändert.

Es macht aus komplexer Videobearbeitung etwas so Einfaches wie das Zeichnen einer Linie auf einem Bild.

1. Problemstellung

Das Ziel der Arbeit ist die Bearbeitung von Objektbewegungen in Videos (Object Motion Editing). Dabei soll die Trajektorie (der Bewegungspfad) eines spezifischen Objekts im Video geändert werden, während der Rest der Szene (Hintergrund, Kamerafahrt, andere Objekte) und die Erscheinung des Objekts selbst unverändert erhalten bleiben.

Herausforderungen bestehender Methoden:

Komplexität der Steuerung: Bisherige Video-Editier-Methoden erfordern oft dichte, frame-spezifische Steuerungssignale (z. B. Maskenfolgen oder Bounding-Boxen für jeden einzelnen Frame). Dies ist für Nutzer mühsam, besonders bei Videos mit dynamischen Kamerafahrten.
Einschränkungen bei I2V/V2V: Bild-zu-Video (I2V) Modelle können zwar neue Inhalte generieren, sind aber nicht darauf ausgelegt, bestehende Videos zu bearbeiten und dabei die ursprüngliche Kamerafahrt und den Hintergrund zu bewahren. Video-zu-Video (V2V) Methoden konzentrieren sich meist auf das Ändern von Aussehen (Style Transfer) oder Attribute, nicht aber auf die Neu-Planung von Bewegungspfaden.
3D-Rekonstruktion: Ein direkter Ansatz, die 3D-Geometrie zu rekonstruieren, um einen Pfad von der ersten Frame-Perspektive auf das gesamte Video zu übertragen, führt oft zu Fehlern durch ungenaue Tiefen- und Pose-Schätzungen (Ruckeln, Drift).

2. Methodik: Das TRACE-Framework

TRACE (Trajectory-based Resynthesis with First-Frame Guidance) löst das Problem durch einen zweistufigen Pipeline-Ansatz, der es dem Nutzer erlaubt, den gewünschten Bewegungspfad nur in einem einzigen Anker-Frame (meist der erste Frame) zu definieren.

Stufe 1: Cross-View Motion Transformation (Kreuzsicht-Bewegungstransformation)

Dieses Modul übersetzt die vom Nutzer im statischen ersten Frame definierte 2D-Trajektorie in eine zeitlich konsistente Folge von Bounding-Boxen, die der dynamischen Kameraperspektive des Originalvideos entsprechen.

Architektur: Ein Diffusion Transformer (DiT) mit 8 Layern.
Eingaben:
1. Das erste Bild des Videos ( $J_{first}$ ), codiert durch einen 3D-VAE, um visuellen Kontext und statische Perspektive zu liefern.
2. Punkt-Trajektorien ( $P$ ), die die Kamerabewegung erfassen (extrahiert als Gitter aus spärlichen Punkt-Tracks).
3. Die vom Nutzer definierte Bounding-Box-Sequenz im ersten Frame ( $B_{ref}$ ).
Funktionsweise: Das Modell lernt implizit die Kameradynamik und wandelt die statische Pfadplanung in eine raum-zeitlich korrekte Box-Sequenz ( $B_{tgt}$ ) für das gesamte Video um. Es vermeidet explizite 3D-Rekonstruktion, um Rauschen und Fehler bei der Pose-Schätzung zu umgehen.
Training: Verwendet synthetische Daten, bei denen statische Videos mit dynamischen Kamerapfaden neu gerendert wurden, um Paare aus „Erster Frame-Box" und „Video-View-Box" zu generieren.

Stufe 2: Video Re-Synthesis (Video-Neusynthese)

Dieses Modul generiert das bearbeitete Video basierend auf der vorhergesagten Box-Sequenz ( $B_{tgt}$ ).

Architektur: Ein konditioniertes Video-Diffusionsmodell (basierend auf Wan 2.1, 1.4B Parameter), feinabgestimmt mit LoRA.
Eingaben:
1. Das Originalvideo (maskiert).
2. Text-Prompt.
3. Das erste Bild (als Referenz für das Aussehen des Objekts).
4. Zwei Arten von Masken:
  - $M_{inpaint}$ : Bereiche, die mit Hintergrund gefüllt werden sollen (das Originalobjekt entfernen).
  - $M_{obj}$ : Zielbereiche für die Generierung des Objekts entlang des neuen Pfades.
Ziel: Das Modell entfernt das Originalobjekt und generiert es neu entlang des neuen Pfades, wobei es die Identität des Objekts (basierend auf dem ersten Frame) und den Hintergrund strikt bewahrt.

3. Hauptbeiträge

Neues Problem-Setting: Einführung des „Video Editing with First-Frame Object Motion Design". Nutzer können komplexe Bewegungspfade intuitiv in einem einzigen Frame definieren, ohne Frame-für-Frame-Annotation.
TRACE-Framework: Entwicklung einer zweistufigen Architektur, die das Problem der räumlichen Fehlausrichtung zwischen verschiedenen Ansichten (Cross-View Misalignment) durch einen lernbaren Transformations-Modul löst, anstatt auf fehleranfällige 3D-Rekonstruktion zu setzen.
Umfassende Evaluation: Validierung an realen Videos mit diversen Szenarien, die zeigt, dass TRACE kohärentere, realistischere und besser kontrollierbare Ergebnisse liefert als aktuelle I2V- und V2V-Methoden.

4. Ergebnisse und Evaluation

Die Autoren evaluieren TRACE auf dem DAVIS-Benchmark und einem eigenen Testset von 70 Videos.

Cross-View Transformation:
- TRACE übertrifft Baselines wie einfache Interpolation und 3D-Warping (mit MegaSAM oder Depth-Anything) signifikant.
- Metriken: IoU (Intersection over Union) von 0.80 und mAP von 0.91 (im Vergleich zu ~0.53–0.73 bei Baselines). TRACE erzeugt glatte, stabile Pfade, die auch bei komplexen Kamerafahrten das Ziel erreichen, während Baselines oft „driften" oder springen.
Video Re-Synthesis:
- TRACE erzielt State-of-the-Art-Ergebnisse in Bezug auf Bildqualität (Imaging Quality), Bewegungs-Glättung (Motion Smoothness) und zeitliches Flackern (Temporal Flickering) auf dem VBench-Benchmark.
- Im Vergleich zu I2V-Modellen (die oft Hintergrund hallucinieren) und V2V-Modellen (die Objektkonsistenz verlieren), bewahrt TRACE sowohl die Objektpersönlichkeit als auch die Szenenkonsistenz.
Benutzerstudie:
- In einer pairwise Vergleichsstudie bevorzugten Nutzer TRACE in über 77% der Fälle bei Videoqualität und bei über 75% bei der Bewahrung der Objektidentität im Vergleich zu den stärksten Konkurrenten (wie GenCompositor, VACE, HunyuanCustom).

5. Bedeutung und Anwendungen

TRACE eröffnet neue Möglichkeiten für kreative Anwendungen in der Videoproduktion:

Post-Production Motion Re-Planning: Nachträgliche Änderung von Bewegungsrichtungen oder -geschwindigkeiten von Objekten ohne Neuaufnahme.
Objekt-Einfügung mit Bewegungssteuerung: Einfügen neuer Objekte, die sich präzise entlang eines vom Nutzer definierten Pfades bewegen.
Objekt-Ersetzung: Austausch eines Objekts gegen ein anderes (z. B. Hirsch zu Tiger), wobei die ursprüngliche Bewegungsdynamik beibehalten wird.

Fazit: TRACE adressiert eine kritische Lücke in der Video-Generierung, indem es die intuitive Kontrolle über Bewegungspfade mit der Notwendigkeit hoher visueller Konsistenz und Hintergrundtreue verbindet. Der Ansatz, die komplexe 3D-Geometrie durch ein lernbasiertes, datengetriebenes Transformations-Modell zu ersetzen, erweist sich als robuster und nutzerfreundlicher als herkömmliche geometrische Ansätze.