🤖 machine learning

Go-with-the-Track: Video Compositing and Motion Control with Point Tracking

Go-with-the-Track ist ein vereinheitlichtes Videogenerierungs-Framework, das Point Tracking mit mehreren Referenzbildern kombiniert, um durch die Einführung räumlich bewusster Point-Track-Embeddings und einer hybriden Trainingsstrategie eine präzise Bewegungssteuerung und ein hochpräzises Compositing über eine Videosequenz hinweg zu ermöglichen.

Ursprüngliche Autoren: Koichi Namekata, Yash Kant, Zhizheng Liu, Ryan D Burgert, Yuancheng Xu, Kuan Heng Lin, Emmett Steven, Julien Philip, Li Ma, Andrea Vedaldi, Paul Debevec, Ning Yu

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Koichi Namekata, Yash Kant, Zhizheng Liu, Ryan D Burgert, Yuancheng Xu, Kuan Heng Lin, Emmett Steven, Julien Philip, Li Ma, Andrea Vedaldi, Paul Debevec, Ning Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Filmregisseur, der versucht, einen Film zu schneiden. Sie haben eine spezifische Vision: Sie möchten, dass eine Figur aus einem Foto in Ihre Szene hineinläuft, mit der Umgebung interagiert und sich genau so bewegt, wie Sie es wollen.

Derzeit sind bestehende KI-Videotools wie tollpatschige Assistenten. Einige können eine Figur zwar bewegen, aber sie können die Figur nur im allerersten Frame des Videos starten lassen. Wenn Sie möchten, dass die Figur erst zur Hälfte der Szene hineinläuft, wird die KI verwirrt. Andere Tools können ein Foto nehmen und es in ein Video einfügen, aber sie haben keine Vorstellung davon, wie sie dieses Foto „tanzen“ oder natürlich bewegen lassen können; es verharrt einfach dort oder bewegt sich auf eine generische, roboterhafte Weise.

„Go-with-the-Track“ ist ein neues KI-Tool, das wie ein Meisterpuppenspieler agiert. Es löst beide Probleme gleichzeitig durch den Einsatz von etwas, das „Point-Tracks“ genannt wird.

Die Kernidee: Der unsichtbare Faden

Stellen Sie sich einen Point-Track wie einen unsichtbaren Faden vor, der an einer bestimmten Stelle in Ihrem Video befestigt ist (wie die Nasenspitze, ein Rad an einem Auto oder ein Blatt an einem Baum). Während das Video abspielt, folgt dieser Faden dieser Stelle Frame für Frame.

In der Vergangenheit waren diese Fäden nur an den ersten Frame gebunden. Wenn Sie später ein neues Objekt hinzufügen wollten, konnten Sie keinen Faden daran befestigen, weil es noch nicht existierte.

Go-with-the-Track ändert die Regeln. Es ermöglicht Ihnen, diese unsichtbaren Fäden nicht nur an das Video, sondern auch an Ihre Referenzfotos zu binden.

Die Metapher: Stellen Sie sich vor, Sie haben ein Foto von einem roten Ball. Sie zeichnen einen Punkt auf den Ball in dem Foto. Dann zeichnen Sie einen Punkt auf den Ball in Ihrem Video. Die KI weiß nun: „Der rote Ball in dem Foto ist derselbe wie der rote Ball in dem Video, und er muss genau diesem Pfad folgen.“

Dies erlaubt es Ihnen, der KI zu sagen: „Nimm den roten Ball aus diesem Foto und lass ihn genau entlang dieses Pfades in dem Video rollen, selbst wenn er erst zur Mitte der Szene hineinkommt.“

Wie es funktioniert (Die Zaubertricks)

Das Paper beschreibt drei Haupt-„Tricks“, die die KI anwendet, um dies so gut zu bewältigen:

1. Der „Intelligente Ausweis“ (Spatially-Aware Embeddings)
Früher, wenn die KI versuchte, tausende von Punkten zu verfolgen, gab sie jedem Punkt eine zufällige, bedeutungslose ID-Nummer (wie „ID #492“). Es war, als würde man versuchen, einen Freund in einer Menge zu finden, indem man zufällige Nummern ruft.

Die Innovation: Go-with-the-Track gibt jedem Punkt einen „Intelligenten Ausweis“ basierend auf seinem tatsächlichen Standort und seiner Bewegung. Es ist, als würde man seinem Freund ein Namensschild geben, auf dem steht: „Ich bin die Person, die in der Nähe des Baumes läuft.“ Da die ID auf dem Ort basiert, an dem sich der Punkt tatsächlich befindet, kann die KI sofort verstehen, welcher Punkt im Foto mit welchem Punkt im Video übereinstimmt, selbst wenn sie weit voneinander entfernt sind. Dies macht das Tracking unglaublich präzise.

2. Der „Kompressionsanzug“ (Der Adapter)
Das KI-Videomodell arbeitet in einer „komprimierten“ Welt (wie eine Skizze in niedriger Auflösung), um Energie zu sparen, aber Ihre Point-Tracks sind hochauflösende Details. Normalerweise gehen beim Quetschen von hochauflösenden Details in eine niedrig aufgelöste Skizze die feinen Bewegungen (wie ein subtiles Drehen des Kopfes) verloren.

Die Innovation: Das Team hat einen speziellen „Adapter“ (einen Kompressionsanzug) entwickelt, der die hochauflösenden Point-Tracks perfekt in die niedrig aufgelöste Welt der KI einpasst. Er bewahrt alle winzigen, wichtigen Details der Bewegung, ohne Informationen zu verlieren, wodurch sichergestellt wird, dass die Figur nicht wie ein verschwommener Klumpen aussieht.

3. Das „Trainingsgymnasium“ (Hybride Daten)
Um zu lernen, wie man Dinge perfekt bewegt, muss die KI trainieren. Reale Videos sind chaotisch; die „Fäden“ (Point-Tracks) reißen oft oder gehen verloren.

Die Innovation: Anstatt die KI nur mit chaotischen Echtzeit-Videos trainieren zu lassen, hat das Team sie mit einer Mischung trainiert aus:
- Perfekten synthetischen Daten: Computergenerierte Welten, in denen die KI genau weiß, wo jeder Punkt ist (wie ein Videospiel mit perfekter Physik).
- Statischen Szenen: Räume, in denen sich nichts bewegt, damit die KI lernt, mit einer sich bewegenden Kamera umzugehen.
- Realen Videos: Um zu lernen, wie echte Menschen und Objekte aussehen.
  Diese Mischung lehrte die KI, präzise zu sein (durch die synthetischen Daten) und dennoch realistisch auszusehen (durch die realen Daten).

Was können Sie tatsächlich damit machen?

Das Paper demonstriert mehrere spezifische Anwendungen, bei denen dieses „Puppenspieler“-Können glänzt:

Video-Restyling: Sie können ein Video einer gehenden Person nehmen und der KI sagen: „Lass diese Person wie ein Gemälde aus einem bestimmten Foto aussehen.“ Die KI behält die exakte Gehbewegung bei, ändert aber das Aussehen, um dem Foto zu entsprechen.
Mesh-gesteuerte Komposition (Mesh-Driven Compositing): Sie können eine 3D-Animation nehmen (wie einen Roboterarm, der sich bewegt) und der KI sagen, sie soll den Roboter durch einen spezifischen Charakter aus einem Foto ersetzen, wobei der Charakter sich exakt wie der Roboter bewegt.
Kamerasteuerung: Sie können ein Video eines statischen Raums oder eines fahrenden Autos nehmen und der KI sagen: „Bewege die Kamera in einen neuen Winkel.“ Die KI nutzt die Point-Tracks, um den 3D-Raum zu verstehen und generiert das Video aus dem neuen Blickwinkel, wobei die Objekte an ihrem richtigen Platz bleiben.
Multi-Referenz: Sie können mehrere Fotos verwenden. Zum Beispiel können Sie der KI sagen, dass sie ein Foto für das Gesicht des Charakters, ein anderes für sein Hemd und ein drittes für den Hintergrund verwenden soll, und sie soll alles zusammenfügen, während sie der Bewegung folgt.

Das Fazremfazit

Go-with-the-Track ist ein Werkzeug, das Filmemachern und Kreativen endlich die präzise Kontrolle über sowohl das, was in einem Video erscheint, als auch darüber gibt, wie es sich bewegt. Es verhindert, dass die KI rät, und ermöglicht es dem Nutzer, das Geschehen mittels einfacher Punkte und Fotos zu regieren, um komplexe, cineastische Videos zu erschaffen.

Technisches Resümee: Go-with-the-Track

Problemstellung

Filmemachen und die Erzeugung hochwertiger Videos erfordern eine präzise Kontrolle sowohl über das visuelle Erscheinungsbild von Elementen (Compositing) als auch über deren spatiotemporale Entwicklung (Bewegungskontrolle). Bestehende Methoden behandeln diese Fähigkeiten typischerweise isoliert. Punkt-Track-konditionierte Image-to-Video-Modelle schränken die Inhaltsinsertion meist auf den ersten Frame ein, unter der Annahme, dass alle steuerbaren Elemente bereits initial vorhanden sind; folglich haben sie Schwierigkeiten, Elemente natürlich zu komponieren, die zu beliebigen Frames in eine Szene eintreten oder sie verlassen. Umgekehrt ermöglichen Reference-to-Video-Modelle die Injektion des Erscheinungsbilds mehrerer Referenzen, lassen aber feingliedrige, editierbare Repräsentationen der Bewegung vermissen, was es schwierig macht, wie sich mehrere Referenzelemente über Raum und Zeit bewegen und interagieren. Darüber hinaus verlassen sich bisherige Ansätze zur Punkt-Track-Konditionierung oft auf zufällige Embeddings, um Tracks zu unterscheiden, was jedoch versäumt, räumliche Proximitätsreize zu nutzen, was zu langsamer Konvergenz und schlechter Generalisierung führt, wenn eine große Anzahl von Tracks oder diskontinuierliche Korrespondenzen zwischen Referenzbildern und generierten Frames vorliegen.

Methodik

Die Autoren schlagen Go-with-the-Track vor, ein einheitliches Framework, das die Videogenerierung gemeinsam auf mehrere Referenzbilder und referenzverankerte Punkt-Tracks konditioniert. Die Kerninnovation besteht darin, konventionelle Punkt-Tracks so zu erweitern, dass sie explizite Korrespondenzen zwischen generierten Videoframes und Eingabe-Referenzbildern herstellen, wodurch das Modell nicht nur diktieren kann, wie sich ein Element bewegt, sondern auch, welcher spezifische Referenzinhalt an dieser Bewegung verankert ist.

Zentrale technische Komponenten

Referenzverankerte Punkt-Tracks:
Im Gegensatz zu traditionellen Tracks, die ausschließlich innerhalb einer Videosequenz definiert sind, definieren die Autoren Punkt-Tracks, die sowohl die generierten Videoframes als auch die Eingabe-Referenzbilder umspannen. Diese Formulierung verknüpft 2D-Pixelkoordinaten in den Referenzbildern explizit mit ihren Trajektorien in den generierten Videos, was eine präzise Komposition von Elementen ermöglicht, die zu unterschiedlichen Zeiten oder aus unterschiedlichen Blickwinkeln erscheinen können.
Räumlich bewusste Punkt-Track-Embeddings:
Um die Einschränkung durch die in vorangegangenen Arbeiten verwendeten zufälligen Embeddings zu adressieren, führen die Autoren eine räumlich bewusste Embedding-Strategie ein.
- Kodierung: Für jeden Punkt-Track wird die Sequenz der 2D-Koordinaten (ergänzt um Frame-Indizes) aus den generierten Frames durch ein koordinatenweises Multi-Layer-Perceptron (MLP) gefolgt von einer Sinus-Kodierung verarbeitet.
- Pooling: Eine temporale Max-Pooling-Operation aggregiert diese Koordinaten-Embeddings zu einem einzelnen Vektor pro Track.
- Vorteil: Dieses Design stellt sicher, dass die Ähnlichkeit der Embeddings direkt mit der räumlichen Nähe korreliert. Tracks, die im Video räumlich nah beieinander liegen, teilen ähnliche Embedding-Charakteristika, was dem Modell explizite räumliche Priors bietet, um Tracks über Frames und Referenzbilder hinweg zu unterscheiden und zu assoziieren, selbst wenn die Rohkoordinaten diskontinuierlich sind.
Leichtgewichtiger Punkt-Track-Adapter:
Eine kritische Herausforderung ist die Überbrückung der Auflösungsdifferenz zwischen hochauflösenden Pixelraum-Punkt-Tracks und dem komprimierten, patchifizierten Latent-Raum von Video-Diffusions-Transformern (typischerweise 16×16 räumlich und 4× temporal downsampled).
- Block-Aggregation: Das Video-Volumen wird in $4 \times 16 \times 16$ spatiotemporale Blöcke unterteilt, wobei jeder Block einem einzelnen Latent-Token entspricht.
- Injektion relativer Positionen: Für jeden Block sammelt der Adapter alle Punkt-Track-Embeddings, die in ihn fallen. Entscheidend ist, dass vor dem Pooling jedes Embedding mit seiner relativen Position $(f', x', y')$ innerhalb des Blocks konkateniert wird.
- Pooling: Ein MLP verarbeitet diese konkatenierten Vektoren, gefolgt von einem Max-Pooling, um einen einzelnen komprimierten Konditionierungsvektor pro Block zu erzeugen. Dieser Ansatz bewahrt feingliedrige Bewegungsdetails, die durch naive Subsampling- oder einfache Downsampling-Verfahren verloren gehen würden.
Hybride Trainingsstrategie:
Um den Mangel an Ground-Truth-Punkt-Track-Annotationen in realen Videos zu überwinden, verwenden die Autoren einen hybriden Trainingsdatensatz, bestehend aus:
- Synthetischen Datensätzen (z. B. PointOdyssey): Diese bieten pro Vertex definierte Punkt-Tracks, die aus 3D-Meshes abgeleitet wurden und eine perfekte Ground Truth zur Entkopplung von Kamera- und Objektbewegung liefern.
- Statischen Szenen-Datensätzen (z. B. DL3DV, TartanAir): Diese liefern präzise Tiefen- und Kameraposen zur Berechnung exakter Punkt-Tracks.
- Realen dynamischen Video-Datensätzen (z. B. OpenVidHD, MiraData): Diese liefern fotorealistische Priors, die mittels Off-the-shelf-Trackern (DELTA) unter iterativer Verdichtung annotiert wurden, um dünnbesetzte Regionen zu füllen.
  Diese Mischung ermöglicht es dem Modell, präzise Bewegungskontrolle aus synthetischen Daten zu lernen und gleichzeitig starke fotorealistische Fähigkeiten aus realen Daten beizubehalten.

Zentrale Beiträge

Vereinheitlichte Bewegungskontrolle und Komposition: Die Arbeit führt ein Paradigma ein, in dem Bewegungskontrolle und Multi-Referenz-Komposition über referenzverankerte Punkt-Tracks vereinigt werden, was die spatiotemporale kontrollierbare Videogenerierung aus mehreren Referenzbildern ermöglicht.
Räumlich bewusste Embeddings & Adapter: Die Autoren zeigen, dass zufällige Embeddings suboptimal für die referenzverankerte Konditionierung sind. Sie schlagen räumlich bewusste Embeddings vor, die räumliche Charakteristika kodieren, sowie einen leichtgewichtigen Adapter, der Punkt-Tracks aus dem Pixelraum in den Latent-Raum abbildet, ohne signifikante Details der Bewegung zu verlieren.
Hybride Trainingsdaten: Durch die Kombination aus synthetischen, statischen und realen Datensätzen reduziert die Methode die Abhängigkeit von verrauschten Punkt-Trackern, wodurch das Modell präzise Bewegungskontrolle lernen kann, während die Fotorealität erhalten bleibt.
Breite Anwendbarkeit: Das Framework unterstützt diverse Anwendungen, einschließlich bewegungserhaltender Videorestylisierung, Mesh- oder Keypoint-gesteuerter Komposition sowie Kamera-Kontrolle für sowohl statische als auch dynamische Szenen.

Ergebnisse

Umfangreiche Experimente auf den Datensätzen DAVIS 2017 und TAPVid3D-ADT zeigen, dass Go-with-the-Track die State-of-the-Art-Baselines (einschließlich DiffusionAsShader, Go-with-the-Flow, Tora, ATI und Wan-Move) in Bezug auf visuelle Treue, Rekonstruktionsgenauigkeit und Bewegungs-Fidelity-Metriken übertrifft.

Quantitative Leistung: Das Modell erzielt überlegene Werte in FID, FVD, LPIPS, PSNR, SSIM und Endpoint Error (EPE), insbesondere in Szenarien mit dichten Tracks, in denen Baselines oft versagen oder starkes Subsampling erfordern.
Ablationsstudien: Das Entfernen der räumlich bewussten Embeddings, der Injektion der relativen Position im Adapter oder der hybriden Trainingsdaten führt zu einer signifikanten Leistungsverschlechterung, was die Notwendigkeit jeder Komponente bestätigt.
Nutzerstudie: In einer Studie mit 45 Teilnehmern wurde Go-with-the-Track hinsichtlich der Bewegungsverfolgung, der Subjekterhaltung und der Gesamtqualität mit einem Abstand von mehr als 2:1 gegenüber der zweitbesten Methode bevorzugt.

Bedeutung

Das Paper behauptet, dass Go-with-the-Track eine fundamentale Lücke in der Videogenerierung schließt, indem es Erscheinungsbild- und Bewegungskontrolle in einem einzigen, flexiblen Framework vereinigt. Durch die Erweiterung von Punkt-Tracks als spatiotemporale Anker für mehrere Referenzbilder erschließt die Methode neue Möglichkeiten für Filmemacher und Kreative, wie etwa das Einfügen von Charakteren oder Requisiten zu beliebigen Zeitpunkten, die Restylisierung von Videos unter Beibehaltung komplexer Bewegungen sowie das Retargeting von Kamerabewegungen in sowohl statischen als auch dynamischen Szenen. Die Arbeit unterstreicht, dass präzise Kontrollierbarkeit in der Videogenerierung nicht nur bessere Modelle erfordert, sondern auch bessere Konditionierungsrepräsentationen, welche die räumliche und zeitliche Kontinuität der generierten Inhalte respektieren.