💻 computer science

From Synchrony to Sequence: Exo-to-Ego Generation via Interpolation

Die Arbeit stellt Syn2Seq-Forcing vor, einen neuartigen Ansatz, der die Exo-zu-Ego-Video-Generierung durch Interpolation zwischen synchronisierten Ansichten in ein kontinuierliches Sequenzmodell überführt, um die durch räumlich-zeitliche Diskontinuitäten verursachten Herausforderungen zu überwinden und eine einheitliche Grundlage für die wechselseitige Synthese von Kameraansichten zu schaffen.

Ursprüngliche Autoren: Mohammad Mahdi, Nedko Savov, Danda Pani Paudel, Luc Van Gool

Veröffentlicht 2026-04-16

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mohammad Mahdi, Nedko Savov, Danda Pani Paudel, Luc Van Gool

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einen Film drehen, der eine Person beim Fahrradfahren zeigt.

Das Problem: Der unsaubere Schnitt
Normalerweise haben Sie zwei Kameraperspektiven:

Die Außenansicht (Exo): Eine Kamera auf einem Stativ filmt den Radfahrer von der Seite.
Die Ich-Perspektive (Ego): Eine Kamera am Helm des Radfahrers filmt, was er sieht.

Das Ziel der Forscher ist es, einen Computer so zu trainieren, dass er aus dem Außenfilm automatisch den Ich-Film erzeugt. Das Problem dabei ist wie bei einem schlechten Filmschnitt: Wenn der Computer vom Außenfilm direkt zum Ich-Film springt, ist es wie ein ruckartiger Sprung. Die Kamera ist plötzlich woanders, die Perspektive ändert sich schlagartig, und das Bild wirkt zerrissen und chaotisch. Herkömmliche KI-Modelle hassen solche Sprünge; sie erwarten, dass sich die Kamera sanft bewegt.

Die Lösung: Der "Brücken-Bau" (Syn2Seq-Forcing)
Die Autoren dieses Papers haben eine clevere Idee: Statt den Computer zu zwingen, direkt von "Außen" zu "Innen" zu springen, bauen sie eine Brücke dazwischen.

Stellen Sie sich vor, Sie wollen von einem Ufer (Außenansicht) zum anderen Ufer (Ich-Perspektive) kommen.

Der alte Weg: Ein Sprung ins kalte Wasser. Man landet nass und durcheinander (schlechte KI-Ergebnisse).
Der neue Weg (diese Methode): Man baut eine sanfte Rampe oder eine Brücke dazwischen.

Wie funktioniert das genau?

Die Interpolation (Das Auffüllen der Lücke):
Bevor die KI den eigentlichen Ich-Film erzeugt, füllt sie die Lücke zwischen dem letzten Bild des Außenfilms und dem ersten Bild des Ich-Films mit neuen, künstlichen Bildern auf.
- Analogie: Es ist wie ein Film, der langsam heranzoomt. Zuerst sieht man den Radfahrer von weitem, dann rückt die Kamera langsam näher, schwebt über seinen Kopf und landet schließlich sanft auf seinem Helm. Diese "Zwischenbilder" sind nicht real, aber sie helfen der KI, den Übergang zu verstehen.
Die Kamera-Bewegung (Die Pose):
Nicht nur das Bild wird aufgefüllt, sondern auch die Position der Kamera. Die KI lernt, wie sich die Kamera sanft von der Stativ-Position zur Helm-Position dreht und bewegt.
Der "Einzelne Fluss" (Sequenz-Modellierung):
Statt zwei getrennte Aufgaben zu haben (Außenfilm -> Ich-Film), betrachtet die KI nun alles als einen langen, ununterbrochenen Film.
- Metapher: Statt zwei verschiedene Sprachen zu übersetzen, die sich nicht verstehen, schreibt man einen einzigen Roman, in dem die Geschichte fließend von einem Ort zum anderen wandert. Die KI lernt: "Wenn ich hier bin, muss ich mich langsam dorthin bewegen."

Warum ist das so genial?

Einfachheit: Die Forscher haben herausgefunden, dass schon das Hinzufügen dieser "Zwischenbilder" (ohne die Kamera-Bewegung perfekt zu berechnen) die Ergebnisse massiv verbessert. Das zeigt, dass das Hauptproblem nicht die Komplexität der 3D-Welt ist, sondern einfach der ruckartige Schnitt.
Flexibilität: Da die KI jetzt gelernt hat, eine sanfte Brücke zu bauen, kann sie das auch umgekehrt machen! Sie kann vom Ich-Film zurück zum Außenfilm fließen. Es ist ein universelles Werkzeug für alle Arten von Kamerawechseln.

Das Ergebnis
Durch diese Methode ("Syn2Seq-Forcing") entstehen Videos, die nicht mehr ruckeln oder springen. Der Übergang vom Zuschauer zum Radfahrer fühlt sich natürlich an, als würde die Kamera tatsächlich sanft durch die Luft gleiten.

Zusammenfassung in einem Satz:
Die Forscher haben die KI nicht gezwungen, einen harten Sprung zu machen, sondern ihr eine sanfte Rampe gebaut, damit sie den Wechsel von der Außen- zur Innenansicht fließend und natürlich nachahmen kann.

Titel: Von der Synchronisation zur Sequenz: Exo-zu-Ego-Generierung durch Interpolation

Autoren: Mohammad Mahdi, Nedko Savov, Danda Pani Paudel, Luc Van Gool (INSAIT, Sofia University „St. Kliment Ohridski")

1. Problemstellung

Das Ziel der Exo-zu-Ego-Video-Generierung ist die Synthese eines Ego-zentrischen (Ich-Perspektive) Videos aus einem synchronisierten Exo-zentrischen (Drittperson-Perspektive) Video und den entsprechenden Kameraposen.

Das zentrale Problem, das die Autoren identifizieren, liegt in der inhärenten Diskontinuität synchronisierter Exo-Ego-Daten:

Räumlich-zeitliche Diskontinuität: Der Übergang zwischen dem Ende des Exo-Videos und dem Beginn des Ego-Videos ist oft abrupt. Die Sichtwinkel unterscheiden sich drastisch, was zu einem großen „Gap" in der visuellen Darstellung führt.
Geometrische Diskontinuität: Die Kameraposen am Ende der Exo-Sequenz und am Anfang der Ego-Sequenz weisen häufig scharfe Sprünge auf, anstatt einer glatten Bewegung zu folgen.
Verletzung von Annahmen: Herkömmliche Video-Generierungsmodelle (basierend auf Diffusion) gehen von glatten Bewegungen und kontinuierlichen Trajektorien aus. Die abrupten Sprünge in synchronisierten Exo-Ego-Paaren verletzen diese Annahmen, was zu schlechteren Ergebnissen führt, da Modelle diese Übergänge nicht korrekt modellieren können.

Bisherige Ansätze verfolgten meist ein Condition-Output-Paradigma (das Exo-Video ist die Bedingung, das Ego-Video das direkte Output), was die Diskontinuität nicht adressiert.

2. Methodik: Syn2Seq-Forcing

Die Autoren schlagen einen Paradigmenwechsel vor: Statt eines direkten Mapping-Verfahrens wird das Problem als sequenzielle Signalmodellierung neu formuliert.

Kernidee: Interpolation als Brücke

Das Modell lernt nicht direkt von Exo zu Ego, sondern generiert eine einheitliche, kontinuierliche Sequenz, die aus drei Teilen besteht:

Exo-Teil: Das ursprüngliche Exo-Video ( $X$ ).
Interpolierter Teil: Ein künstlich generierter Übergang ( $I$ ), der die Lücke zwischen dem letzten Exo-Bild und dem ersten Ego-Bild schließt.
Ego-Teil: Das Ziel-Ego-Video ( $G$ ).

Die gesamte Sequenz $S = [X, I, G]$ wird als ein zusammenhängendes Signal behandelt.

Technische Komponenten

Datenkonstruktion (Pseudo-Ground-Truth):
- Um die Interpolationsdaten zu erzeugen, wird ein vortrainiertes Modell namens WFLF (WAN2.2 First/Last Frame) verwendet.
- WFLF generiert die fehlenden Übergangsframes zwischen dem letzten Exo-Bild und dem ersten Ego-Bild basierend auf visuellen Randbedingungen und Text-Prompts.
- Diese generierten Frames dienen als „Pseudo-Ground-Truth" für das Training, ohne dass das WFLF-Modell selbst weiter trainiert wird.
Posen-Interpolation:
- Neben den Bildern werden auch die Kameraposen interpoliert.
- Die Rotation wird mittels SLERP (Spherical Linear Interpolation) berechnet, um glatte Drehungen zu gewährleisten.
- Die Translation wird linear interpoliert.
- Dies erzeugt eine glatte Pose-Sequenz $P = [P_x, P_i, P_g]$ , die dem Modell als Bedingung dient.
Modellarchitektur (Diffusion Forcing Transformer - DFoT):
- Das System nutzt DFoT, ein Diffusions-Modell, das flexible Historie-Bedingung unterstützt.
- Im Gegensatz zu Standard-Diffusionsmodellen, die feste Bedingungsmuster annehmen, erlaubt DFoT, dass jeder Frame eine unabhängige Rauschstärke hat. Frames mit hohem Rauschen wirken wie Masken (fehlende Bedingung), während weniger verrauschte Frames historische Informationen liefern.
- Dies ermöglicht es dem Modell, dynamisch auf vergangene Frames (Exo und Interpolation) zu reagieren, um das zukünftige Ego-Video zu generieren.
Trainingsstrategie:
- Zwei-Stufen-Ansatz: Zuerst Pretraining auf Exo-Ego-Paaren ohne Interpolation, gefolgt von Fine-Tuning mit den interpolierten Sequenzen.
- Stochastische Dekomposition: Während des Trainings werden zufällig entweder der Übergang (Exo $\to$ Interpolation) oder (Interpolation $\to$ Ego) als Sub-Aufgabe ausgewählt, um beide Übergänge gemeinsam zu lernen.

3. Hauptbeiträge

Identifikation des Kernproblems: Die Autoren zeigen, dass die durch Synchronisation verursachten Diskontinuitäten (nicht die Qualität der Bedingung) das Haupt-Hindernis für Exo-zu-Ego-Generierung sind.
Neues Paradigma (Syn2Seq-Forcing): Die Umformulierung der Aufgabe von „Condition-Output" zu „Sequential Signal Modeling" durch Interpolation. Dies führt zu signifikanten Leistungssteigerungen, selbst wenn nur Video-Interpolation (ohne Pose-Interpolation) verwendet wird.
Einheitlicher Rahmen: Die Methode bietet ein flexibles Framework, das prinzipiell sowohl Exo-zu-Ego als auch Ego-zu-Exo Generierung in einem einzigen kontinuierlichen Sequenzmodell vereinen kann.

4. Ergebnisse

Die Methode wurde auf dem Ego-Exo4D-Datensatz in drei Kategorien (Fahrrad, Kochen, Gesundheit) evaluiert.

Quantitative Ergebnisse:
- Die vorgeschlagene Methode (Syn2Seq-Forcing) übertrifft alle Baselines (darunter TrajectoryCrafter, Wan-FCtrl, Exo2EgoSyn) konsistent in den Metriken PSNR, SSIM und LPIPS.
- Beispiel (Kochen-Kategorie): PSNR von 14,39 (Ours) vs. 13,90 (Exo2EgoSyn) und 13,75 (TrajectoryCrafter).
Ablationsstudien:
- Interpolation ist entscheidend: Die Verwendung von nur Video-Interpolation (ohne Pose-Interpolation) führt bereits zu massiven Verbesserungen gegenüber einem direkten Ansatz. Dies bestätigt, dass die räumlich-zeitliche Diskontinuität der Hauptfaktor ist.
- Pose-Interpolation: Die zusätzliche Interpolation der Kameraposen verbessert die Ergebnisse weiter, ist aber weniger kritisch als die Video-Interpolation.
- Pose-Embedding: Plücker-Embeddings für Kameraposen erwiesen sich als überlegen im Vergleich zu globalen Vektoren oder Ray-Encoding.
Qualitative Ergebnisse: Die generierten Videos zeigen glatte, visuell kohärente Übergänge von der Drittperson- zur Ich-Perspektive, während Baseline-Modelle oft Artefakte oder abrupte Sprünge aufweisen.

5. Bedeutung und Ausblick

Lösung eines fundamentalen Problems: Das Paper adressiert nicht nur ein spezifisches Generierungsproblem, sondern bietet eine allgemeine Lösung für die Herausforderung von „Viewpoint Jumps" in der Videogenerierung.
Flexibilität: Durch die Behandlung von Quelle, Übergang und Ziel als eine einzige Sequenz wird das Modell agiler und kann potenziell längere Sequenzen oder bidirektionale Übersetzungen (Ego $\leftrightarrow$ Exo) handhaben.
Zukunft: Die Autoren sehen Potenzial in der Verbesserung der Pose-Interpolation (z. B. durch direkte Extraktion aus generierten Frames) und der Erweiterung auf komplexere Szenarien mit höherer Variabilität.

Zusammenfassend demonstriert das Paper, dass die Einführung einer interpolierten Brücke zwischen diskontinuierlichen Ansichten die Effektivität von Diffusionsmodellen für Cross-View-Generierung drastisch steigert und einen neuen Standard für die Modellierung von räumlich-zeitlichen Übergängen setzt.