💻 computer science

MiVE: Multiscale Vision-language features for reference-guided video Editing

MiVE stellt einen referenzgeführten Video-Editierungsrahmen vor, der hierarchische, multiskalige Merkmale von Qwen3-VL innerhalb eines einheitlichen Self-Attention-Diffusions-Transformers nutzt, um Modality-Lücken und den Verlust räumlicher Details zu überwinden und damit einen State-of-the-Art-Performance in der Bewahrung von Bewegung und der Ausführung präziser Bearbeitungen zu erreichen.

Ursprüngliche Autoren: Tong Wang, Meng Zou, Chengjing Wu, Xiaochao Qu, Luoqi Liu, Xiaolin Hu, Ting Liu

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tong Wang, Meng Zou, Chengjing Wu, Xiaochao Qu, Luoqi Liu, Xiaolin Hu, Ting Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Heimvideo von Ihrem Freund, der die Straße entlanggeht. Sie möchten seine Haarfarbe in leuchtendes Pink ändern, aber seinen Gang, den Hintergrund und alles andere exakt gleich lassen. Dies ist die Herausforderung der referenzgesteuerten Videobearbeitung.

Die Arbeit stellt ein neues Werkzeug namens MiVE (Multiscale Vision-language features for reference-guided video Editing) vor, das dieses Problem besser löst als aktuelle Methoden, einschließlich teurer kommerzieller Systeme.

Hier ist die Funktionsweise von MiVE, erklärt durch einfache Analogien:

Das Problem: Der „Übersetzer" versus der „Architekt"

Aktuelle Videobearbeitungswerkzeuge versuchen üblicherweise, zwei Dinge getrennt zu erledigen:

Der Übersetzer: Ein System, das Ihre Textanweisungen liest (z. B. „Mache die Haare pink").
Der Architekt: Ein System, das sich das Video und das Referenzfoto ansieht, um zu verstehen, was geändert werden soll.

Die Arbeit argumentiert, dass diese beiden Systeme oft aneinander vorbeireden. Der „Übersetzer" versteht die Idee von pinken Haaren, weiß aber nicht genau, wo sich die Haare befinden. Der „Architekt" sieht die Haare, erfasst aber möglicherweise nicht vollständig die spezifische Anweisung. Wenn sie versuchen, ihre Arbeit spät im Prozess zu kombinieren, ist das Ergebnis oft unscharf, inkonsistent oder verändert Dinge, die Sie nicht ändern wollten.

Die Lösung: MiVEs „All-Hands-Besprechung"

MiVE verändert das Spiel, indem es ein einziges, mächtiges Gehirn (ein Vision-Language-Modell namens Qwen3-VL) verwendet, um alles gleichzeitig zu erledigen. Aber hier ist das Geheimnis: MiVE hört auf verschiedene „Stimmen" innerhalb dieses Gehirns.

Die Autoren entdeckten, dass Deep-Learning-Modelle Schichten haben, wie Stockwerke in einem Wolkenkratzer:

Die unteren Stockwerke (frühe Schichten): Diese sind wie Architekten mit einer Lupe. Sie sehen winzige, spezifische Details: die exakte Form eines Haarstrahls, die Textur eines Hemds oder der Rand eines Schattens.
Das oberste Stockwerk (letzte Schichten): Dies ist wie der CEO. Er versteht das große Ganze und die Bedeutung: „Das ist eine Person", „Das sind pinkfarbene Haare", „Das ist ein sonniger Tag".

Alte Methoden hörten nur dem CEO (der letzten Schicht) zu. Sie wussten, was zu tun war, verpassten aber die Details, was zu unscharfen Bearbeitungen führte.
MiVE hält eine Besprechung ab, bei der sowohl die Architekten mit den Lupen als auch der CEO gleichzeitig sprechen.

Wie es funktioniert: Die „einheitliche Bühne"

Anstatt Text, Referenzfoto und Video durch ein kompliziertes Staffellauf-System miteinander kommunizieren zu lassen (was Verzögerungen und Fehler verursacht), stellt MiVE sie alle auf eine einheitliche Bühne.

Die Eingabe: Sie geben MiVE das Originalvideo, eine Textanweisung und ein Referenzfoto (ein Bild davon, wie das Ergebnis aussehen soll).
Die Mischung: MiVE nimmt die „Lupen"-Details und die „großen Bild"-Bedeutungen aus der Referenz und der Anweisung.
Der Tanz: Es mischt all diese Informationen in einem großen Pool zusammen. Die Videobilder hören nicht nur den Anweisungen zu; sie tanzen mit ihnen. Dies stellt sicher, dass das Video, wenn es die Haarfarbe ändert, genau weiß, welche Pixel zu berühren und welche zu unberührt zu lassen sind, wodurch die ursprüngliche Bewegung perfekt erhalten bleibt.

Die Ergebnisse: Warum es gewinnt

Die Arbeit testete MiVE gegen andere führende akademische Modelle und ein berühmtes kommerzielles System (Kling O1).

In einfachen Szenarien: MiVE konnte die Farbe eines Objekts ändern oder eine Person entfernen, ohne den Hintergrund zu verwischen.
In komplexen Szenarien: Wenn das Video schnelle Bewegungen, Schatten oder Personen aufwies, die hinter Objekten entlanggingen, war MiVE das einzige System, das das Gesicht der Person erkennbar und die Beleuchtung realistisch hielt.

Die Autoren sagen, MiVE sei das Beste, weil es nicht nur rät; es verwendet die feinen Details (aus den frühen Schichten), um Präzision zu gewährleisten, und die großen Ideen (aus den letzten Schichten), um sicherzustellen, dass die Anweisung korrekt befolgt wird.

Zusammenfassung

Stellen Sie sich MiVE als einen Meister-Editor vor, der nicht nur das Drehbuch (den Text) und das Foto (die Referenz) getrennt liest und betrachtet. Stattdessen besitzt MiVE eine Superkraft: Es kann den gesamten Film und das gesamte Drehbuch gleichzeitig sehen und achtet sowohl auf die breite Geschichte als auch auf die winzigen Details gleichzeitig. Dies ermöglicht ihm, Änderungen vorzunehmen, die natürlich aussehen, konsistent bleiben und Ihre Anweisungen perfekt befolgen.

Technische Zusammenfassung: MiVE (Multiskalen-Vision-Sprachmerkmale für referenzgesteuerte Video-Bearbeitung)

1. Problemdefinition

Die Arbeit behandelt die referenzgesteuerte Video-Bearbeitung, eine Aufgabe, die die Generierung einer bearbeiteten Videosequenz auf Basis von drei Eingaben erfordert: ein Quellvideo ( $x_{src}$ ), eine Textanweisung ( $x_{text}$ ) und ein Referenzbild ( $x_{ref}$ ). Das Referenzbild ist typischerweise der erste Frame des Quellvideos, der über ein externes Bildbearbeitungsmodell modifiziert wurde, um die gewünschten Änderungen widerzuspiegeln.

Die Kernherausforderung besteht darin, zwei konkurrierende Ziele in Einklang zu bringen:

Treue Weitergabe: Das Modell muss die visuellen Attribute und Erscheinungsbild-Änderungen, die im Referenzbild spezifiziert sind, über alle Frames des Videos hinweg genau weitergeben.
Erhaltung der Integrität: Das Modell muss die ursprünglichen Bewegungsdynamiken, die semantische Integrität und den unbearbeiteten Inhalt des Quellvideos bewahren, selbst in Bereichen, die im Referenzbild verdeckt sind.

Bestehende Methoden stoßen bei der multimodalen Fusion an Grenzen:

Entkoppelte Encoder: Ansätze, die separate Encoder für Text (z. B. T5) und Vision (z. B. SigLIP) verwenden, leiden unter Modality-Gaps, bei denen die Cross-Attention in späteren Phasen die semantische Kluft zwischen Anweisungen und visuellem Inhalt nicht überbrücken kann.
Unifizierte Encoder mit Ausgabe einer einzigen Schicht: Jüngste Vision-Language-Modelle (VLMs), die als unifizierte Encoder eingesetzt werden (z. B. Kling O1), verlassen sich typischerweise ausschließlich auf Repräsentationen der letzten Schicht. Die Autoren beobachten, dass dies feingranulare räumliche Details verwirft, die für eine präzise Bearbeitung essenziell sind, da tiefere Schichten globale Semantik kodieren, während frühere Schichten lokalisierte räumliche Strukturen erfassen.

2. Methodik: MiVE

Die Autoren schlagen MiVE vor, ein Framework, das VLMs als Multiskalen-Merkmalsextraktoren umfunktioniert und in einen einheitlichen Self-Attention Diffusion Transformer (DiT) integriert. Die Architektur besteht aus drei Kernkomponenten:

A. Multiskalen-Kontextextraktion

Motiviert durch die Beobachtung, dass VLM-Schichten komplementäre Informationen hierarchisch kodieren, extrahiert MiVE Merkmale aus sowohl der ersten als auch der letzten Schicht eines vortrainierten VLM (speziell Qwen3-VL-8B).

Diagnostische Erkenntnis: Durch eine Cross-Modal-Attention-Analyse demonstrieren die Autoren, dass frühe VLM-Schichten räumliche Details präzise lokalisieren (z. B. menschliche Silhouetten), während letzte Schichten ganzheitliche Semantik erfassen.
Implementierung: Merkmale aus der ersten Schicht ( $\phi_1$ ) und der letzten Schicht ( $\phi_L$ ) werden über leichte Adapter in den DiT-Latenzraum projiziert. Diese mehrstufigen Merkmale werden konkateniert und fusioniert, um stationäre konditionale Tokens ( $c$ ) zu erzeugen, die während des Denoising-Prozesses als semantischer Anker dienen.

B. Referenzbewusste Latent-Kodierung

Um die strukturelle Integrität zu bewahren und die Generierung an das Referenzerscheinungsbild zu binden, kodiert die Methode visuelle Eingaben (Quellvideo, Zielvideo und Referenzbild) unter Verwendung eines vortrainierten VAE in einen gemeinsamen Latenzraum.

Eingabe-Konstruktion: Während des Trainings und der Inferenz konstruiert das Modell eine einheitliche Eingabe, indem es zwei zeitlich augmentierte Zweige entlang der Kanaldimension konkateniert: einen „verrauschten Ziel"-Zweig und einen „Steuer"-Zweig.
Verankerung: Der saubere Referenz-Latent ( $z_{ref}$ ) wird beiden Zweigen vorangestellt. Dies stellt sicher, dass das Modell während des Diffusionsprozesses einen konsistenten Erscheinungsbild-Anker beibehält und verhindert, dass der Referenzstil driftet.

C. Einheitlicher Self-Attention-Rückgrat

Im Gegensatz zu entkoppelten Architekturen, die Modalitäten über separate Cross-Attention-Zweige fusionieren, verarbeitet MiVE alle Tokens – konditionalen Kontext ( $c$ ) und visuelle Latent-Tokens ( $v$ ) – innerhalb eines einheitlichen Self-Attention-Manifolds.

Mechanismus: Die konditionalen Tokens und visuellen Tokens werden zu einer einzigen Sequenz $u^{(0)} = [c; v]$ konkateniert.
Adaptive Modulation: Das Modell verwendet eine pro-Token adaptive Schichtnormalisierung (AdaLN). „Saubere" Tokens (Kontext und Referenz-Patches) werden als vollständig denoisiert ( $t=0$ ) moduliert und wirken als stabile Anker, während „verrauschte" Tokens (verbleibende Videopatches) entsprechend dem aktuellen Zeitschritt moduliert werden.
Vorteil: Dieses Design eliminiert die bei Cross-Attention-Designs inhärente Modalitätsinkonsistenz, ermöglicht eine bidirektionale Fusion und eine tiefe Integration feingranularer räumlicher Details mit globalem semantischem Kontext innerhalb eines gemeinsamen Raums.

3. Hauptbeiträge

Multiskalen-Merkmalsextraktion: Die Arbeit identifiziert und nutzt die hierarchische Natur von VLMs, indem sie komplementäre Merkmale aus frühen (räumlichen) und späten (semantischen) Schichten extrahiert, um den Kompromiss zwischen Detailerhaltung und Anweisungsbefolgung zu adressieren.
Einheitliche Self-Attention-Architektur: MiVE führt einen einheitlichen Token-Modellierungsansatz ein, der konditionale und visuelle Tokens gemeinsam verarbeitet, wodurch die Grenzen asymmetrischer Cross-Attention vermieden und eine bessere Modalitätsausrichtung ermöglicht werden.
Referenzbewusste Latent-Kodierung: Die Methode employs eine spezifische Latent-Konkatenationsstrategie, die den Referenzframe sowohl den verrauschten als auch den Steuer-Zweigen voranstellt, wodurch eine stabile Erscheinungsbild-Weitergabe ohne explizite Segmentierungsmasken gewährleistet wird.

4. Experimentelle Ergebnisse

Die Autoren evaluierten MiVE auf einem kuratierten Benchmark von 60 Videos (720p), unterteilt in eine Einfache Teilmenge (lokalisierte Bearbeitung) und eine Komplexe Teilmenge (ganzheitliche Szenentransformationen, schnelle Bewegungen, Verdeckungen).

Quantitative Leistung:
- Automatisierte Evaluation: Unter Verwendung von Gemini-3-Flash über sechs Dimensionen (Anweisungsbefolgung, Inhaltskonsistenz, zeitliche Glätte, physikalischer Realismus, visuelle Ästhetik, Stil-Kohärenz) erzielte MiVE in der Komplexen Teilmenge in allen Dimensionen die höchsten Werte und rangierte in der Einfachen Teilmenge an erster oder zweiter Stelle.
- Menschliche Präferenz: In einer Nutzerstudie mit 30 Teilnehmern rangierte MiVE bei der menschlichen Präferenz für beide Teilmengen am höchsten und übertraf führende akademische Methoden (VACE, LucyEdit, VideoCof, Wan-Animate) sowie das kommerzielle System Kling O1.
Ablationsstudien:
- Architektur: Der Ersatz der einheitlichen Self-Attention durch entkoppelte Encoder oder Cross-Attention-Mechanismen führte zu signifikanten Leistungseinbußen, was die Notwendigkeit des einheitlichen Manifolds validiert.
- Schichtauswahl: Die Verwendung nur früher Schichten oder nur letzter Schichten ergab im Vergleich zum kombinierten „Erste + Letzte"-Ansatz unterlegene Ergebnisse, was den Nutzen der Multiskalen-Extraktion bestätigt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass MiVE einen State-of-the-Art-Ansatz für die referenzgesteuerte Video-Bearbeitung darstellt. Ihre Bedeutung liegt in:

Überwindung von Modalitätslücken: Durch die Vereinigung konditionaler und visueller Tokens in einem Self-Attention-Manifold erreicht das Modell eine tiefere cross-modale Reasoning-Fähigkeit als frühere entkoppelte oder cross-attention-basierte Ansätze.
Ausgleich von Fidelity und Semantik: Die Multiskalen-Extraktionsstrategie löst erfolgreich die Spannung zwischen der Bewahrung feingranularer räumlicher Details (essenziell für Identität und Textur) und dem Verständnis globaler semantischer Anweisungen.
Praktische Anwendbarkeit: Die Methode arbeitet ohne explizite Segmentierungsmasken, was sie für komplexe Bearbeitungsszenarien geeignet macht, in denen das Erhalten genauer Masken schwierig oder unmöglich ist.

Die Autoren positionieren MiVE als robuste Lösung für Anwendungen in der Film-Postproduktion, Content-Erstellung und visuellen Effekten, wobei sie gleichzeitig das Potenzial für Missbrauch (z. B. Deepfakes) anerkennen und für verantwortungsvolle Nutzung sowie Detektionsmechanismen plädieren.