🤖 AI

Rebalancing Reference Frame Dominance to Improve Motion in Image-to-Video Models

Dieses Papier stellt DyMoS vor, eine trainingsfreie und modellagnostische Methode, die die Bewegungsdynamik bei der Bild-zu-Video-Generierung verbessert, indem sie die Dominanz von Referenzrahmen im Aufmerksamkeitsmechanismus neu ausbalanciert und so die Unterdrückung von Bewegungen überwindet, ohne die visuelle Qualität zu beeinträchtigen oder zusätzliches Training zu erfordern.

Ursprüngliche Autoren: Wooseok Jeon, Seungho Park, Seunghyun Shin, Sangeyl Lee, Hyeonho Jeong, Hae-Gon Jeon

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wooseok Jeon, Seungho Park, Seunghyun Shin, Sangeyl Lee, Hyeonho Jeong, Hae-Gon Jeon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Das „eingefrorene" Video

Stellen Sie sich vor, Sie haben ein Foto eines Pferdes und bitten einen Computer, daraus ein Video zu machen, auf dem das Pferd galoppiert. Sie würden erwarten, dass das Pferd davonstürmt. Doch oft sind aktuelle KI-Modelle dem ursprünglichen Foto gegenüber zu „höflich". Sie lassen das Pferd an Ort und Stelle gefroren, vielleicht wackelt es nur leicht mit den Ohren, weil sie so Angst haben, das Bild zu verändern, das Sie ihnen gegeben haben.

Das Papier nennt dies die „Static Motion Bias" (Statische Bewegungs-Bias). Die KI ist so sehr darauf fokussiert, den ersten Frame (das Referenzbild) perfekt zu erhalten, dass sie vergisst, den Rest des Videos in Bewegung zu versetzen.

Die Entdeckung: Der „übermäßig aufmerksame" Schüler

Die Forscher haben unter die Haube geschaut, wie diese KI-Modelle funktionieren. Sie entdeckten ein spezifisches Verhalten, das sie „Reference-Frame Dominance" (Dominanz des Referenz-Frames) nennen.

Stellen Sie sich das KI-Modell als einen Schüler vor, der eine Prüfung schreibt.

Der Text-Prompt ist die Frage: „Lass das Pferd rennen."
Das Referenzbild ist ein Foto des Pferdes auf dem Schreibtisch.

Bei einem normalen Text-zu-Video-Modell betrachtet der Schüler die Frage und stellt sich das rennende Pferd vor.
Bei einem Bild-zu-Video-Modell starrt der Schüler jedoch zu intensiv auf das Bild auf dem Schreibtisch. Jedes Mal, wenn der Schüler versucht, den nächsten Frame des Videos zu zeichnen, schaut er auf das Bild und sagt: „Okay, ich muss diesen nächsten Frame genau so aussehen lassen wie das Bild."

Weil der Schüler so besessen davon ist, das Bild zu kopieren, zeichnet er das Pferd nie wirklich in Bewegung. Das „Bild" dominiert die „Vorstellungskraft".

Die Lösung: DyMoS (Der „Bewegungs-Regler")

Die Forscher entwickelten ein Werkzeug namens DyMoS (Dynamic Motion Slider). Es erfordert kein erneutes Trainieren der KI oder Änderungen am ursprünglichen Foto. Stattdessen wirkt es wie ein Lautstärkeregler für die Besessenheit des Schülers.

So funktioniert es:

Der Eingriff: Während der allerersten Momente der Videogenerierung (den „Denoising"-Schritten) klopft DyMoS dem Schüler sanft auf die Schulter. Es sagt: „Hey, hör auf, so intensiv auf das Referenzbild zu starren. Du musst jetzt die Bewegung vorstellen."
Der Mechanismus: Technisch gesehen passt es eine bestimmte Zahl (eine „Bias") im Aufmerksamkeits-System der KI an. Es senkt leicht die Punktzahl, die die KI den Referenzbild-Token gibt, wenn sie entscheidet, wie der nächste Frame aussehen soll.
Das Ergebnis: Die KI darf das Bild weiterhin sehen (das Pferd sieht also immer noch wie das Pferd aus), aber sie ist nicht mehr gezwungen, es perfekt zu kopieren. Dies befreit die KI, das Pferd rennen, das Auto fahren oder das Wasser spritzen zu lassen.

Die „Slider"-Funktion

Das Coolste an DyMoS ist, dass es ein Slider ist und nicht nur ein Ein/Aus-Schalter. Der Benutzer hat eine Zahl, die er drehen kann:

Nach unten drehen (Negative Zahlen): Die KI wird noch mehr von dem Bild besessen. Das Video wird noch statischer (nützlich, wenn Sie ein Standbild wollen, das sich kaum bewegt).
Nach oben drehen (Positive Zahlen): Der KI wird gesagt, die „eingefrorene" Natur des Bildes stärker zu ignorieren. Das Video wird sehr dynamisch und energiegeladen.
Mittlerer Bereich: Sie können die perfekte Balance finden, bei der sich das Video natürlich bewegt, aber die Figur immer noch genau so aussieht wie das Foto, mit dem Sie begonnen haben.

Warum es besser ist als frühere Methoden

Frühere Versuche, dieses Problem des „eingefrorenen Videos" zu lösen, waren wie der Versuch, ein Auto zu reparieren, indem man den Motor zertrümmert oder die Räder übermalt.

Einige Methoden erforderten das Neu-Training der gesamten KI (teuer und langsam).
Andere versuchten, das Eingabebild zu verwischen oder zu verzerren, um Bewegung zu erzwingen, was das Video oft hässlich oder verzerrt aussehen ließ.

DyMoS ist anders, weil:

Es Training-frei ist: Sie müssen der KI nichts Neues beibringen. Sie nutzen das Werkzeug einfach, während die KI arbeitet.
Es modellagnostisch ist: Es funktioniert mit fast jeder modernen Video-KI (wie Wan 2.2, HunyuanVideo, CogVideoX).
Es die Qualität erhält: Es lässt das Video bewegen, ohne dass das Bild unscharf oder seltsam aussieht.

Zusammenfassung

Das Papier identifiziert, dass Bild-zu-Video-Modelle ihren Eingabebildern gegenüber „zu höflich" sind, was zu Videos führt, die langweilig und still sind. Sie haben dies mit DyMoS behoben, einem einfachen Werkzeug, das wie ein Lautstärkeregler wirkt und die Besessenheit der KI mit dem Startfoto genau so weit herunterregelt, dass die Bewegung entstehen kann, alles ohne Änderung des Modells oder des ursprünglichen Bildes.

Technische Zusammenfassung: Neubalance der Referenzrahmen-Dominanz zur Verbesserung der Bewegung in Bild-zu-Video-Modellen

Problemstellung

Bild-zu-Video-Modelle (I2V) sind zwar in der Lage, das Erscheinungsbild eines Referenzbildes zu bewahren, leiden jedoch häufig unter einer „statischen Bewegungsverzerrung". Im Vergleich zu Text-zu-Video-Modellen (T2V) erzeugen I2V-Modelle oft Videos mit übermäßig eingeschränkter oder schwacher Bewegung, selbst wenn der Text-Prompt ausdrücklich dynamische Aktionen beschreibt. Bestehende Ansätze zur Minderung dieses Problems beinhalten typischerweise Modifikationen des Bild-Konditionierungspfads (z. B. Hinzufügen von Rauschen oder Neugestaltung des Flow-Matching) oder eine Abschwächung des Konditionierungssignals. Diese Methoden erfordern jedoch häufig zusätzliches Training oder führen zu einem Zielkonflikt, bei dem eine verbesserte Bewegung auf Kosten der Treue zum Referenzbild geht.

Methodik: DyMoS (Dynamic Motion Slider)

Die Autoren schlagen DyMoS vor, eine trainingsfreie und modellagnostische Methode, die die statische Bewegungsverzerrung adressiert, indem sie direkt während der Inferenz in den Selbst-Aufmerksamkeitsmechanismus eingreift, ohne die Modellgewichte oder das Eingabebild zu verändern.

Kern-Erkenntnis: Dominanz des Referenzrahmens

Durch eine Analyse der Selbst-Aufmerksamkeitskarten in gepaarten T2V- und I2V-Generierungen identifizieren die Autoren ein Phänomen, das sie als Dominanz des Referenzrahmens bezeichnen. In I2V-Modellen weisen Query-Token in Nicht-Referenzrahmen im Vergleich zu ihren T2V-Pendants signifikant mehr Aufmerksamkeit auf die Key-Token des Referenzrahmens (dem ersten Rahmen) auf. Diese übermäßige Aufmerksamkeit propagiert Referenzinformationen über die Zeitachse, unterdrückt inter-frame Dynamiken und führt zu statischen Ausgaben.

Technische Umsetzung

DyMoS mildert diese Dominanz durch eine Neubalance der Aufmerksamkeits-Logits während der ersten Denoisingschritte. Die Methode führt einen skalaren Bias-Shift für die Aufmerksamkeits-Logits ein, die mit Key-Token des Referenzrahmens assoziiert sind.

Die Modulation wird wie folgt angewendet:

Logit-Anpassung: Für Nicht-Referenz-Query-Token ( $i \notin I_{f0}$ ), die auf Referenz-Key-Token ( $j \in I_{f0}$ ) achten, wird ein positiver Skalar $\gamma$ von den Aufmerksamkeits-Logits $L[i, j]$ vor der Softmax-Operation subtrahiert:
$\tilde{L}[i, j] = L[i, j] - \gamma \cdot \phi(f(i)) \cdot \mathbb{1}[j \in I_{f0}] \cdot \mathbb{1}[i \notin I_{f0}]$
Hier steuert $\gamma$ die Stärke des Eingriffs, und $\phi(\cdot)$ ist ein rahmenspezifischer Zeitplan (standardmäßig uniform).
Zeitlicher Umfang: Die Modulation wird nur während des ersten $\lambda$ -Anteils der Denoisingschritte angewendet. Dies zielt auf die frühe Phase ab, in der die globale Bewegung bestimmt wird, während spätere Schritte die Erscheinung und zeitliche Kohärenz unter Verwendung der Standardaufmerksamkeit verfeinern können.
Classifier-Free Guidance (CFG): Die Modulation wird ausschließlich auf den text-konditionierten Zweig der CFG-Gleichung angewendet, wobei der Null-Text-Zweig unverändert bleibt. Dies lenkt den geführten Update weg von der Dominanz des Referenzrahmens, während die strukturelle Integrität des Generierungsprozesses gewahrt bleibt.

Hauptbeiträge

Identifikation des Mechanismus: Die Arbeit identifiziert die „Dominanz des Referenzrahmens" in der Selbst-Aufmerksamkeit als primären Treiber statischer Bewegung in I2V-Modellen und unterscheidet sie von einfachen Konditionierungsproblemen bei der Eingabe.
Trainingsfreie Intervention: DyMoS bietet eine einfache, modellagnostische Lösung, die kein Fine-Tuning, kein Neutrainieren und keine Modifikation des Eingabebildes erfordert. Sie operiert ausschließlich durch Anpassung der Aufmerksamkeits-Logits während der Inferenz.
Kontinuierliche Steuerung: Die Methode führt einen einzelnen skalaren Parameter ( $\gamma$ ) ein, der es Benutzern ermöglicht, das Spektrum von einer strikten Bewahrung des Referenzbildes (statisch) bis hin zu hochdynamischer Bewegung kontinuierlich zu steuern und so effektiv die Lücke zwischen I2V- und T2V-Bewegungsdynamiken zu überbrücken.
Erhaltung der Treue: Im Gegensatz zu früheren Methoden, die visuelle Qualität oder Referenzkonsistenz opfern, um Bewegung zu verbessern, verbessert DyMoS die Bewegungsdynamik bei gleichzeitiger Aufrechterhaltung einer hohen Treue zum Referenzbild und visueller Qualität.

Experimentelle Ergebnisse

Die Autoren validierten DyMoS über mehrere state-of-the-art I2V-Backbones hinweg, darunter Wan 2.2, Wan 2.1, HunyuanVideo-1.5 und CogVideoX-5B.

Bewegungsdynamik: Über alle Backbones hinweg erzielte DyMoS konsistent höhere Dynamic Degree-Werte (gemessen durch VBench und VideoScore) im Vergleich sowohl zum Vanilla-Baseline als auch zur state-of-the-art-Methode ALG. Beispielsweise stieg der Dynamic Degree bei Wan 2.2 von 51,7 (Baseline) auf 64,8 (DyMoS), eine signifikante Verbesserung gegenüber ALG mit 55,3.
Visuelle Qualität: Entscheidend behielt DyMoS Video Quality-Werte bei, die mit der Baseline und ALG vergleichbar waren, was zeigt, dass eine verbesserte Bewegung die visuelle Treue nicht verschlechtert.
Text-Alignment: Die Methode erzielte die höchsten ViCLIP-Werte unter den verglichenen Methoden, was darauf hindeutet, dass die Reduzierung der Dominanz des Referenzrahmens es dem Modell ermöglicht, Bewegungsbeschreibungen in Text-Prompts besser zu befolgen.
Menschliche Präferenz: In einer Nutzerstudie wurde DyMoS häufiger als das beste Video über alle Kriterien hinweg (Bewegungsdynamik, Referenzrahmen-Treue, Text-Alignment und Gesamtvorliebe) ausgewählt als die Baseline oder ALG.
Effizienz: Die Methode verursacht einen vernachlässigbaren Overhead zur Inferenzzeit (z. B. 1,2 % bei Wan 2.2), da sie nur leichte elementweise Operationen auf Aufmerksamkeits-Logits beinhaltet und keine zusätzlichen Forward-Passes erfordert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die statische Bewegungsverzerrung in der I2V-Generierung keine inhärente Einschränkung des Konditionierungsmechanismus selbst ist, sondern vielmehr eine Konsequenz dessen, wie Referenzinformationen durch die Selbst-Aufmerksamkeit geleitet werden. Durch Eingreifen auf der Ebene der Aufmerksamkeits-Logits balanciert DyMoS den Fokus des Modells effektiv neu, ermöglicht dynamische Bewegung, ohne die Kernstärken von I2V-Modellen (Referenztreue) zu beeinträchtigen.

Die Autoren positionieren DyMoS als praktisches Werkzeug für Benutzer und Entwickler, das eine „Gleitleiter" der Bewegungssteuerung über einen einzelnen Parameter bietet. Sie weisen darauf hin, dass die Methode zwar effektiv ist, aber übermäßig große Modulationsstärken die Erscheinungskonsistenz verringern können, und dass zukünftige Arbeiten eine automatische Anpassung der Modulationsstärke basierend auf spezifischen Prompts oder Bewegungstypen untersuchen könnten. Die Arbeit zeigt, dass einfache, gezielte Eingriffe in den Aufmerksamkeitsmechanismus erhebliche Verbesserungen der generativen Videoqualität ohne die Rechenkosten eines Neutrainings bewirken können.