🤖 AI

Mobile Video Diffusion

Dieses Paper stellt MobileVD vor, das erste für Mobilgeräte optimierte Video-Diffusionsmodell, das durch Auflösungsreduktion, multiskalige zeitliche Repräsentationen, neuartige Pruning-Strategien und adversarielles Ein-Schritt-Finetuning eine 523-fache Effizienzsteigerung gegenüber Stable Video Diffusion erreicht und somit eine qualitativ hochwertige Videogenerierung auf Mobilgeräten mit minimalem Qualitätsverlust ermöglicht.

Ursprüngliche Autoren: Haitam Ben Yahia, Denis Korzhenkov, Ioannis Lelekas, Amir Ghodrati, Amirhossein Habibian

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haitam Ben Yahia, Denis Korzhenkov, Ioannis Lelekas, Amir Ghodrati, Amirhossein Habibian

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen magischen Künstler, der in der Lage ist, ein einzelnes Foto in einen kurzen, bewegten Film zu verwandeln. Dieser Künstler ist unglaublich talentiert, aber er ist auch ein Riese. Er benötigt ein riesiges, superteures Studio (einen leistungsstarken Cloud-Server mit High-End-Grafikkarten), um seine Arbeit zu verrichten. Zu versuchen, diesen Riesen in Ihr handtellergroßes Smartphone zu quetschen, ist so, als würde man versuchen, einen Elefanten in einen Fahrradkorb zu setzen – es passt einfach nicht hinein, und der Korb würde zerbrechen.

Dieses Paper stellt MobileVD vor, eine neue Version dieses Künstlers, die geschrumpft wurde, um perfekt in ein Smartphone zu passen, während sie dennoch eine großartige Arbeit leistet. Hier ist die Erklärung, wie sie das geschafft haben, verdeutlicht durch einfache Analogien:

1. Das Problem: Der „schwere“ Künstler

Der ursprüngliche Künstler (genannt SVD) erstellt fantastische Videos, aber der Prozess ist schwerfällig. Es ist, als würde man versuchen, einen 50-Kilo-Rucksack einen Berg hinaufzutragen. Der Rucksack ist voll mit schwerer Ausrüstung (Rechenleistung) und Speicherplatz. Wenn man versucht, dies auf einem Telefon auszuführen, gehen der Akku und der Speicher des Telefons sofort zur Neige.

2. Die Lösung: Der „mobile“ Künstler

Die Forscher nahmen den Riesen-Künstler und gaben ihm ein komplettes Makeover, um ihn „mobilfreundlich“ zu machen. Sie haben den Künstler nicht nur schneller arbeiten lassen; sie haben grundlegend verändert, wie er seine Werkzeuge trägt.

Hier sind die vier Haupttricks, die sie angewendet haben:

Trick A: Senkung der Auflösung (Die „Skizzen“-Strategie)

Der ursprüngliche Künstler zeichnet jedes Frame in einer riesigen, hochauflösenden Größe (wie eine riesige Werbetafel). Der mobile Künstler zeichnet in einer kleineren, für das Telefon geeigneten Größe (wie eine Postkarte).

Der Haken: Wenn man die Zeichnung einfach nur schrumpft, sieht sie verschwommen und schlecht aus.
Die Lösung: Sie haben den Künstler speziell darauf trainiert, in dieser kleineren Größe zu zeichnen, sodass die „Postkarte“ genauso gut aussieht wie die „Werbetafel“ es in diesem Maßstab tun würde.

Trick B: Zeitliche Skalenkompression (Die „Vorspul“-Strategie)

Der ursprüngliche Künstler betrachtet jedes einzelne Frame des Videos nacheinander, selbst die, die sich kaum verändern. Das ist langsam.

Die Lösung: Der mobile Künstler hat gelernt, in der Zeit „vorzuspulen“. Er betrachtet das Video in Blöcken, überspringt die langweiligen Teile und konzentriert sich nur auf die wichtigen Veränderungen. Es ist, als würde man ein Buch lesen, indem man die langweiligen Kapitel überfliegt und die spannenden im Detail liest. Dies spart eine enorme Menge an Energie.

Trick C: Der „Kanal-Trichter“ (Die „Engpass“-Strategie)

Stellen Sie sich vor, das Gehirn des Künstlers hat breite Korridore, durch die Informationen fließen. In der riesigen Version sind diese Korridore 30 Meter breit. In der mobilen Version sind sie zu breit für die engen Gänge des Telefons.

Die Lösung: Sie haben „Trichter“ (Verengungen der Korridore) in der Mitte des Prozesses installiert.
- Wie es funktioniert: Sie pressen die Informationen durch einen engen Hals (verringern die Breite) und weiten sie dann sofort wieder aus.
- Die Magie: Sie haben einen speziellen Weg gefunden, den Trichter in das Gehirn des Künstlers zu „kleben“, bevor der Künstler mit der Arbeit beginnt. Das bedeutet, der Künstler muss die Dinge nicht extra zusammenpressen; das Gehirn ist von vornherein einfach schmaler gebaut, erinnert sich aber trotzdem an alles, was es wissen muss.

Trick D: Das Beschneiden der „Zeitblöcke“ (Die „Fettabbau“-Strategie)

Der ursprüngliche Künstler hat viele Schichten von „Zeit-Experten“, die ihm helfen zu verstehen, wie sich Dinge bewegen. Die Forscher stellten fest, dass nicht alle diese Experten gleichermaßen wichtig sind. Einige sind nur zur Schau da.

Die Lösung: Sie nutzten eine intelligente Trainingsmethode, um zu identifizieren, welche Experten tatsächlich die schwere Arbeit leisten. Dann haben sie diejenigen entlassen, die nicht benötigt wurden.
Das Ergebnis: Sie haben bis zu 70 % dieser Zeit-Experten-Schichten entfernt. Der Künstler ist nun viel leichter und schneller, aber das Video sieht immer noch flüssig aus, weil die wichtigsten Experten noch da sind.

3. Der letzte Schliff: Ein-Schritt-Magie

Normalerweise muss dieser Künstler 25 kleine Schritte machen, um ein Video fertigzustellen, so wie man 25 winzige Schritte macht, um einen Raum zu durchqueren.

Die Lösung: Sie verwendeten eine Technik namens „Adversarial Finetuning“. Denken Sie an dies als einen strengen Trainer, der den Künstler dazu drängt, zu lernen, wie man einen einzigen großen Sprung statt 25 kleiner Schritte macht.
Das Ergebnis: Der Künstler kann nun den gesamten Video-Prozess in einem einzigen Durchgang abschließen.

Das Ergebnis: Ein super-schneller Handy-Filmemacher

Durch die Kombination all dieser Tricks haben die Teams MobileVD erschaffen.

Geschwindigkeit: Es ist 523-mal effizienter als das ursprüngliche riesige Modell.
Leistung: Auf einem High-End-Smartphone (wie einem Xiaomi 14 Pro) kann es einen 14-Frame-Videoclip in nur 1,7 Sekunden generieren.
Qualität: Die Videoqualität ist etwas niedriger als die der riesigen Cloud-Version (wie eine sehr gute Skizze im Vergleich zu einem Meistergemälde), aber sie ist dennoch sehr beeindruckend und nutzbar.

Kurz gesagt: Sie haben einen Video-erstellenden Riesen genommen, seine Größe geschrumpft, sein Denken gestrafft, die unnötigen Helfer entlassen und ihn beigebracht zu springen statt zu gehen, sodass er glücklich in Ihrem Smartphone leben kann.

Technisches Resümee: Mobile Video Diffusion

Problemstellung

Video-Diffusionsmodelle haben durch räumlich-zeitliche Denoising-Architekturen wie 3D-UNets oder 3D-Diffusion-Transformer (DiTs) erhebliche Fortschritte in Bezug auf Realismus und Steuerbarkeit erzielt. Diese Modelle erfordern jedoch einen hohen Speicher- und Rechenaufwand, was ihren Einsatz auf Cloud-Umgebungen mit High-End-GPUs beschränkt. Diese Einschränkung behindert die Einführung von Videogenerierungstechnologien für Anwendungen, die eine lokale Ausführung auf mobilen Geräten erfordern.

Bisherige Arbeiten konzentrierten sich primär auf die Beschleunigung der Video-Diffusion durch Reduzierung der Sampling-Schritte (z. B. via Consistency Models oder Adversarial Distillation). Diese Ansätze adressieren jedoch nicht den grundlegenden Speicher- und Rechenfußabdruck der Modellarchitektur selbst. Folglich bleiben bestehende Methoden aufgrund der Ressourcenbeschränkungen für den Einsatz auf Mobilgeräten unpraktikabel.

Methodik

Die Autoren führen MobileVD ein, das erste mobil-optimierte Video-Diffusionsmodell. Ausgehend vom räumlich-zeitlichen UNet von Stable Video Diffusion (SVD) wenden die Autoren eine Reihe von architektonischen und trainingsbezogenen Optimierungen an, um den Speicherverbrauch und die Rechenkosten zu senken und gleichzeitig die visuelle Qualität beizubehalten.

1. Adversarial Finetuning (Schritt-Reduktion)

In Anlehnung an das SF-V-Framework setzen die Autoren Adversarial Finetuning ein, um den Denoising-Prozess von 25 Schritten auf einen einzigen Schritt zu reduzieren.

Mechanismus: Ein Diskriminator wird mit dem Encoder-Teil des Denoising-UNets initialisiert. Der Generator wird unter Verwendung von Pseudo-Huber- und Non-Saturating-Adversarial-Losses trainiert, wobei ein R1-Penalty zur Regularisierung des Diskriminators eingesetzt wird.
Ergebnis: Ermöglicht die Videogenerierung in einem einzigen Durchgang (Single-Pass), was die Inferenzzeit drastisch reduziert.

2. Mobile-freundliche UNet-Architektur

Um das UNet an mobile Beschränkungen anzupassen, werden mehrere strukturelle Modifikationen eingeführt:

Low-Resolution Finetuning: Die Eingangsauflösung wird auf $512 \times 256$ ( $64 \times 32$ in Latent-Auflösung) reduziert. Das Modell wird bei dieser Zielauflösung feinjustiert, um die Qualitätsminderung zu verhindern, die beim bloßen Skalieren eines vortrainierten hochauflösenden Modells beobachtet wird.
Temporale Multiskalierung: Anstatt die temporale Auflösung im gesamten Netzwerk konstant zu halten, führen die Autoren Operationen zur temporalen Downsampling- und Upsampling-Verarbeitung ein. Die Feature-Maps werden nach dem ersten Downsampling-Block entlang der temporalen Achse um den Faktor 2 downgesampelt und vor dem finalen Upsampling-Block mittels Nearest-Neighbor-Upscaling wiederhergestellt. Dies reduziert FLOPs und Latenz bei minimalem Qualitätsverlust.
Optimierte Cross-Attention: In SVD sind Cross-Attention-Layer auf ein einzelnes Kontext-Token (das CLIP-Embedding des konditionierenden Bildes) ausgerichtet. Die Autoren identifizieren, dass die Berechnung der Ähnlichkeitskarte ( $QK^T$ ) und des Softmax für ein einzelnes Key-Token eine Null-Operation (no-op) darstellt. Sie entfernen die Query- und Key-Projektionsmatrizen sowie die Ähnlichkeitsberechnung, was die mobile Latenz signifikant reduziert und Out-of-Memory-Fehler (OOM) auf Geräten verhindert.

3. Neuartige Pruning-Techniken

Um das Modell weiter zu komprimieren, werden zwei neuartige Pruning-Strategien vorgeschlagen:

Channel Funneling: Eine Methode zur Reduzierung der Kanaldimensionalität von Affine-Layern (speziell in Attention-Mechanismen) während der Inferenz.
- Mechanismus: Zwei Funnel-Matrizen ( $F_1, F_2$ ) werden zwischen die Linearen Layer eingefügt, um die intermediäre Kanaldimension ( $c'$ ) zu reduzieren. Während der Inferenz werden diese Funnels mit den ursprünglichen Gewichtmatrizen verschmolzen.
- Initialisierung: Die Autoren schlagen eine Coupled Singular Initialization (CSI) vor, die eine trunkierte Singulärzerlegung nutzt, um die Funnel-Matrizen zu initialisieren, wodurch die beste Low-Rank-Approximation der ursprünglichen effektiven Gewichtmatrix nachgeahmt wird.
- Training: Die Funnel-Matrizen werden gemeinsam mit dem Netzwerk trainiert.
Learnable Temporal Block Pruning:
- Mechanismus: Jedem temporalen Block wird ein Wichtigkeitswert ( $q_i$ ) zugewiesen. Während des Trainings wird für jeden Block ein Zero-Eins-Gate basierend auf den Inklusionswahrscheinlichkeiten gezogen, die aus diesen Wichtigkeitswerten abgeleitet sind.
- Optimierung: Die Inklusionswahrscheinlichkeiten werden über ein beschränktes Optimierungsproblem gelernt, um sicherzustellen, dass pro Iteration ein spezifisches Budget an Blöcken ( $n$ ) ausgewählt wird. Ein Straight-Through Estimator (STE) ermöglicht das End-to-End-Training.
- Inferenz: Es werden nur die Top- $n$ Blöcke mit den höchsten Wichtigkeitswerten beibehalten.

Kernbeiträge

Erstes mobiles Video-Diffusionsmodell: Die Arbeit präsentiert MobileVD, den ersten Versuch, ein räumlich-zeitliches Video-Generativmodell direkt auf mobilen Geräten bereitzustellen.
Architektonische Optimierungen: Einführung von temporaler Multiskalierung und optimierter Cross-Attention, die speziell auf die Hardware-Beschränkungen mobiler Geräte zugeschnitten sind.
Neuartige Pruning-Schemata: Entwicklung von „Channel Funneling“ zur Breitenreduktion und einer Technik für „Learnable Temporal Block Pruning“, die eine signifikante Parameterreduktion ohne manuelle Architektur-Suche ermöglicht.
Adversarial Step Reduction: Anwendung von Adversarial Finetuning, um eine Single-Step-Generierung auf einem mobil-optimierten Backbone zu erreichen.

Ergebnisse

Die Autoren evaluieren MobileVD auf einem Xiaomi-14 Pro Smartphone, das mit der Qualcomm Snapdragon® 8 Gen 3 Mobile Platform ausgestattet ist.

Effizienz: MobileVD ist in Bezug auf die Rechenkosten 523-mal effizienter (1817,2 vs. 4,34 TFLOPs) als das Baseline-Modell SVD.
Latenz: Es generiert Latents für einen 14-Frame-Clip ( $14 \times 512 \times 256$ px) in 1,7 Sekunden auf dem mobilen Gerät.
Qualität: Das Modell erreicht eine Fréchet Video Distance (FVD) von 149 (gegenüber 171 beim Baseline-Modell in spezifischen Vergleichen, obwohl das Abstract 149 vs. 171 als leichten Abfall beschreibt). Die Autoren merken an, dass eine Differenz von bis zu 20 FVD-Einheiten typischerweise innerhalb der Standardabweichung liegt und die visuelle Qualität nicht signifikant beeinflusst.
Vergleich: MobileVD übertrifft andere Beschleunigungsmethoden (AnimateLCM, SF-V, UFOGen) im Qualitäts-Effizienz-Trade-off und bietet ein besseres FVD bei signifikant geringerer Berechnung.

Bedeutung und Ansprüche

Das Paper beansprucht, die erste Arbeit zu sein, die erfolgreich ein Video-Diffusionsmodell für den mobilen Einsatz realisiert hat. Indem sie sowohl die iterativen Sampling-Kosten als auch den architektonischen Speicher-/Rechen-Fußabdruck adressieren, demonstrieren die Autoren, dass Videogenerierung auf Consumer-Mobilgeräten machbar ist.

Die Autoren positionieren diese Arbeit als „Sprungbrett“ (Steppingstone) für eine breitere Zugänglichkeit. Sie räumen aktuelle Einschränkungen ein, insbesondere die Beschränkung auf 14 Frames bei einer Auflösung von $256 \times 512$ , und schlagen vor, dass zukünftige Arbeiten effizientere Autoencoder nutzen könnten, um die räumlichen und temporalen Kompressionsraten zu erhöhen. Die Arbeit wird als Schritt zur Demokratisierung der Videogenerierung gerahmt, um Nutzern die lokale Erstellung von Inhalten mit weniger Zugriffskontrollen im Vergleich zu Cloud-basierten Lösungen zu ermöglichen.