💻 computer science

Many-for-Many: Unify the Training of Multiple Video and Image Generation and Manipulation Tasks

Dieses Paper stellt „Many-for-Many“ vor, ein einheitliches Framework, das leichte Adapter und eine gemeinsame Bild-Video-Lernstrategie einsetzt, um ein einzelnes Foundation-Modell zu trainieren, das in der Lage ist, über zehn verschiedene visuelle Generierungs- und Manipulationsaufgaben auszuführen, wobei eine wettbewerbsfähige Leistung erzielt wird, während gleichzeitig Daten aus mehreren Quellen genutzt werden, um die hohen Kosten der aufgabenspezifischen Trainings zu überwinden.

Ursprüngliche Autoren: Ruibin Li, Tao Yang, Yangming Shi, Weiguo Feng, Shilei Wen, Bingyue Peng, Lei Zhang

Veröffentlicht 2026-02-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ruibin Li, Tao Yang, Yangming Shi, Weiguo Feng, Shilei Wen, Bingyue Peng, Lei Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige Bibliothek mit Anweisungen zur Erstellung von Kunst. Einige Anweisungen lauten: „Zeichne eine Katze“, andere sagen: „Verwandle dieses Foto einer Katze in ein Video“ und einige sagen: „Repariere die unscharfen Teile dieses Videos“ oder „Koloriere diesen Schwarz-Weiß-Film“.

Normalerweise benötigt man für all diese Dinge einen anderen Spezialisten für jeden einzelnen Job. Sie brauchen einen „Text-zu-Video“-Koch, einen „Bild-zu-Video“-Koch und einen „Video-Editing“-Koch. Jeden dieser Köche von Grund auf neu auszubilden, ist unglaublich teuer und erfordert riesige Mengen an hochwertigen Zutaten (Daten).

Hier kommt „Many-for-Many“ (MfM) ins Spiel.

Die Autoren dieser Arbeit haben einen „Super-Chef“ gebaut, der all diese Jobs gleichzeitig erledigen kann. Anstatt zehn verschiedene Spezialisten einzustellen, haben sie ein einziges Modell trainiert, das über 10 verschiedene Arten von visuellen Aufgaben bewältigen kann – von der Erstellung von Videos aus dem Nichts bis hin zur Bearbeitung bestehender Videos.

Hier ist, wie sie es gemacht haben, unter Verwendung einfacher Analogien:

1. Der universelle Adapter (Der „Schweizer Taschenmesser-Griff“)

Verschiedene Aufgaben erfordern unterschiedliche „Inputs“.

Text-zu-Video: Sie geben ihm einen Satz.
Bild-zu-Video: Sie geben ihm ein Bild.
Video-Editing: Sie geben ihm ein Video mit einer „Maske“ (einer Schablone, die zeigt, welche Teile geändert werden sollen).

Normalerweise sind diese Inputs wie Puzzleteile mit unterschiedlichen Formen, die nicht in dasselbe Loch passen. Das MfM-Team hat einen leichten Adapter entwickelt. Denken Sie an dies als einen universellen Griff oder ein Schweizer Taschenmesser-Zubehörteil. Er nimmt den Text, das Bild, das Video, die Maske und sogar eine Tiefenkarte (eine Blaupause des 3D-Raums, wie eine topografische Karte der Szene) und formt sie alle in dasselbe Format um. Dies ermöglicht es dem Modell, jede Anweisung zu verstehen, egal in welcher Form sie kommt.

2. Die „Joint Learning“-Strategie (Die „Lehrlings-Methode“)

Ein Video-KI von Grund auf neu zu trainieren, ist normalerweise so, als würde man versuchen, jemandem beizubringen, einen Marathon zu laufen, bevor er laufen kann. Es erfordert Millionen von teuren Videobeispielen.

MfM nutzt einen cleveren Trainings-Trick namens Joint Image-Video Learning.

Phase 1: Sie beginnen damit, das Modell mit einfachen „Bild“-Aufgaben zu unterrichten (wie das Zeichnen eines Bildes aus einem Text). Das ist günstig und einfach.
Phase 2: Sie führen langsam „Video“-Aufgaben ein.
Die Magie: Da das Modell die Grundlagen des „Visuellen“ durch die Bilder gelernt hat, muss es nicht so viele teure Videobeispiele verwenden, um zu lernen, wie man Dinge in Bewegung setzt. Es ist wie ein Lehrling, der zuerst lernt, Gemüse zu hacken (Bilder); wenn er dann zum Kochen eines Eintopfs (Video) übergeht, weiß er bereits, wie man mit den Zutaten umgeht.

Das bedeutet, dass sie ein leistungsstarkes Modell mit 8 Milliarden Parametern unter Verwendung von nur 10 % der Videodaten trainieren konnten, die andere Top-Modelle verwenden.

3. Das „3D RoPE“ (Das GPS für Zeit und Raum)

Damit Videos natürlich aussehen, muss das Modell nicht nur verstehen, wo Dinge sind (links, rechts, oben, unten), sondern auch, wann sie passieren (erster Frame, letzter Frame).
Das Team hat das interne „GPS“ des Modells (genannt 3D RoPE) aufgerüstet. Anstatt nur die Position eines Pixels auf einem flachen Bildschirm zu kennen, versteht das Modell nun die Position im 3D-Raum und durch die Zeit hindurch. Dies hilft dem Modell, flüssige, realistische Bewegungen zu erzeugen, anstatt ruckartige, unnatürliche.

4. Die Ergebnisse: Ein Modell, viele Superkräfte

Das Team testete diesen „Super-Chef“ in zwei Größen: einer kleineren 2-Milliarden-Version und einer größeren 8-Milliarden-Version.

Vielseitigkeit: Das Modell kann über 10 verschiedene Aufgaben ausführen, darunter:
- Kreation: Verwandlung von Text in Video oder Bildern in Video.
- Erweiterung: Einen kurzen Clip nehmen und ihn länger machen.
- Bearbeitung: Objekte entfernen (Inpainting), neue Szenarien hinzufügen (Outpainting) oder Farben ändern.
- Verbesserung: Unscharfe Videos scharf machen (Super-Resolution).
Leistung: In direkten Tests gegen berühmte Modelle (wie Wan2.1, Hunyuan und sogar kommerzielle Giganten wie Sora) war das MfM-Modell äußerst wettbewerbsfähig. Es belegte oft Platz 1 oder 2 in Bezug auf die Gesamtkonsistenz und die Bewegungsqualität, obwohl es deutlich weniger Daten verwendete.

Das Fazit

Die Arbeit behauptet, dass sie durch die Vereinheitlichung des Trainingsprozesses und die Verwendung eines smarten „Adapters“ zur Mischung verschiedener Arten von Daten ein einziges, effizientes Modell geschaffen haben, das genauso gut (und manchmal besser) ist als spezialisierte Modelle, die nur für einen spezifischen Job trainiert wurden. Sie haben bewiesen, dass man nicht für jeden Job ein separates Werkzeug braucht, wenn man ein vielseitiges Werkzeug baut, das von einer breiten Palette an Erfahrungen lernt.

Was die Arbeit nicht behauptet:
Die Arbeit konzentriert sich strikt auf das technische Training und die Leistung des Modells bei Standard-Benchmarks. Sie behauptet nicht, spezifische klinische Probleme gelöst zu haben, noch beschreibt sie spezifische zukünftige kommerzielle Produkte über die Open-Source-Veröffentlichung des Codes und der Modellgewichte hinaus. Es ist ein grundlegender Forschungsschritt, keine fertige Konsumenten-App.

Technisches Resümee: Many-for-Many (MfM)

Problemstellung

Die aktuelle Forschung im Bereich der visuellen Generierung und Manipulation ist fragmentiert. Während Diffusionsmodelle beeindruckende Ergebnisse erzielt haben, konzentrieren sich die meisten bestehenden Ansätze darauf, separate Modelle für spezifische Aufgaben zu trainieren (z. B. Text-to-Video oder Image-to-Video) oder ein vortrainiertes Text-to-Video (T2V) Foundation-Modell für Downstream-Aufgaben wie Videomanipulation feinabzustimmen. Dieses Paradigma stellt zwei primäre Herausforderungen dar:

Hohe Kosten des Foundation-Trainings: Das Training eines robusten T2V-Foundation-Modells von Grund auf erfordert enorme Mengen an hochwertigen, annotierten Daten, was prohibitiv teuer ist.
Aufgabenfragmentierung: Bestehende Modelle sind oft auf eine oder wenige Aufgaben beschränkt. Um mehrere Generierungs- oder Manipulationsaufgaben (z. B. Inpainting, Super-Resolution, Kolorierung) durchzuführen, sind typischerweise distinkte Modelle oder komplexe Fine-Tuning-Pipelines erforderlich, was zu Ineffizienz und inkonsistenter Leistung führt.

Methodik

Die Autoren schlagen Many-for-Many (MfM) vor, ein vereinheitlichtes Framework, das darauf ausgelegt ist, ein einzelnes Modell von Grund auf zu trainieren, das in der Lage ist, über 10 verschiedene visuelle Generierungs- und Manipulationsaufgaben auszuführen. Die Kernmethodik umfasst drei Schlüsselkomponenten:

1. Vereinheitlichte Architektur und Adapter

Das MfM-Modell basiert auf einem Diffusion Transformer (DiT) mit 3D-Full-Attention, der mittels Flow Matching trainiert wird. Um die vielfältigen Eingangsbedingungen über verschiedene Aufgaben hinweg zu handhaben (die von 0D-Textprompts bis hin zu 3D-Video-Masken und Tiefenkarten reichen), führen die Autoren einen leichtgewichtigen Adapter ein:

Konditions-Vereinheitlichung: Anstatt Pixeldaten, Masken und Tiefenkarten separat zu verarbeiten, konkateniert der Adapter diese 3D-Inputs zu einer vereinheitlichten Feature-Map.
Auflösungsanpassung: Der Adapter verwendet Faltungsschichten (Convolutional Layers) und Downsampling-Blöcke, um die räumlichen und zeitlichen Auflösungen der Eingangsbedingungen an den latenten Raum des Video-VAE anzupassen (z. B. die Konvertierung von $T \times H \times W \times C$ zu $t \times h \times w \times c$ ).
Aufgabenerkennung: Aufgabennamen (z. B. „text-to-video“, „image-to-video“) werden an Textprompts angehängt, um die spezifische Operation zu klären, insbesondere wenn Aufgaben gemeinsame Inputs wie Masken verwenden.
Tiefenintegration: Tiefenkarten werden als konditionale Eingabe eingeführt, um die Wahrnehmung des Modells für den 3D-Raum zu verbessern.

2. Modellvarianten

Es werden zwei Versionen des Modells trainiert, um unterschiedliche Rechenbedürfnisse abzudecken:

MfM-2B: 2 Milliarden Parameter, 28 Schichten, 28 Attention-Heads.
MfM-8B: 8 Milliarden Parameter, 40 Schichten, 48 Attention-Heads.
Beide nutzen 3D Rotary Position Embedding (RoPE), um variierende Auflösungen und Längen zu handhaben, sowie Query-Key Normalization (QK-Norm), um die Trainingsstabilität zu gewährleisten.

3. Trainingsstrategie

Der Trainingsprozess nutzt eine progressive Joint-Learning-Strategie:

Multi-Task Joint Learning: Das Modell wird auf einer Mischung aus Bild- und Videodaten trainiert. Das Verhältnis von Bild- zu Videodaten wird progressiv angepasst, beginnend mit Text-Bild-Paaren, um semantische Verbindungen herzzustellen, und unter schrittweiser Einführung von Videodaten.
Datenaugmentation: Um den Nutzen der verfügbaren Daten zu maximieren, generiert das Framework diverse Trainingsbeispiele aus bestehenden Videos. Beispielsweise werden für Video-Inpainting-Aufgaben zufällige Masken angewendet, und für Video-Kolorierungsaufgaben werden Videos in Graustufen umgewandelt. Dies ermöglicht es dem Modell, Manipulationsaufgaben zu erlernen, ohne auf separate, dedizierte Datensätze für jede Aufgabe angewiesen zu sein.
Auflösungsprogression: Das Training beginnt bei niedrigen Auflösungen (z. B. 49×128×224) und schreitet zu höheren Auflösungen vor (bis zu 97×720×1280), abschließend mit einer Multi-Resolution-Phase unter Verwendung von NaViT, um beliebige Seitenverhältnisse zu unterstützen.

Kernbeiträge

Vereinheitlichtes Framework: MfM ist das erste Framework, das ein einziges Modell von Grund auf trainiert, welches effektiv ein breites Spektrum an Aufgaben bewältigt, einschließlich T2V, I2V, Video-Extension, Inpainting, Outpainting, Kolorierung, Super-Resolution und Style Transfer.
Effiziente Datennutzung: Durch die Nutzung einer Multi-Task-Learning-Strategie und eines vereinheitlichten Adapters nutzt MfM Daten, die für das Standard-T2V-Training zuvor unbrauchbar waren (z. B. niedrig auflösende oder wasserzeichenbehaftete Daten), wodurch die Abhängigkeit von kostspieligen, hochwertigen T2V-Annotationen signifikant reduziert wird.
Leistung mit geringeren Ressourcen: Das 8B-Modell erreicht eine konkurrenzfähige Leistung mit nur 10 % der Trainingsdaten, die typischerweise von hochmodernen Open-Source-T2V-Foundation-Modellen benötigt werden.

Experimentelle Ergebnisse

Die Autoren evaluierten MfM auf den VBench-Benchmarks für T2V und I2V sowie auf einem benutzerdefinierten MfM-Benchmark, der 16 distinkte Aufgaben abdeckt.

Text-to-Video (T2V): Auf dem VBench-T2V-Benchmark erreichte MfM-8B den besten Durchschnittsrang (3.04) unter den evaluierten Modellen und übertraf damit größere Modelle wie Wan2.1 (14B), Hunyuan (13B) sowie kommerzielle Systeme wie Sora und Gen-3. Es zeigte eine überlegene Leistung in Bezug auf Erscheinungsbild, Gesamtkonsistenz und Dynamikgrad.
Image-to-Video (I2V): MfM erreichte den besten Durchschnittsrang (3.33) auf VBench-I2V, was eine ausgewogene Leistung zwischen statischer Konsistenz und dynamischer Generierung zeigt und spezialisierte I2V-Modelle übertrifft.
Video-Manipulation: In Aufgaben wie Video-Inpainting, Outpainting und Kolorierung demonstrierte MfM signifikante Verbesserungen bei referenzbasierten Metriken (z. B. FID-Verbesserungen von 16,4 % bis 72,9 % gegenüber spezialisierten Baselines) und eine überlegene zeitliche Kohärenz.
Ablationsstudie: Ein Vergleich eines T2V-Modells, das mit der Multi-Task-Strategie von MfM trainiert wurde, gegenüber einem Modell ohne diese Strategie zeigte, dass der Multi-Task-Ansatz die Motion-Dynamic-Scores signifikant verbesserte (0,819 vs. 0,402), was darauf hindeutet, dass die Exposition gegenüber diversen Manipulationsaufgaben das Verständnis des Modells für Bewegungskomplexität vertieft.

Bedeutung

Das Paper behauptet, dass MfM einen Wandel hin zu ökonomischen und vereinheitlichten visuellen Foundation-Modellen darstellt. Durch die Vereinigung des Trainings von Generierungs- und Manipulationsaufgaben zeigt MfM, dass ein einzelnes Modell eine hochgradig konkurrenzfähige Leistung über diverse visuelle Aufgaben hinweg erreichen kann, während es gleichzeitig wesentlich weniger Daten und Rechenressourcen benötigt als aktuelle spezialisierte oder großskalierte Foundation-Modelle. Die Arbeit legt nahe, dass der Wissenstransfer zwischen Bild- und Videodaten sowie zwischen Generierungs- und Manipulationsaufgaben ein gangbarer Weg ist, um die Qualität der Videogenerierung zu verbessern, ohne die prohibitiven Kosten, die mit dem Training massiver, aufgabenspezifischer Foundation-Modelle von Grund auf verbunden sind.

Die Autoren weisen auf Limitationen hin, insbesondere dass die aktuelle Architektur 1D- (Text) und 2D/3D- (visuelle) Bedingungen separat verarbeitet, bevor sie via Self-Attention fusioniert werden. Sie schlagen vor, dass zukünftige Arbeiten Vision-Language-Modelle untersuchen könnten, um eine frühere, explizite multimodale Fusion zu ermöglichen, um komplexe Eingangsbedingungen besser zu handhaben.