💻 computer science

Many-for-Many: Unify the Training of Multiple Video and Image Generation and Manipulation Tasks

Dit artikel introduceert "Many-for-Many", een uniform framework dat lichtgewicht adapters en een gezamenlijke beeld-video leerstrategie gebruikt om een enkel fundamenteel model te trainen dat in staat is tot meer dan tien diverse visuele generatie- en manipulatietaken, waarbij competitieve prestaties worden behaald terwijl gebruik wordt gemaakt van data uit meerdere bronnen om de hoge kosten van taakspecifieke training te overwinnen.

Oorspronkelijke auteurs: Ruibin Li, Tao Yang, Yangming Shi, Weiguo Feng, Shilei Wen, Bingyue Peng, Lei Zhang

Gepubliceerd 2026-02-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ruibin Li, Tao Yang, Yangming Shi, Weiguo Feng, Shilei Wen, Bingyue Peng, Lei Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt met instructies voor het maken van kunst. Sommige instructies zeggen: "Teken een kat," andere zeggen: "Verander deze foto van een kat in een video," en sommige zeggen: "Herstel de wazige delen van deze video" of "Kleur deze zwart-witfilm in."

Normaal gesproken heb je voor al deze taken een andere specialist nodig voor elke specifieke baan. Je hebt een "Tekst-naar-Video"-kok nodig, een "Afbeelding-naar-Video"-kok en een "Video-Bewerking"-kok. Het vanaf nul trainen van al deze koks is ongelooflijk duur en vereist enorme hoeveelheden hoogwaardige ingrediënten (data).

Maak kennis met "Many-for-Many" (MfM).

De auteurs van dit artikel hebben een "Super-Kok" gebouwd die al deze taken tegelijkertend kan uitvoeren. In plaats van tien verschillende specialisten in te huren, hebben ze één enkel model getraind dat meer dan 10 verschillende soorten visuele taken aankan, van het creëren van video's vanuit het niets tot het bewerken van bestaande video's.

Hier is hoe ze het deden, met behulp van eenvoudige analogieën:

1. De Universele Adapter (Het "Zwitsers Zakmes"-handvat)

Verschillende taken vereisen verschillende "inputs."

Tekst-naar-Video: Je geeft het een zin.
Afbeelding-naar-Video: Je geeft het een afbeelding.
Video Bewerking: Je geeft het een video met een "masker" (een sjabloon dat aangeeft welke delen veranderd moeten worden).

Normaal gesproken zijn deze inputs als puzzelstukjes met verschillende vormen die niet in hetzelfde gat passen. Het MfM-team heeft een lichtgewicht adapter ontworonden. Denk aan dit als een universeel handvat of een Zwitsers zakmes-opzetstuk. Het neemt de tekst, de afbeelding, de video, het masker en zelfs een dieptekaart (een blauwdruk van de 3D-ruimte, zoals een topografische kaart van een scène) en hervormt ze allemaal naar hetzelfde formaat. Hierdoor kan het model elke instructie begrijpen, ongeacht de vorm waarin deze wordt aangeleverd.

2. De "Joint Learning" Strategie (De "Leerling"-methode)

Het trainen van een video-AI vanaf nul is meestal als proberen iemand te leren om een marathon te lopen voordat ze kunnen lopen. Het vereist miljoenen dure video-voorbeelden.

MfM gebruikt een slimme trainingstruc genaamd Joint Image-Video Learning.

Fase 1: Ze beginnen door het model te onderwijzen met eenvoudige "Afbeelding"-taken (zoals het tekenen van een plaatje vanuit tekst). Dit is goedkoop en makkelijk.
Fase 2: Ze introduceren langzaam "Video"-taken.
De Magie: Omdat het model de basis van "visuele zaken" heeft geleerd van de afbeeldingen, heeft het niet veel minder dure video-voorbeelden nodig om te leren hoe het dingen moet laten bewegen. Het is als een leerling die eerst leert om groenten te snijden (afbeeldingen); wanneer ze vervolgens overgaan op het koken van een stoofpot (video), weten ze al hoe ze met de ingrediënten moeten omgaan.

Dit betekent dat ze een krachtig model van 8 miljard parameters konden trainen met slechts 10% van de video-data die andere topmodellen gebruiken.

3. De "3D RoPE" (De GPS voor Tijd en Ruimte)

Om video's er natuurlijk uit te laten zien, moet het model niet alleen begrijpen waar dingen zich bevinden (links, rechts, boven, onder), maar ook wanneer ze gebeuren (eerste frame, laatste frame).
Het team heeft de interne "GPS" van het model geüpgraded (genoemd 3D RoPE). In plaats van alleen de positie van een pixel op een plat scherm te kennen, begrijpt het model nu de positie in de 3D-ruimte en door de tijd heen. Dit helpt het model om vloeiende, realistische bewegingen te creëren in plaats van schokkerige, onnatuurlijke bewegingen.

4. De Resultaten: Eén Model, Veel Superkrachten

Het team heeft deze "Super-Kok" getest op twee formaten: een kleinere versie van 2 miljard en een grotere versie van 8 miljard.

Veelzijdigheid: Het model kan meer dan 10 verschillende taken uitvoeren, waaronder:
- Creatie: Tekst in video veranderen, of afbeeldingen in video.
- Extensie: Een korte clip nemen en deze langer maken.
- Bewerking: Objecten verwijderen (inpainting), nieuwe decors toevoegen (outpainting), of kleuren aanpassen.
- Verbetering: Wazige video's scherp maken (super-resolutie).
Prestaties: In directe vergelijkingen met beroemde modellen (zoals Wan2.1, Hunyuan, en zelfs commerciële reuzen zoals Sora) was het MfM-model zeer competitief. Het behaalde vaak de eerste of tweede plaats in algemene consistentie en bewegingskwaliteit, ondanks het gebruik van veel minder data.

De Kernboodschap

Het artikel beweert dat door het trainingsproces te verenigen en een slim "adapter" te gebruiken om verschillende soorten data te mengen, zij een enkel, efficiënt model hebben gecreëerd dat net zo goed (en soms zelfs beter) is dan gespecialiseerde modellen die getraind zijn voor slechts één specifieke taak. Ze bewezen dat je niet voor elke taak een apart hulpmiddel nodig hebt als je één veelzijdig hulpmiddel bouwt dat leert van een grote verscheidenheid aan ervaringen.

Wat het artikel niet claimt:
Het artikel richt zich strikt op de technische training en de prestaties van het model op standaard benchmarks. Het beweert niet specifieke klinische problemen te hebben opgelost, noch geeft het details over specifieke toekomstige commerciële producten buiten de open-source release van de code en de modelgewichten. Het is een fundamentele onderzoeksstap, geen afgewerkte consumentenapp.

Technische Samenvatting: Many-for-Many (MfM)

Probleemstelling

Huidig onderzoek naar visuele generatie en manipulatie is gefragmenteerd. Hoewel diffusiemodellen indrukwekkende resultaten hebben behaald, richten de meeste bestaande benaderingen zich op het trainen van aparte modellen voor specifieke taken (bijv. Text-to-Video of Image-to-Video) of het finetunen van een vooraf getraind Text-to-Video (T2V) fundamentmodel voor downstream-taken zoals video-manipulatie. Dit paradigma presenteert twee primaire uitdagingen:

Hoge kosten van fundamententraining: Het trainen van een robuust T2V-fundamentmodel vanaf nul vereist enorme hoeveelheden hoogwaardige, geannoteerde data, wat prohibitief duur is.
Taakfragmentatie: Bestaande modellen zijn vaak beperkt tot één of enkele taken. Om meerdere generatie- of manipulatietaken uit te voeren (bijv. inpainting, super-resolutie, kleuring), zijn doorgaans afzonderlijke modellen of complexe fine-tuning pipelines vereist, wat leidt tot inefficiëntie en inconsistente prestaties.

Methodologie

De auteurs stellen Many-for-Many (MfM) voor, een verenigd framework ontworpen om een enkel model vanaf nul te trainen dat in staat is meer dan 10 verschillende visuele generatie- en manipulatietaken uit te voeren. De kernmethodologie bestaat uit drie belangrijke componenten:

1. Unified Architectuur en Adapter

Het MfM-model is gebouwd op een Diffusion Transformer (DiT) met 3D full attention, getraind met behulp van Flow Matching. Om de diverse inputcondities over verschillende taken heen te verwerken (variërend van 0D tekstprompts tot 3D video-masks en dieptekaarten), introduceren de auteurs een lichtgewicht adapter:

Conditie-unificatie: In plaats van pixeldata, masks en dieptekaarten afzonderlijk te verwerken, concateneert de adapter deze 3D-inputs tot een verenigde feature map.
Resolutie-uitlijning: De adapter gebruikt convolutionele lagen en downsampling-blokken om de ruimtelijke en temporele resolutie van de inputcondities aan te passen aan de latent space van de video VAE (bijv. het converteren van $T \times H \times W \times C$ naar $t \times h \times w \times c$ ).
Taakidentificatie: Taaknamen (bijv. "text-to-video", "image-to-video") worden toegevoegd aan tekstprompts om de specifieke operatie te verduidelijken, vooral wanneer taken gemeenschappelijke inputs delen zoals masks.
Diepte-integratie: Dieptekaarten worden geïntroduceerd als een conditionele input om het begrip van het model van de 3D-ruimte te verbeteren.

2. Modelvarianten

Twee versies van het model zijn getraind om aan verschillende computationele behoeften te voldoen:

MfM-2B: 2 miljard parameters, 28 lagen, 28 attention heads.
MfM-8B: 8 miljard parameters, 40 lagen, 48 attention heads.
Beide maken gebruik van 3D Rotary Position Embedding (RoPE) om variërende resoluties en lengtes te verwerken, en Query-Key Normalization (QK-Norm) om de trainingsstabiliteit te waarborgen.

3. Trainingsstrategie

Het trainingsproces maakt gebruik van een progressieve joint learning strategie:

Multi-Task Joint Learning: Het model wordt getraind op een mix van beeld- en videodata. De ratio van beeld-naar-video data wordt progressief aangepast, beginnend met tekst-beeld paren om semantische verbindingen te leggen en geleidelijk video-data introduceren.
Data-augmentatie: Om het nut van beschikbare data te maximaliseren, genereert het framework diverse trainingssamples uit bestaande video's. Bijvoorbeeld, video inpainting-taken worden gecreëerd door willekeurige masks toe te passen, en video colorization-taken worden gegenereerd door video's naar grijswaarden om te zetten. Hierdoor kan het model manipulatietaken leren zonder dat er aparte, toegewijde datasets voor elke taak nodig zijn.
Resolutie-progressie: Training begint bij lage resoluties (bijv. 49×128×224) en vordert naar hogere resoluties (tot 97×720×1280), eindigend met een multi-resolutie fase met behulp van NaViT om willekeurige aspectratio's te ondersteunen.

Belangrijkste Bijdragen

Verenigd Framework: MfM is het eerste framework dat effectief een enkel model vanaf nul traint dat een breed spectrum aan taken kan afhandelen, inclus\u00adzijends T2V, I2V, video extensie, inpainting, outpainting, kleuring, super-resolutie en style transfer.
Efficiënt Datagebruik: Door gebruik te maken van een multi-task learning strategie en een verenigde adapter, gebruikt MfM data die voorheen onbruikbaar was voor standaard T2V-training (bijv. lage resolutie of watermerk-houdende data), waardoor de afhankelijkheid van kostbare hoogwaardige T2V-annotaties aanzienlijk wordt verminderd.
Prestaties met Minder Middelen: Het 8B-model bereikt concurrerende prestaties met slechts 10% van de trainingsdata die gewoonlijk vereist is door state-of-the-art open-source T2V fundamentmodellen.

Experimentele Resultaten

De auteurs hebben MfM geëvalueerd op de VBench benchmarks voor T2V en I2V, evenals een aangepaste MfM-benchmark die 16 verschillende taken beslaat.

Text-to-Video (T2V): Op de VBench-T2V benchmark behaalde MfM-8B de beste gemiddelde rang (3.04) onder de geëvalueerde modellen, waarbij het grotere modellen zoals Wan2.1 (14B), Hunyuan (13B) en commerciële systemen zoals Sora en Gen-3 overtrof. Het demonstreerde superieure prestaties op het gebied van verschijning, algehele consistentie en dynamisch vermogen.
Image-to-Video (I2V): MfM behaalde de beste gemiddelde rang (3.33) op VBench-I2V, wat een gebalanceerde prestatie laat zien tussen statische consistentie en dynamische generatie, waarmee het gespecialiseerde I2V-modellen overtrof.
Video Manipulatie: In taken zoals video inpainting, outpainting en kleuring demonstreerde MfM significante verbeteringen in referentie-gebaseerde metrieken (bijv. FID-verbeteringen van 16,4% tot 72,9% ten opzien van gespecialiseerde baselines) en superieure temporele coherentie.
Ablatieonderzoek: Een vergelijking tussen een T2V-model getraind met de multi-task strategie van MfM versus een model getraind zonder deze strategie, toonde aan dat de multi-task benadering de motion dynamic scores aanzienlijk verbeterde (0.819 vs. 0.402), wat suggereert dat blootstelling aan diverse manipulatietaken het begrip van het model van bewegingscomplexiteit versterkt.

Betekenis

Het artikel stelt dat MfM een verschuiving vertegenwoordigt naar economische en verenigde visuele fundamentmodellen. Door de training van generatie- en manipulatietaken te verenigen, demonstreert MfM dat een enkel model zeer concurrerende prestaties kan leveren over diverse visuele taken, terwijl het aanzienlijk minder data en computationele middelen vereist dan huidige gespecialiseerde of grootschalige fundamentmodellen. Het werk suggereert dat kennisoverdracht tussen beeld- en videotaken, en tussen generatie- en manipulatietaken, een levensvatbaar pad is om de kwaliteit van videogeneratie te verbeteren zonder de prohibitieve kosten die gepaard gaan met het trainen van enorme, taakspecifieke fundamentmodellen vanaf nul.

De auteurs merken beperkingen op, specifiek dat de huidige architectuur 1D (tekst) en 2D/3D (visuele) condities apart verwerkt voordat ze worden gefuseerd via self-attention. Zij suggereren dat toekomstig werk vision-language modellen zou kunnen verkennen voor een vroegere, expliciete multimodale fusie om complexe inputcondities beter te kunnen verwerken.