🤖 machine learning

Paris 2.0: A Decentralized Diffusion Model for Video Generation

Paris 2.0 is het eerste gedecentraliseerde diffusiemodel dat in staat is tot het trainen van tijdelijk coherente videogenereatie, en bereikt een verbetering van ongeveer 2,0x in Frechet Video Distance ten opzichte van monolithische modellen onder een gelijkblijvend rekenbudget.

Oorspronkelijke auteurs: Ali Rouzbayani, Bidhan Roy, Marcos Villagra, Zhiying Jiang

Gepubliceerd 2026-05-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ali Rouzbayani, Bidhan Roy, Marcos Villagra, Zhiying Jiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren bewegende beelden (video's) te maken op basis van een beschrijving die je hem geeft. Normaal gesproken heb je daarvoor een enorme, extreem dure computerzaal nodig, gevuld met duizenden krachtige grafische kaarten die perfect synchroon werken. Als één kaart stopt, stopt het hele team. Dit is de "monolithische" manier van werken.

Paris 2.0 is een nieuwe manier om dit te doen die die gigantische, dure zaal niet nodig heeft. In plaats daarvan maakt het gebruik van een "gedecentraliseerde" aanpak, zoals een team van zzp'ers die vanuit verschillende koffiehuizen over de hele wereld werken, allemaal verbonden door een slimme manager.

Hieronder wordt uitgelegd hoe het paper dit uitlegt, opgesplitst in eenvoudige concepten:

1. Het Probleem: De "Grote Baas" versus het "Team"

De Oude Weg (Monolithisch): Stel je voor dat één enkel, gigantisch brein probeert alles over video tegelijk te leren. Het moet worden getraind op één enkele supercomputer. Het is duur, moeilijk te bouwen, en als de internetverbinding met die ene computer wegvalt, stopt de training.
De Nieuwe Weg (Paris 2.0): Stel je voor dat je drie verschillende artiesten (genaamd Experts) inhuurt. Elke artiest werkt in zijn eigen kleine studio op zijn eigen computer. Ze praten niet met elkaar terwijl ze leren. Ze oefenen gewoon op hun eigen specifieke stapel video's.
- De Magie: Omdat ze niet op elkaar hoeven te wachten om een stap te voltooien, kunnen ze goedkopere, verspreide computers gebruiken (zelfs die welke mensen per uur huren) voor de training.

2. Hoe Het Werkt: De "Slimme Manager"

Wanneer je het systeem vraagt een video te maken (zoals "een vrouw met blond haar die spreekt"), kiest het systeem niet zomaar één artiest. Het gebruikt een Router (de Slimme Manager).

Het Proces:
1. Je typt je prompt.
2. De video wordt stap voor stap gebouwd, zoals het laagje voor laagje schillen van een ui om het beeld te onthullen.
3. Bij elke enkele stap van het schillen van de ui, kijkt de Router naar het huidige rommelige beeld en vraagt: "Wie is het beste in het repareren van dit specifieke deel?"
4. De Router kan zeggen: "Expert A is geweldig aan het begin van de video, maar Expert B is beter aan het einde."
5. Het kiest direct de juiste expert om de volgende stap te doen.

De Analogie: Denk aan het maken van een film. Op de oude manier moest één regisseur elke scène regisseren, van de explosie tot het rustige gesprek. In Paris 2.0 heb je een regisseur die precies weet welke specialist hij voor welke scène moet bellen. Één specialist is geweldig in actie, een andere in emoties. De "Router" schakelt tussen hen heen en weer, direct terwijl de film afspeelt.

3. De Resultaten: Betere Kwaliteit, Minder Kosten

Het paper testte dit nieuwe team van experts tegen het oude "gigantische brein"-model. Ze gaven beide precies dezelfde hoeveelheid rekenkracht en precies dezelfde data om van te leren.

De Score: Het nieuwe gedecentraliseerde team (Paris 2.0) maakte video's die er veel realistischer uitzagen en beter aansloten bij de tekst-prompt.
- Ze halveerden een belangrijke foutenscore (FVD) (van 561 naar 279).
- De video's zagen er mooier uit en volgden de instructies nauwkeuriger.
De Verrassing: Het paper vond dat de "team"-aanpak eigenlijk beter werkte dan het gigantische enkele model, zelfs al was de totale hoeveelheid gebruikte rekenkracht hetzelfde.

4. Waarom Dit Belangrijk Is (Volgens het Paper)

Het paper beweert dat dit bewijst dat je geen enorme, gecentraliseerde supercomputer nodig hebt om geavanceerde video-AI te trainen.

Specialisatie: De verschillende "experts" leerden op natuurlijke wijze goed te worden in verschillende soorten video's (zoals verschillende camerabewegingen of scènes), omdat ze op verschillende stukken data trainden.
Schaalbaarheid: Als je de AI slimmer wilt maken, hoef je geen grotere supercomputer te bouwen. Je huurt gewoon een andere "expert" in (train een ander model) en laat de Router leren ze te gebruiken.

Kortom: Paris 2.0 toont aan dat door het werk te verdelen over veel kleinere, onafhankelijke modellen en een slim systeem te gebruiken om tussen hen te schakelen, we hoogwaardige video-AI kunnen creëren zonder de duurste computers ter wereld nodig te hebben. Het verandert video-generatie van een "één gigantisch brein"-probleem in een "samenwerkend team"-probleem.

Technische Samenvatting: Paris 2.0 – Een Gedecentraliseerd Diffusiemodel voor Videogeneratie

1. Probleemstelling

Huidige videogeneratiemodellen vertrouwen op een monolithisch trainingsparadigma, waarbij één enkel model wordt getraind op een brede mengeling van videodatasets met behulp van een homogene cluster van hoog-breedbandige, co-gevestigde GPU's. Deze aanpak creëert aanzienlijke infrastructuurbeperkingen, omdat parameterupdates synchronisatie vereisen over strak gekoppelde hardware. Hoewel Gedecentraliseerde Diffusiemodellen (DDM's) succesvol hebben aangetoond dat beeldgeneratie kan worden getraind zonder monolithische clusters (zoals getoond in Paris 1.0 [2]), bleef het uitbreiden hiervan naar temporaal coherente videogeneratie een open probleem. Videogeneratie legt zwaardere lasten op aan experts, waaronder bewegingsmodellering, langere temporele contexten en aanzienlijk grotere latente ruimtes, wat de vraag oproept of gedecentraliseerde, asynchrone training wel hoogwaardige, coherente video kan opleveren.

2. Methodologie

Kernarchitectuur

Paris 2.0 is een ensemble van onafhankelijke diffusie-experts die bij inferentie worden gecombineerd door een geleerde router. Het systeem bestaat uit drie primaire componenten:

Gedeelde Preprocessing Stack: Video's worden gecodeerd naar opgeslagen causale HunyuanVAE-latente ruimten. Prompts worden gecodeerd met T5-v1.1-XXL en CLIP-ViT-L/14. Deze stack is ontkoppeld van het trainingsforwardpad om de rekenkosten te verlagen.
Expert Pool: Het model maakt gebruik van drie 11B-parameter FLUX-stijl MM-DiT (Multimodal Diffusion Transformer) experts. Elke expert wordt vanaf nul getraind op een distincte datacluster met een flow-matching velocity-objectief. Cruciaal is dat experts tijdens het trainen geen gradiënten, parameters of activaties uitwisselen; ze worden geoptimaliseerd in isolatie op heterogene hardware (inclusief spot-instanties en consumentenhardware).
Router: Een lichtgewicht DiT-B-model (~100M parameters) voert bij elke denoisestap routing uit. Het verbruikt de huidige ruisbehalde latent, diffusietijdstap, gepoolde CLIP-tekstvectoren en een optionele DINOv2-kenmerk van het eerste frame. Het geeft routinggewichten uit om de top- $K$ experts te selecteren. In tegenstelling tot de experts heeft de router geen toegang tot volledige T5-embeddings, maar vertrouwt het in plaats daarvan op de gepoolde CLIP-vector.

Training en Inferentie

Training: Elke expert is beperkt tot zijn eigen datacluster. De router wordt onafhankelijk getraind als een supervisied clusterclassificator, die het bron-clusterlabel voorspelt van een ruisbehalde latent gekoppeld aan zijn CLIP-tekstkenmerk.
Inferentie: Bij elke denoisestap leest de router de huidige staat en selecteert experts om het video-velocityveld te evalueren. De gewogen som van deze experts' velocityvelden drijft een ODE-oplosser naar de volgende latent. Dit ontwerp zorgt ervoor dat de berekening per steekproef in de orde van grootte blijft van een enkele backbone, terwijl de totale capaciteit horizontaal schaalt door meer experts toe te voegen.

3. Belangrijkste Bijdragen

Eerste Gedecentraliseerd Videomodel: Paris 2.0 is het eerste videogeneratiemodel dat volledig is voorgeprogrammeerd via gedecentraliseerde berekening, wat bewijst dat temporaal coherente video kan worden gegenereerd zonder monolithische GPU-clusters.
Ontkoppelde Berekening voor Video: Het artikel breidt het recept voor ontkoppelde berekening uit van afbeeldingen naar video, en toont aan dat distincte dataclusters met verschillende bewegingspatronen en scenedynamiek kunnen worden benut door gespecialiseerde experts zonder dat elke steekproef voor elke expert hoeft te betalen.
Expert Specialisatie: De studie levert bewijs dat experts die in isolatie zijn getraind, werkelijk specialiseren in hun toegewezen dataclusters in plaats van in te storten naar een marginale verdeling, een voorwaarde voor effectieve routing.
Routing versus Ensembling: Door middel van ablatiestudies tonen de auteurs aan dat prestatiewinst voortkomt uit het routingmechanisme over gespecialiseerde experts, en niet uit eenvoudig ensembleren of uitsluitend een verhoogd aantal parameters.

4. Experimentele Resultaten

De auteurs hebben Paris 2.0 (Fase 1, drie-expert DDM) geëvalueerd tegen een monolithische 11B MM-DiT die is getraind op de unie van dezelfde dataclusters onder een iso-FLOP en iso-data budget (elke expert ziet 1/3 van de data en berekening van het monolithische model).

Kwantitatieve Verbeteringen (Laag-resolutie 256×256 tekst-naar-video):

Fréchet Video Distance (FVD): Verminderd van 561.04 (Monolithisch) naar 279.01 (DDM), wat een ~2.0× verbetering vertegenwoordigt in distributierealiteit.
CLIP Tekst-Video Similariteit: Verhoogd van 0.2032 naar 0.2178.
Esthetische Score: Verbeterd van 3.7950 naar 3.9036.
Beweging: De DDM toonde een hogere per-frame verplaatsingsgrootte (0.712 vs 0.555), hoewel de auteurs opmerken dat dit een beschrijvende maatstaf is voor grootte, niet voor temporele consistentie.

Ablatiebevindingen:

Schakelschema: Een afwisselend handmatig schema over twee experts presteerde beter dan enkele experts op alle metrieken, wat wijst op directionele specialisatie over denoisetijd (bijvoorbeeld: één expert prefereert hoog-ruisstappen, een andere laag-ruis).
Specialisatiekloof: Een expert die is getraind op een specifieke cluster behaalde een CLIP-score van 0.2175 op prompts van zijn eigen cluster versus 0.1781 op een generieke set, wat echte specialisatie bevestigt.

5. Betekenis en Claims

Het artikel beweert dat Paris 2.0 de open vraag sluit of gedecentraliseerde training temporaal coherente video kan produceren. De primaire betekenis ligt in het aantonen dat expertcapaciteit die in isolatie is getraind, niet alleen de overgang naar video overleeft, maar ook presteert boven een enkele backbone die op dezelfde data is getraind.

De auteurs positioneren dit werk als een stap richting fysische AI-wereldmodellen. Zij betogen dat fundamentele wereldmodellen omgevingen moeten bestrijken die ver buiten de capaciteit van elke enkele trainingscluster liggen. Door experts per omgeving te specialiseren en over hen te routeren, biedt Paris 2.0 een pad om wereldmodellen te trainen op de gedistribueerde berekening die de wereld al heeft, in plaats van te vertrouwen op monolithische clusters die alleen toegankelijk zijn voor enkele laboratoria. De resultaten suggereren dat het DDM-recept robuust genoeg is om te schalen van afbeeldingen naar complexe, bewegingsrijke videogeneratie.