🤖 machine learning

Paris 2.0: A Decentralized Diffusion Model for Video Generation

Paris 2.0 est le premier modèle de diffusion décentralisé capable d'entraîner une génération vidéo temporellement cohérente, réalisant une amélioration d'environ 2,0 fois de la distance vidéo Fréchet par rapport aux modèles monolithiques sous un budget de calcul équivalent.

Auteurs originaux : Ali Rouzbayani, Bidhan Roy, Marcos Villagra, Zhiying Jiang

Publié 2026-05-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ali Rouzbayani, Bidhan Roy, Marcos Villagra, Zhiying Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez enseigner à un robot comment dessiner des images en mouvement (des vidéos) à partir d'une description que vous lui donnez. Habituellement, pour ce faire, vous avez besoin d'une salle informatique massive et ultra-chère, remplie de milliers de cartes graphiques puissantes travaillant ensemble en parfaite synchronisation. Si une carte s'arrête, toute l'équipe s'arrête. C'est la façon « monolithique » de faire les choses.

Paris 2.0 est une nouvelle façon de procéder qui n'a pas besoin de cette salle géante et coûteuse. Au lieu de cela, elle utilise une approche « décentralisée », comme une équipe de freelances travaillant depuis différents cafés à travers le monde, tous connectés par un gestionnaire intelligent.

Voici comment l'article l'explique, décomposé en concepts simples :

1. Le Problème : Le « Grand Patron » contre l'« Équipe »

L'Ancienne Méthode (Monolithique) : Imaginez un seul cerveau géant essayant d'apprendre tout sur la vidéo en une seule fois. Il doit être entraîné sur un seul superordinateur géant. C'est cher, difficile à construire, et si la connexion Internet vers cet ordinateur unique tombe, l'entraînement s'arrête.
La Nouvelle Méthode (Paris 2.0) : Imaginez engager trois artistes différents (appelés Experts). Chaque artiste travaille dans son propre petit studio sur son propre ordinateur. Ils ne se parlent pas pendant qu'ils apprennent. Ils s'exercent simplement sur leur propre tas spécifique de vidéos.
- La Magie : Parce qu'ils n'ont pas à attendre que les autres terminent une étape, ils peuvent utiliser des ordinateurs moins chers et dispersés (même ceux que les gens louent à l'heure) pour l'entraînement.

2. Comment Ça Marche : Le « Gestionnaire Intelligent »

Lorsque vous demandez au système de créer une vidéo (comme « une femme aux cheveux blonds qui parle »), le système ne choisit pas simplement un artiste. Il utilise un Routeur (le Gestionnaire Intelligent).

Le Processus :
1. Vous tapez votre prompt.
2. La vidéo est construite étape par étape, comme éplucher un oignon couche par couche pour révéler l'image.
3. À chaque étape unique de l'épluchage de l'oignon, le Routeur examine l'image actuelle désordonnée et demande : « Qui est le meilleur pour réparer cette partie spécifique ? »
4. Le Routeur pourrait dire : « L'Expert A est excellent au début de la vidéo, mais l'Expert B est meilleur à la fin. »
5. Il choisit instantanément le bon expert pour effectuer l'étape suivante.

L'Analogie : Pensez à la réalisation d'un film. Dans l'ancienne méthode, un seul réalisateur devait diriger chaque scène, de l'explosion à la conversation calme. Dans Paris 2.0, vous avez un réalisateur qui sait exactement quel spécialiste appeler pour chaque scène. Un spécialiste est excellent pour l'action, un autre pour les émotions. Le « Routeur » bascule entre eux instantanément pendant que le film se déroule.

3. Les Résultats : Meilleure Qualité, Moins de Coûts

L'article a testé cette nouvelle équipe d'experts contre l'ancien modèle de « cerveau géant ». Ils ont fourni aux deux exactement la même quantité de puissance de calcul et exactement les mêmes données à apprendre.

Le Score : La nouvelle équipe décentralisée (Paris 2.0) a produit des vidéos qui semblaient beaucoup plus réalistes et correspondaient mieux aux prompts textuels.
- Ils ont réduit un score d'erreur majeur (FVD) de moitié (de 561 à 279).
- Les vidéos semblaient plus belles et suivaient les instructions plus fidèlement.
La Surprise : L'article a constaté que l'approche par « équipe » fonctionnait en réalité mieux que le modèle unique géant, même si la quantité totale de puissance de calcul utilisée était la même.

4. Pourquoi C'est Important (Selon l'Article)

L'article affirme que cela prouve que vous n'avez pas besoin d'un superordinateur centralisé massif pour entraîner une IA vidéo avancée.

Spécialisation : Les différents « experts » ont naturellement appris à être bons dans différents types de vidéos (comme différents mouvements de caméra ou scènes) parce qu'ils se sont entraînés sur différents morceaux de données.
Évolutivité : Si vous voulez rendre l'IA plus intelligente, vous n'avez pas besoin de construire un superordinateur plus grand. Vous engagez simplement un autre « expert » (entraînez un autre modèle) et laissez le Routeur apprendre à les utiliser.

En résumé : Paris 2.0 montre qu'en divisant le travail entre de nombreux modèles plus petits et indépendants et en utilisant un système intelligent pour basculer entre eux, nous pouvons créer une IA vidéo de haute qualité sans avoir besoin des ordinateurs les plus chers au monde. Cela transforme la génération de vidéo d'un problème de « un seul cerveau géant » en un problème d'« équipe coopérative ».

Résumé Technique : Paris 2.0 – Un Modèle de Diffusion Décentralisé pour la Génération Vidéo

1. Énoncé du Problème

Les modèles actuels de génération vidéo reposent sur un paradigme d'entraînement monolithique, où un modèle unique est entraîné sur un large mélange de jeux de données vidéo utilisant un cluster homogène de GPU haute bande passante et co-localisés. Cette approche crée des contraintes d'infrastructure significatives, car les mises à jour des paramètres nécessitent une synchronisation sur du matériel fortement couplé. Bien que les Modèles de Diffusion Décentralisés (DDM) aient démontré avec succès que la génération d'images peut être entraînée sans clusters monolithiques (comme le montre Paris 1.0 [2]), l'extension de cette approche à la génération vidéo temporellement cohérente restait un problème ouvert. La génération vidéo impose des charges plus lourdes aux experts, notamment la modélisation du mouvement, des contextes temporels plus longs et des espaces latents substantiellement plus vastes, soulevant la question de savoir si un entraînement décentralisé et asynchrone pouvait produire une vidéo de haute qualité et cohérente.

2. Méthodologie

Architecture Principale

Paris 2.0 est un ensemble d'experts de diffusion indépendants combinés lors de l'inférence par un routeur appris. Le système se compose de trois composants principaux :

Pile de Prétraitement Partagée : Les vidéos sont encodées en latents HunyuanVAE causaux mis en cache. Les invites sont encodées à l'aide de T5-v1.1-XXL et CLIP-ViT-L/14. Cette pile est découplée du chemin d'entraînement avant pour réduire la surcharge de calcul.
Pôle d'Experts : Le modèle utilise trois experts MM-DiT (Transformateur de Diffusion Multimodal) de style FLUX de 11 milliards de paramètres. Chaque expert est entraîné à partir de zéro sur un cluster de données distinct en utilisant un objectif de vitesse par appariement de flux. Crucialement, les experts n'échangent aucun gradient, paramètre ou activation pendant l'entraînement ; ils sont optimisés de manière isolée sur du matériel hétérogène (incluant des instances spot et du matériel grand public).
Routeur : Un modèle DiT-B léger (~100 millions de paramètres) effectue le routage à chaque étape de débruitage. Il consomme le latent bruité actuel, le pas de temps de diffusion, les vecteurs de texte CLIP regroupés et, en option, une caractéristique de la première image DINOv2. Il produit des poids de routage pour sélectionner les $K$ meilleurs experts. Contrairement aux experts, le routeur n'accède pas aux embeddings complets de T5, comptant plutôt sur le vecteur CLIP regroupé.

Entraînement et Inférence

Entraînement : Chaque expert est confiné à son propre cluster de données. Le routeur est entraîné indépendamment comme un classificateur de cluster supervisé, prédisant l'étiquette du cluster source d'un latent bruité apparié à sa caractéristique de texte CLIP.
Inférence : À chaque étape de débruitage, le routeur lit l'état actuel et sélectionne les experts pour évaluer le champ de vitesse vidéo. La somme pondérée de ces champs de vitesse d'experts alimente un solveur d'équations différentielles ordinaires (ODE) vers le latent suivant. Cette conception garantit que le calcul par échantillon reste de l'ordre d'un seul backbone, tandis que la capacité totale s'étend horizontalement en ajoutant plus d'experts.

3. Contributions Clés

Premier Modèle Vidéo Décentralisé : Paris 2.0 est le premier modèle de génération vidéo pré-entraîné entièrement par calcul décentralisé, prouvant qu'une vidéo temporellement cohérente peut être générée sans clusters de GPU monolithiques.
Calcul Découplé pour la Vidéo : L'article étend la recette de calcul découplé des images à la vidéo, démontrant que des clusters de données distincts présentant différents motifs de mouvement et dynamiques de scène peuvent être exploités par des experts spécialisés sans obliger chaque échantillon à payer pour chaque expert.
Spécialisation des Experts : L'étude fournit des preuves que les experts entraînés de manière isolée se spécialisent véritablement dans leurs clusters de données assignés plutôt que de s'effondrer vers une distribution marginale, une condition préalable à un routage efficace.
Routage vs Ensembling : Grâce à des études d'ablation, les auteurs démontrent que les gains de performance proviennent du mécanisme de routage entre des experts spécialisés plutôt que d'un simple ensembling ou d'une augmentation du nombre de paramètres seule.

4. Résultats Expérimentaux

Les auteurs ont évalué Paris 2.0 (Étape 1, DDM à trois experts) par rapport à un MM-DiT monolithique de 11 milliards de paramètres entraîné sur l'union des mêmes clusters de données dans le cadre d'un budget iso-FLOP et iso-données (chaque expert voit 1/3 des données et du calcul du modèle monolithique).

Améliorations Quantitatives (Vidéo texte-vers-image basse résolution 256×256) :

Distance Vidéo Fréchet (FVD) : Réduite de 561,04 (Monolithique) à 279,01 (DDM), représentant une amélioration d'~2,0× du réalisme distributionnel.
Similarité Texte-Vidéo CLIP : Augmentée de 0,2032 à 0,2178.
Score Esthétique : Amélioré de 3,7950 à 3,9036.
Mouvement : Le DDM a montré une magnitude de déplacement par image plus élevée (0,712 contre 0,555), bien que les auteurs notent qu'il s'agit d'une mesure descriptive de la magnitude, et non de la cohérence temporelle.

Constats d'Ablation :

Planification de Commutation : Un calendrier manuel alterné entre deux experts a surpassé les experts uniques sur toutes les métriques, suggérant une spécialisation directionnelle à travers le temps de débruitage (par exemple, un expert préférant les étapes à fort bruit, un autre à faible bruit).
Écart de Spécialisation : Un expert entraîné sur un cluster spécifique a obtenu un score CLIP de 0,2175 sur les invites de son propre cluster contre 0,1781 sur un ensemble générique, confirmant une spécialisation véritable.

5. Importance et Revendications

L'article revendique que Paris 2.0 résout la question ouverte de savoir si l'entraînement décentralisé peut produire une vidéo temporellement cohérente. L'importance principale réside dans la démonstration que la capacité d'experts entraînés de manière isolée non seulement survit à la transition vers la vidéo mais surpasse un seul backbone entraîné sur les mêmes données.

Les auteurs positionnent ce travail comme une étape vers les modèles de monde d'IA physique. Ils soutiennent que les modèles de monde fondamentaux doivent couvrir des environnements bien au-delà de la capacité de n'importe quel cluster d'entraînement unique. En spécialisant les experts par environnement et en les reliant par routage, Paris 2.0 offre une voie pour entraîner des modèles de monde sur le calcul distribué que le monde possède déjà, plutôt que de dépendre des clusters monolithiques accessibles uniquement à quelques laboratoires. Les résultats suggèrent que la recette DDM est suffisamment robuste pour passer des images à la génération vidéo complexe et riche en mouvement.