💻 computer science

Many-for-Many: Unify the Training of Multiple Video and Image Generation and Manipulation Tasks

Cet article introduit « Many-for-Many », un cadre unifié qui emploie des adaptateurs légers et une stratégie d'apprentissage conjointe image-vidéo pour entraîner un modèle de fondation unique capable d'accomplir plus de dix tâches diverses de génération et de manipulation visuelles, atteignant une performance compétitive tout en exploitant les données de multiples sources pour surmonter le coût élevé de l'entraînement spécifique à chaque tâche.

Auteurs originaux : Ruibin Li, Tao Yang, Yangming Shi, Weiguo Feng, Shilei Wen, Bingyue Peng, Lei Zhang

Publié 2026-02-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruibin Li, Tao Yang, Yangming Shi, Weiguo Feng, Shilei Wen, Bingyue Peng, Lei Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une immense bibliothèque d'instructions pour créer de l'art. Certaines instructions disent : « Dessine un chat », d'autres disent : « Transforme cette photo de chat en vidéo », et d'autres encore : « Répare les parties floues de cette vidéo » ou « Colorise ce film en noir et blanc ».

Habituellement, pour faire tout cela, vous avez besoin d'un spécialiste différent pour chaque tâche. Vous avez besoin d'un « chef Text-to-Video », d'un « chef Image-to-Video » et d'un « chef Montage Vidéo ». Entraîner chaque chef à partir de zéro est incroyablement coûteux et nécessite d'énormes quantités d'ingrédients de haute qualité (données).

Entrez dans le « Many-for-Many » (MfM).

Les auteurs de cet article ont construit un « Super-Chef » capable de réaliser tous ces travaux à la fois. Au lieu d'embaucher dix spécialistes différents, ils ont entraîné un seul et même modèle capable de gérer plus de 10 types de tâches visuelles, de la création de vidéos à partir de rien jusqu'à l'édition de vidéos existantes.

Voici comment ils ont procédé, en utilisant des analogies simples :

1. L'Adaptateur Universel (Le manche du Couteau Suisse)

Différentes tâches nécessitent différents « entrées ».

Text-to-Video : Vous lui donnez une phrase.
Image-to-Video : Vous lui donnez une image.
Édition Vidéo : Vous lui donnez une vidéo avec un « masque » (un pochoir indiquant les parties à modifier).

Habituellement, ces entrées sont comme des pièces de puzzle de formes différentes qui ne s'insèrent pas dans le même trou. L'équipe MfM a conçu un adaptateur léger. Considérez cela comme un manche universel ou un accessoire de couteau suisse. Il prend le texte, l'image, la vidéo, le masque et même une carte de profondeur (un plan directeur de l'espace 3D, comme une carte topographique d'une scène) et les reforme tous dans le même format. Cela permet au modèle de comprendre n'importe quelle instruction, peu importe la forme sous laquelle elle arrive.

2. La stratégie de « Joint Learning » (La méthode de l'Apprenti)

Entraîner une IA vidéo à partir de zéro est généralement comme essayer d'apprendre à quelqu'un à courir un marathon avant qu'il sache marcher. Cela nécessite des millions d'exemples vidéo coûteux.

MfM utilise une astuce d'entraînement intelligente appelée Joint Image-Video Learning (Apprentissage Conjoint Image-Vidéo).

Phase 1 : Ils commencent par enseigner au modèle des tâches d'« Image » simples (comme dessiner un tableau à partir d'un texte). C'est peu coûteux et facile.
Phase 2 : Ils introduisent progressivement des tâches de « Vidéo ».
La Magie : Parce que le modèle a appris les bases du « visuel » grâce aux images, il n'a pas besoin de tant d'exemples vidéo coûteux pour apprendre à faire bouger les choses. C'est comme un apprenti qui apprend d'abord à couper des légumes (images) ; lorsqu'il passe à la préparation d'un ragoût (vidéo), il sait déjà manipuler les ingrédients.

Cela signifie qu'ils ont pu entraîner un modèle puissant de 8 milliards de paramètres en utilisant seulement 10 % des données vidéo utilisées par d'autres modèles de pointe.

3. Le « 3D RoPE » (Le GPS pour le Temps et l'Espace)

Pour que les vidéos paraissent naturelles, le modèle doit comprendre non seulement où se trouvent les choses (gauche, droite, haut, bas), mais aussi quand elles se produisent (première image, dernière image).
L'équipe a amélioré le « GPS » interne du modèle (appelé 3D RoPE). Au lieu de simplement connaître la position d'un pixel sur un écran plat, le modèle comprend désormais la position dans l'espace 3D et à travers le temps. Cela aide le modèle à créer des mouvements fluides et réalistes plutôt que des mouvements saccadés et non naturels.

4. Les Résultats : Un Modèle, de Super-Pouvoirs

L'article a testé ce « Super-Chef » sur deux tailles : une version plus petite de 2 milliards et une version plus grande de 8 milliards.

Polyvalence : Le modèle peut effectuer plus de 10 tâches différentes, notamment :
- Création : Transformer du texte en vidéo, ou des images en vidéo.
- Extension : Prendre un court clip et le rendre plus long.
- Édition : Supprimer des objets (inpainting), ajouter de nouveaux décors (outpainting) ou changer les couleurs.
- Amélioration : Rendre des vidéos floues nettes (super-résolution).
Performance : Lors de tests directs contre des modèles célèbres (comme Wan2.1, Hunyuan, et même des géants commerciaux comme Sora), le modèle MfM s'est montré très compétitif. Il arrive souvent classé 1er ou 2e en termes de cohérence globale et de qualité de mouvement, malgré l'utilisation de beaucoup moins de données.

L'essentiel

L'article affirme qu'en unifiant le processus d'entraînement et en utilisant un « adaptateur » intelligent pour mélanger différents types de données, ils ont créé un modèle unique et efficace qui est aussi bon (et parfois meilleur) que les modèles spécialisés qui n'ont été entraînés que pour une tâche spécifique. Ils ont prouvé que l'on n'a pas besoin d'un outil séparé pour chaque tâche si l'on construit un outil polyvalent qui apprend d'une grande variété d'expériences.

Ce que l'article ne revendique pas :
L'article se concentre strictement sur l'entraînement technique et la performance du modèle sur des benchmarks standards. Il ne prétend pas avoir résolu des problèmes cliniques spécifiques, ni ne détaille de futurs produits commerciaux au-delà de la publication en open-source du code et des poids du modèle. Il s'agit d'une étape de recherche fondamentale, et non d'une application grand public terminée.

Résumé Technique : Many-for-Many (MfM)

Problématique

La recherche actuelle sur la génération et la manipulation visuelles est fragmentée. Bien que les modèles de diffusion aient obtenu des résultats impressionnants, la plupart des approches existantes se concentrent sur l'entraînement de modèles distincts pour des tâches spécifiques (par exemple, Text-to-Video ou Image-to-Video) ou sur l'ajustement fin (fine-tuning) d'un modèle de fondation Text-to-Video (T2V) pré-entraîné pour des tâches en aval comme la manipulation vidéo. Ce paradigme présente deux défis majeurs :

Coût élevé de l'entraînement de fondation : Entraîner un modèle de fondation T2V robuste à partir de zéro nécessite des quantités massives de données de haute qualité et annotées, ce qui est prohibitif en termes de coûts.
Fragmentation des tâches : Les modèles existants sont souvent limités à une ou quelques tâches. Pour effectuer plusieurs tâches de génération ou de manipulation (par exemple, l'inpainting, la super-résolution, la colorisation), des modèles distincts ou des pipelines de fine-tuning complexes sont généralement requis, ce qui entraîne une inefficacité et une performance incohérente.

Méthodologie

Les auteurs proposent Many-for-Many (MfM), un cadre unifié conçu pour entraîner un seul modèle à partir de zéro, capable d'exécuter plus de 10 tâches différentes de génération et de manipulation visuelle. La méthodologie centrale repose sur trois composants clés :

1. Architecture unifiée et adaptateur

Le modèle MfM est construit sur un Transformer de Diffusion (DiT) avec une attention 3D complète, entraîné via le Flow Matching. Pour gérer les diverses conditions d'entrée à travers les tâches (allant de prompts textuels 0D aux masques vidéo et cartes de profondeur 3D), les auteurs introduisent un adaptateur léger :

Unification des conditions : Au lieu de traiter séparément les pixels, les masques et les cartes de profondeur, l'adaptateur concatène ces entrées 3D en une carte de caractéristiques unifiée.
Alignement de la résolution : L'adaptateur utilise des couches de convolution et des blocs de sous-échantillonnage pour ajuster la résolution spatiale et temporelle des conditions d'entrée afin qu'elles correspondent à l'espace latent du VAE vidéo (par exemple, convertir $T \times H \times W \times C$ en $t \times h \times w \times c$ ).
Identification de la tâche : Les noms de tâches (par exemple, "text-to-video", "image-to-video") sont ajoutés aux prompts textuels pour clarifier l'opération spécifique, surtout lorsque les tâches partagent des entrées communes comme les masques.
Intégration de la profondeur : Les cartes de profondeur sont introduites comme une entrée conditionnelle pour améliorer la perception de l'espace 3D par le modèle.

2. Variantes du modèle

Deux versions du modèle sont entraînées pour répondre à différents besoins de calcul :

MfM-2B : 2 milliards de paramètres, 28 couches, 28 têtes d'attention.
MfM-8B : 8 milliards de paramètres, 40 couches, 48 têtes d'attention.
Les deux utilisent un Embedding de Position Rotatif 3D (RoPE) pour gérer les résolutions et longueurs variables, ainsi qu'une Normalisation Query-Key (QK-Norm) pour assurer la stabilité de l'entraînement.

3. Stratégie d'entraînement

Le processus d'entraînement emploie une stratégie d'apprentissage conjoint progressif :

Apprentissage conjoint multi-tâches : Le modèle est entraîné sur un mélange de données d'images et de vidéos. Le ratio de données image-vidéo est progressivement ajusté, commençant par des paires texte-image pour établir des connexions sémantiques, puis en introduisant graduellement les données vidéo.
Augmentation de données : Pour maximiser l'utilité des données disponibles, le cadre génère des échantillons d'entraînement diversifiés à partir de vidéos existantes. Par exemple, les tâches d'inpainting vidéo sont créées en appliquant des masques aléatoires, et les tâches de colorisation vidéo sont générées en convertissant les vidéos en niveaux de gris. Cela permet au modèle d'apprendre des tâches de manipulation sans nécessiter de jeux de données distincts et dédiés pour chaque tâche.
Progression de la résolution : L'entraînement commence à de basses résolutions (ex: 49×128×224) et progresse vers des résolutions plus élevées (jusqu'à 97×720×1280), pour conclure par une étape multi-résolution utilisant NaViT afin de supporter des ratios d'aspect arbitraires.

Principales contributions

Cadre unifié : MfM est le premier cadre entraîné à partir de zéro qui gère efficacement un large spectre de tâches, incluant le T2V, l'I2V, l'extension de vidéo, l'inpainting, l'outpainting, la colorisation, la super-résolution et le transfert de style.
Utilisation efficace des données : En exploitant une stratégie d'apprentissage multi-tâches et un adaptateur unifié, Mf-M utilise des données qui étaient auparavant inutilisables pour un entraînement T2V standard (ex: données à basse résolution ou avec filigrane), réduisant ainsi considérablement la dépendance aux annotations T2V coûteuses et de haute qualité.
Performance avec moins de ressources : Le modèle 8B atteint des performances compétitives en utilisant seulement 10 % des données d'entraînement typiquement requises par les modèles de fondation T2V open-source de pointe.

Résultats expérimentaux

Les auteurs ont évalué MfM sur les benchmarks VBench pour le T2V et l'I2V, ainsi que sur un benchmark MfM personnalisé couvrant 16 tâches distinctes.

Text-to-Video (T2V) : Sur le benchmark VBench-T2V, MfM-8B a obtenu le meilleur rang moyen (3.04) parmi les modèles évalués, surpassant des modèles plus grands comme Wan2.1 (14B), Hunyuan (13B) et des systèmes commerciaux comme Sora et Gen-3. Il a démontré une performance supérieure en termes d'apparence, de cohérence globale et de degré de dynamisme.
Image-to-Video (I2V) : MfM a obtenu le meilleur rang moyen (3.33) sur VBench-I2V, montrant une performance équilibrée entre cohérence statique et génération dynamique, surpassant les modèles spécialisés en I2V.
Manipulation vidéo : Dans des tâches telles que l'inpainting, l'outpainting et la colorisation vidéo, MfM a montré des améliorations significatives dans les métriques de référence (par exemple, des améliorations de FID de 16,4 % à 72,9 % par rapport aux bases spécialisées) et une cohérence temporelle supérieure.
Étude d'ablation : La comparaison d'un modèle T2V entraîné avec la stratégie multi-tâches de MfM par rapport à un modèle entraîné sans celle-ci a révélé que l'approche multi-tâches améliore considérablement les scores de dynamique de mouvement (0,819 contre 0,402), suggérant que l'exposition à diverses tâches de manipulation renforce la compréhension de la complexité du mouvement par le modèle.

Signification

L'article affirme que MfM représente un changement vers des modèles de fondation visuelle économiques et unifiés. En unifiant l'entraînement des tâches de génération et de manipulation, MfM démontre qu'un seul modèle peut atteindre des performances hautement compétitives à travers diverses tâches visuelles tout en nécessitant substantiellement moins de données et de ressources de calcul que les modèles de fondation spécialisés ou à grande échelle actuels. Ce travail suggère que le transfert de connaissances entre les tâches d'image et de vidéo, ainsi qu'entre les tâches de génération et de manipulation, est une voie viable pour améliorer la qualité de la génération vidéo sans les coûts prohibitifs associés à l'entraînement de modèles de fondation massifs et spécifiques à chaque tâche.

Les auteurs notent des limites, spécifiquement le fait que l'architecture actuelle traite les conditions 1D (texte) et 2D/3D (visuelles) séparément avant de les fusionner via l'auto-attention. Ils suggèrent que les travaux futurs pourraient explorer les modèles vision-langage pour une fusion multimodale plus précoce et explicite afin de mieux gérer les conditions d'entrée complexes.