iMontage: Unified, Versatile, Highly Dynamic Many-to-many Image Generation

Imaginez que vous essayez d'apprendre à un robot à devenir un maître artiste. Pendant longtemps, nous avons eu deux types de robots très différents. Le premier type était excellent pour peindre une image unique et parfaite basée sur une description, mais si vous lui demandiez de dessiner une histoire entière avec cinq scènes différentes, il s'embrouillait et les personnages avaient l'air d'être des personnes différentes dans chaque cadre. Le second type était un robot vidéo, entraîné sur des films. Il savait comment faire bouger les choses de manière fluide et comment le visage d'un personnage reste identique pendant qu'il marche dans une rue. Mais ce robot était un peu rigide ; il était habitué aux mouvements lisses et continus et peinait à gérer des changements soudains et brusques ou à passer d'une scène à une autre totalement différente sans transition fluide.

La grande question dans ce recoin de l'informatique est la suivante : pouvons-nous construire un artiste unique qui possède le meilleur des deux mondes ? Pouvons-nous créer un modèle qui comprend le flux temporel fluide comme un robot vidéo, mais qui possède aussi la liberté créative sauvage de sauter entre différentes images et scènes comme un livre d'images ? C'est le défi que le nouveau papier, iMontage, cherche à résoudre. Il demande si nous pouvons prendre le « cerveau de mouvement » puissant d'un générateur de vidéo et le réentraîner pour gérer un mélange chaotique de plusieurs-à-plusieurs d'images, créant ainsi un outil capable de générer des storyboards entiers ou de modifier plusieurs images à la fois tout en maintenant la cohérence.

---

La magie d'iMontage : Un artiste de storyboard avec une machine à remonter le temps

Découvrez iMontage, un nouveau modèle d'IA qui agit comme un générateur d'images surpuissant et tout-en-un. Considérez-le comme un directeur numérique capable de prendre une poignée de photos de référence et une instruction textuelle, puis de recracher instantanément toute une série de nouvelles images qui racontent une histoire cohérente. Que vous vouliez éditer une photo, combiner trois personnages différents dans une nouvelle scène, ou générer une bande dessinée en quatre panneaux où la tenue du personnage et le décor changent radicalement, iMontes tente de tout faire en une seule fois.

Le ingrédient secret ici est que les créateurs n'ont pas construit un robot à partir de zéro. Au lieu de cela, ils ont pris un modèle vidéo pré-entraîné — un système déjà célèbre pour comprendre comment les choses bougent et changent au fil du temps — et lui ont donné un nouveau travail. Habituellement, les modèles vidéo sont entraînés sur des clips lisses et continus (comme une personne qui marche). Ils ne sont pas habitués aux « coupes sèches » ou aux sauts soudains où la scène change instantanément. Les auteurs ont émis l'hypothèse que s'ils pouvaient injecter le contenu sauvage et diversifié des données d'images dans ce cadre vidéo fluide, ils obtiendraient le meilleur des deux mondes : la cohérence d'une vidéo et la plage dynamique d'un album photo.

Comment ça marche : L'astuce du « Pseudo-Frame »

Pour faire fonctionner cela, l'équipe a dû apprendre au modèle vidéo à voir les images non pas comme un film continu, mais comme un ensemble flexible de « frames » (images clés) qui peuvent être dispersées. Ils ont utilisé une astuce ingénieuse appelée Marginal RoPE (un nom sophistiqué pour un système de positionnement).

Imaginez une longue ligne de temps. Habituellement, un modèle vidéo voit les images 1, 2, 3, 4, 5 juste à côté les unes des autres. iMontage, cependant, traite les images d'entrée (les références que vous lui donnez) comme des « frames » situées tout au début de la ligne de temps (la tête) et les images de sortie (les nouvelles images qu'il crée) comme des « frames » à la toute fin (la queue). Il laisse un grand vide au milieu. Cela dit à l'IA : « Hé, ces premières images sont tes indices, et ces dernières images sont tes nouvelles créations. N'essaie pas de les faire couler fluidement les unes dans les autres comme un film ; traite-les comme des étapes distinctes d'une histoire. » Ce simple changement empêche le modèle de se demander s'il regarde un film ou s'il génère un nouvel ensemble d'images.

L'entraînement : Apprendre du chaos

On ne peut pas simplement dire à un robot vidéo « sois créatif » et s'attendre à ce que cela fonctionne. L'équipe a dû organiser un ensemble de données massif et désordonné pour l'instruire. Ils n'ont pas utilisé uniquement des vidéos fluides ; ils ont spécifiquement recherché des clips à mouvement élevé et des « coupes sèches » (changements de scène soudains) pour apprendre au modèle comment gérer les transitions dynamiques. Ils ont également mélangé des millions de paires d'édition d'images, où un robot devait apprendre à changer la couleur d'une chemise ou à supprimer un objet.

Ils ont entraîné le modèle en utilisant une stratégie qu'ils appellent CocktailMix. Imaginez un étudiant apprenant les mathématiques, l'art et la musique. Si vous lui jetez les trois sujets à la fois, il pourrait être submergé. Si vous lui enseignez un sujet à la fois, il pourrait oublier le premier au moment où il arrive au troisième. Les auteurs ont découvert que la meilleure façon était de commencer par les tâches les plus faciles, puis d'ajouter progressivement des tâches plus difficiles tout en réduisant graduellement l'accent mis sur les tâches faciles. Cette approche par « ordre de difficulté » a aidé le modèle à gérer tout, des éditions simples aux storyboards complexes à plusieurs images, sans perdre la tête.

Ce qu'il peut faire (et ce qu'il ne peut pas faire)

Les résultats sont impressionnants. Lors des tests, iMontage a montré qu'il pouvait :

• Éditer des images (un-vers-un) : Changer la couleur d'une cape ou supprimer une boîte de ciseaux, égalant les performances des meilleurs modèles commerciaux.
• Combiner des références (plusieurs-vers-un) : Prendre la photo d'une personne, une photo d'un ours polaire et une photo d'un bateau, et générer une nouvelle image où ils existent tous ensemble dans une scène cohérente.
• Générer des histoires (plusieurs-vers-plusieurs) : Créer une séquence d'images (comme un storyboard) où un personnage évolue à travers différentes scènes, en maintenant son identité même lorsque le décor et les angles de caméra changent radicalement.

Le papier suggère que cette approche est supérieure aux méthodes précédentes qui tentaient d'unifier ces tâches, surtout lorsqu'il s'agit de maintenir la cohérence des personnages à travers différentes images et de gérer des changements soudains et dynamiques dans la scène. Dans les études utilisateurs, les gens ont jugé iMontage plus performant que les autres modèles open-source pour le respect des instructions et le maintien de la cohérence des personnages.

Cependant, les auteurs sont honnêtes sur les limites. Actuellement, le modèle fonctionne mieux avec jusqu'à quatre images d'entrée et quatre images de sortie. Il n'a pas encore été testé sur des histoires extrêmement longues et complexes comprenant des dizaines de panneaux. De plus, bien qu'il soit excellent pour beaucoup de choses, il n'est pas parfait ; il peut parfois avoir du mal avec des détails très spécifiques et difficiles à définir.

À retenir

iMontage est une étape significative car il prouve que vous n'avez pas besoin de construire un tout nouveau type d'IA pour résoudre des problèmes d'images complexes. En repensant la manière dont nous alimentons un modèle vidéo — en traitant les images comme des « pseudo-frames » flexibles plutôt que comme un flux de film rigide — nous pouvons créer un outil qui est à la fois cohérent et incroyablement créatif. Cela suggère que l'avenir de la génération d'images ne consiste pas à avoir un outil séparé pour chaque tâche, mais à construire un « directeur » polyvalent capable de gérer toute la production, du premier croquis au storyboard final.