DreamOmni3: Scribble-based Editing and Generation
Le document présente DreamOmni3, un modèle unifié qui fait progresser la création basée sur les interfaces graphiques en permettant une édition et une génération flexibles par gribouillage grâce à un nouveau pipeline de synthèse de données et un cadre d'entrée conjoint qui combine les images originales et esquissées pour un contrôle visuel précis.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous parlez à un artiste super intelligent capable de dessiner tout ce que vous décrivez. Si vous dites : « Dessine un chat », il le fait. Si vous dites : « Fais porter un chapeau au chat », il modifie l'image. C'est le monde de la génération et de l'édition d'images par IA, un domaine où les ordinateurs apprennent à créer et à modifier des images en fonction de vos mots. Pendant longtemps, la seule façon de parler à ces artistes numériques était le texte. Mais voici le problème : les mots sont parfois maladroits. Essayer de décrire exactement où placer un nouvel objet, ou comment modifier une partie spécifique d'un dessin désordonné, peut être comme essayer de donner des indications à un ami en utilisant uniquement une carte sans points de repère. Vous pourriez dire : « Mets l'arbre sur la gauche », mais l'IA pourrait le mettre à l'extrême gauche, ou sur le mauvais côté.
Pour corriger cela, des scientifiques explorent une nouvelle façon de parler à ces artistes : le gribouillage. Au lieu de simplement taper du texte, vous pouvez saisir un stylo numérique et dessiner des cercles, des boîtes ou des gribouillis désordonnés directement sur l'écran pour montrer à l'IA exactement ce que vous voulez dire. C'est comme pointer un endroit sur une carte et dire : « Ici ! » plutôt que de décrire le nom de la rue. Ce document, DreamOmni3, explore en profondeur comment faire fonctionner parfaitement cette méthode de « pointer et dessiner ». Il s'attaque aux aspects délicats de l'apprentissage des ordinateurs pour qu'ils comprennent non seulement vos mots, mais aussi vos lignes tracées à la main, et combine les deux pour créer ou éditer des images avec une précision incroyable.
Le Problème : Quand les mots ne suffisent plus
Imaginez que vous jouez à un jeu où vous devez éditer une photo. Vous voulez remplacer un jouet dans un cercle rouge par un sac à main. Si vous tapez simplement « mets un sac à main ici », l'IA pourrait être confuse. Quel jouet ? Où est « ici » ? Le cercle est-il rouge ou noir ? Est-ce la première image ou la seconde ? Le langage est excellent pour les grandes idées, mais il est très mauvais pour pointer des détails précis et minuscules sur un écran.
Les auteurs de ce document ont réalisé que, bien que l'IA soit devenue très douée pour suivre des instructions textuelles, elle manque souvent le « où » et le « comment » lorsque les choses se compliquent. Les utilisateurs ont besoin d'un moyen d'être plus directs. Ils ont besoin de pouvoir dessiner un cercle autour d'un visage et de dire : « Change cette chevelure », ou tracer une ligne sinueuse et de dire : « Mets une voiture ici ». C'est le concept de l'édition et de la génération basées sur le gribouillage. Il s'agit de permettre aux utilisateurs de mélanger du texte, des images et leurs propres dessins à main levée pour contrôler l'IA.
La Solution : DreamOmni3
L'équipe derrière DreamOmni3 a décidé de construire un modèle qui traite les gribouillis comme des éléments de premier rang, au même titre que le texte et les images. Mais il y avait un obstacle majeur : les données. Les modèles d'IA sont comme des étudiants ; ils ont besoin de voir des milliers d'exemples pour apprendre. Il n'existait pas de manuels existants (jeux de données) montrant à l'IA comment interpréter un cercle dessiné à la main et le transformer en une édition parfaite.
Ainsi, la première chose que les auteurs ont faite est d'inventer une usine à données. Ils ont pris des images existantes et utilisé un pipeline ingénieux pour créer des millions de nouveaux exemples d'entraînement.
- Pour l'édition : Ils ont pris des photos, identifié des objets, puis dessiné manuellement (ou avec l'aide d'une IA) des cercles, des boîtes et des gribouillis par-dessus. Ils ont créé quatre types de tâches :
- Gribouillage + Texte : « Mets une voiture dans le cercle rouge. »
- Gribouillage + Texte + Image : « Mets la voiture de cette image dans le cercle rouge. »
- Fusion d'images : Prendre un objet d'une photo et le coller dans une autre, guidé par un gribouillage.
- Édition de gribouillis : Transformer un croquis grossier en un objet réaliste dans la photo.
- Pour la génération : Ils ont fait la même chose mais en partant d'une toile blanche vide au lieu d'une photo, apprenant à l'IA à dessiner de nouvelles choses en fonction de l'endroit où vous avez gribouillé.
Ils ont généré un ensemble massif de données avec des dizaines de milliers de ces exemples (32 000 pour l'édition multimodale, 29 000 pour la génération multimodale, et plus pour les autres tâches) pour apprendre au modèle comment lire l'esprit de l'utilisateur à travers ses dessins.
Le Tour de Magie : Comment le Modèle « Voit » le Gribouillage
C'est ici que le document devient vraiment astucieux. Habituellement, quand vous voulez qu'une IA édite une partie spécifique d'une image, vous utilisez un masque binaire. Pensez à un masque comme à un pochoir : c'est une image en noir et blanc où le blanc signifie « change ceci » et le noir signifie « laisse ceci tel quel ».
Les auteurs soutiennent que les masques sont trop rigides. Si vous avez trois choses différentes à changer dans une image, vous avez besoin de trois masques noirs et blancs différents. C'est désordonné et difficile à décrire avec des mots. Au lieu de cela, DreamOmni3 utilise des gribouillis colorés. Vous pouvez dessiner un cercle rouge pour la voiture, un carré bleu pour l'arbre et une ligne verte pour le ciel. L'IA peut facilement les distinguer grâce à la couleur.
Mais il y a un pièat : si vous dessinez un cercle rouge sur une voiture, l'IA ne voit plus la voiture car l'encre rouge la recouvre ! Pour résoudre cela, DreamOmni3 utilise un schéma d'entrée conjoint.
- Il fournit à l'IA deux images en même temps : la photo originale et la photo avec les gribouillis par-dessus.
- Il utilise un système d'encodage spécial (une façon d'étiqueter les pixels) qui dit à l'IA : « Hé, le cercle rouge dans cette image est exactement au même endroit que la voiture dans cette autre image. »
- Cela permet à l'IA de voir le gribouillage (pour savoir ce que vous voulez) et les pixels originaux (pour savoir ce qu'elle modifie), garantissant que l'édition est précise et que le reste de l'image reste parfait.
Le Cerveau : Enseigner à l'IA à Comprendre le « Désordonné »
Les auteurs ont également réalisé que les dessins humains sont souvent désordonnés. Un cercle peut ressembler à un œuf ; une ligne peut être tremblante. Pour aider l'IA à comprendre ces dessins imparfaits, ils ont introduit un Modèle de Langage Visuel (VLM) — un type d'IA qui est très doué pour le raisonnement.
Ils ont entraîné ce VLM parallèlement au générateur d'images. Le VLM agit comme un traducteur. Il regarde votre gribouillage et le texte que vous avez écrit, comprend ce que vous vouliez réellement dire (par exemple : « Oh, ils ont dessiné un cercle tremblant, mais ils veulent clairement une voiture »), puis dit au générateur d'images exactement quoi faire. Cet entraînement conjoint garantit que l'IA ne se contente pas de suivre des règles aveuglément, mais comprend réellement l'intention derrière le gribouillage.
Les Résultats : Est-ce que ça marche ?
L'équipe a testé DreamOmni3 sur un nouveau benchmark qu'ils ont créé, rempli d'images du monde réel et de tâches complexes. Ils l'ont comparé à d'autres modèles de pointe, y compris certains géants commerciaux comme GPT-4o et Nano Banana.
Les résultats sont impressionnants. DreamOmni3 surpasse systématiquement les autres modèles open-source et égale ou bat les géants commerciaux dans de nombreux domaines.
- Les évaluateurs humains (de vraies personnes) ont jugé le taux de réussite de DreamOmni3 à 55,88 % pour les tâches d'édition, ce qui est supérieur à GPT-4o (59,56 % dans une métrique, mais DreamOmni3 était plus constant dans d'autres) et nettement supérieur à d'autres comme Omnigen2 (2,94 %).
- Dans les tâches de génération, DreamOmni3 a atteint un taux de réussite de 54,55 %, battant à nouveau la plupart de ses concurrents.
- Le document note que bien que les modèles commerciaux soient puissants, ils ont parfois du mal avec les instructions de gribouillage spécifiques, laissant souvent les gribouillis dans l'image finale ou se trompant dans les proportions. DreamOmni3, cependant, a été spécifiquement conçu pour gérer ces nuances, produisant des résultats plus propres où les gribouillis disparaissent et où les éditions paraissent naturelles.
Pourquoi cela importe
DreamOmni3 ne vise pas seulement à rendre l'IA plus intelligente ; il s'agit de rendre l'IA plus humaine. Il comble le fossé entre ce que nous imaginons et ce que nous pouvons décrire. En nous laissant dessiner, pointer et gribouiller, il transforme l'édition d'images d'une tâche technique en une conversation créative. Le document suggère que cette approche — combiner le texte, les images et le dessin à main levée avec une synthèse de données intelligente et un entraînement conjoint — est l'avenir de notre interaction avec les outils de création numérique. Il montre que lorsque nous arrêtons d'essayer de forcer les ordinateurs à comprendre nos mots vagues et commençons à les laisser voir nos actions directes, les résultats sont bien plus magiques.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.