Imaginez que vous essayiez de donner une instruction très spécifique et minuscule à un artiste magique capable de peindre tout ce que vous voulez. Vous pourriez dire : « Fais que la tige de cette fleur se courbe en une forme de S fluide. » Mais voici le problème : l'artiste est un peu rêveur. Il entend « forme de S » et pourrait courber la tige au mauvais endroit, ou pourrait transformer toute la plante en serpent au lieu de simplement la courber. C'est le défi de l'édition d'images utilisant l'intelligence artificielle. Les scientifiques ont construit des « modèles génératifs » puissants — imaginez des artistes numériques entraînés sur des millions d'images — capables de modifier des images à partir de texte. Mais quand vous demandez un changement minuscule et précis, comme courber une seule feuille ou étirer une flamme, ces artistes numériques s'embrouillent souvent. Ils peuvent modifier la mauvaise partie de l'image, ou ils peuvent mal comprendre exactement comment vous voulez qu'elle change.

Pour corriger cela, les chercheurs ont essayé deux astuces principales. L'une consiste à donner à l'artiste un croquis, comme dessiner une ligne sur l'écran pour montrer exactement où courber. L'autre consiste à donner des instructions textuelles, comme écrire « courbe-la ici ». Mais chaque astuce présente une faille. Si vous ne donnez qu'un croquis, l'artiste ne sait pas quoi faire (voulez-vous copier la feuille, la déplacer ou simplement la courber ?). Si vous ne donnez que du texte, l'artiste ne sait pas où le faire. Ce papier, SI-Edit, tente de résoudre cela en apprenant à l'artiste à écouter à la fois le croquis et le texte, agissant comme un sculpteur numérique super précis capable de remodeler une image jusqu'au dernier pixel.

Le Problème : L'Artiste « Perdu dans la Traduction »

Imaginez que vous jouez à un jeu où vous devez décrire un dessin à un ami qui ne peut dessiner que ce que vous dites. Si vous dites : « Fais que la branche de l'arbre se courbe », votre ami pourrait courber la mauvaise branche, ou il pourrait dessiner un arbre entier nouveau. C'est ce qui arrive avec les outils d'IA actuels qui n'écoutent que les instructions textuelles. Ils sont excellents pour les grands changements, comme « rend le ciel bleu », mais terribles pour les changements minuscules et précis. Ils manquent d'un « ancrage spatial » — un moyen de savoir exactement quel pixel déplacer.

D'un autre côté, si vous ne donnez qu'un croquis (une ligne dessinée sur l'écran), l'IA sait où dessiner, mais pas quoi faire. Cette ligne est-elle censée déplacer une feuille ? La copier ? Ou simplement la courber ? Sans une instruction claire, l'IA pourrait deviner de travers, menant à des résultats bizarres comme une feuille qui se transforme soudainement en une copie d'elle-même, ou une tige qui disparaît.

Les auteurs de ce papier ont réalisé que pour obtenir un contrôle parfait au niveau du pixel, vous avez besoin des deux : une carte (le croquis) et une destination (le texte). Mais il y avait un obstacle majeur : personne n'avait jamais construit de manuel d'entraînement pour une IA qui combine parfaitement ces deux éléments.

La Solution : Un Nouveau Manuel d'Entraînement et un Nouvel Artiste

Pour corriger cela, l'équipe a d'abord dû construire un ensemble de données d'entraînement massif et de haute qualité appelé SI-Data. Voyez cela comme un immense livre de cuisine pour l'IA. Au lieu de simplement montrer à l'IA des images « avant » et « après » avec une description textuelle, ils ont créé des quadruplets — des ensembles de quatre éléments qui vont ensemble :

1. L'image originale (le point de départ).
2. L'image cible (ce à quoi elle doit ressembler après l'édition).
3. Un croquis (une ligne simple montrant le changement de forme exact).
4. Une instruction (le texte disant quoi faire).

Ils ne les ont pas dessinés à la main ; cela prendrait trop de temps. À la place, ils ont utilisé un pipeline automatisé intelligent. Ils ont pris de belles photos, ont demandé à une IA intelligente (Qwen3-VL) d'inventer une instruction d'édition spécifique (comme « étire la tente »), puis ont utilisé une autre IA (Nano Banana Pro) pour effectuer réellement le changement. Ensuite, ils ont utilisé un truc mathématique appelé flux optique pour dessiner automatiquement le « croquis » en voyant comment les pixels se sont déplacés de l'image originale vers la nouvelle image. Cela leur a donné 6 500 exemples parfaits de la manière de combiner un croquis et une instruction textuelle pour réaliser une édition précise.

Comment fonctionne SI-Edit : Le Truc de la « Même Position »

Avec ce nouvel ensemble de données, ils ont construit un nouvel outil d'édition appelé SI-Edit. Cet outil est conçu pour être un artiste « collaboratif ». Il ne se contente pas de regarder le texte ou le croquis ; il les regarde ensemble.

Le papier présente deux astuces principales pour faire fonctionner cela :

1. Le Token « Task-Trigger » : Ils ont ajouté un code secret spécial, écrit sous la forme <sk>, au début de chaque instruction. Voyez cela comme une cloche qui sonne avant que l'artiste ne commence à peindre. Quand l'IA entend la « cloche » (<sk>), elle sait : « Oh, je dois prêter une attention particulière aux lignes du croquis que je vais voir ». Cela aide l'IA à comprendre que le croquis n'est pas une simple décoration, mais une règle stricte.
2. L'Encodage de Même Position (Same Position Encoding - SPE) : C'est la partie la plus importante. Imaginez que vous décalquiez un dessin sur une vitre. Vous avez l'image originale en dessous et votre croquis par-dessus. Si vous ne les alignez pas parfaitement, votre dessin sera décalé. L'IA traite habituellement le croquis et l'image originale comme deux choses distinctes, ce qui provoque un « dérive ». SI-Edit force l'IA à traiter le croquis et l'image originale comme s'ils étaient au même endroit exact dans son cerveau. Il superpose le croquis sur l'image et dit à l'IA : « Ces deux choses sont aux mêmes coordonnées ». Cela empêche l'IA de s'embrouiller sur l'endroit où la courbe doit avoir lieu.

Ce Qu'Ils Ont Découvert : La Précision au Niveau du Pixel

L'équipe a testé SI-Edit contre d'autres outils populaires comme SketchEdit, MagicQuill et FramePainter. Les résultats étaient clairs : SI-Edit était bien meilleur pour suivre les règles.

• Précision Géométrique : Lorsqu'on mesurait à quel point l'IA suivait les lignes du croquis, SI-Edit avait un score de 4,292 (plus c'est bas, mieux c'est), tandis que le meilleur outil suivant, MagicQuill, avait un score de 7,434. Cela signifie que les courbes et les cassures de SI-Edit étaient beaucoup plus proches de ce que l'utilisateur avait réellement dessiné.
• Compréhension Sémantique : Lorsqu'on vérifiait si l'IA faisait réellement ce que disait le texte (comme « étirer » par rapport à « copier »), SI-Edit a obtenu un score de 0,0174 sur une métrique appelée $\Delta$CS, battant toutes les autres méthodes.
• Préférence des Utilisateurs : Lorsque de vraies personnes ont regardé les résultats, elles ont préféré SI-Edit par rapport aux autres 81,3 % à 94,8 % du temps, selon ce qu'elles recherchaient (consistance visuelle, précision ou qualité d'image).

Le papier a également montré que cet outil pouvait faire plus que simplement courber des objets ; il pouvait même changer la pose d'une personne, comme faire changer de garde un pratiquant d'arts martiaux, tout en gardant son visage et ses vêtements exactement les mêmes.

L'Essentiel à Retenir

Les auteurs suggèrent qu'en combinant une carte claire (le croquis) avec une destination claire (le texte), et en apprenant à l'IA à les traiter comme un guide unifié, nous pouvons enfin obtenir des outils d'édition d'images assez précis pour gérer des changements minuscules et complexes sans gâcher le reste de l'image. Ils n'ont pas seulement construit un meilleur outil ; ils ont construit le premier ensemble de données public qui enseigne à l'IA comment faire cela, ouvrant la porte aux futurs chercheurs pour créer des artistes numériques encore plus intelligents. Le papier conclut que, bien que le problème de l'« ambiguïté spatiale » (ne pas savoir où éditer) et de la « cécité sémantique » (ne pas savoir quoi éditer) ait été un obstacle majeur, cette approche collaborative a réussi à dégager la voie pour une édition parfaite au pixel près.