💻 computer science

DuET: Dual Expert Trajectories for Diffusion Image Editing

DuET est une méthode d'inférence sans entraînement qui améliore l'édition d'images basée sur la diffusion en transitant temporairement par une phase de texte-vers-image pour mieux s'aligner avec les instructions cibles tout en préservant l'intégrité structurelle, avec une variante sélective optimisant davantage l'équilibre entre la fidélité de l'édition et la préservation de la source.

Auteurs originaux : Lidia Troeshestova, Alexander Ustyuzhanin, Sergey Kastryulin

Publié 2026-08-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lidia Troeshestova, Alexander Ustyuzhanin, Sergey Kastryulin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où vous pouvez parler à un ordinateur et lui demander de dessiner tout ce que vous pouvez imaginer. Pendant des années, des scientifiques ont construit des modèles de « texte-vers-image » qui agissent comme des carnets de croquis magiques : vous tapez « un chat portant un chapeau », et ils le peignent. Mais que se passe-t-il si vous voulez modifier une image déjà existante ? Peut-être voulez-vous remplacer le chat par un chien, ou transformer une journée ensoleillée en une journée de tempête. C'est là qu'interviennent les modèles d'« édition d'image ». Ils prennent votre photo originale et vos nouvelles instructions, puis tentent de réécrire l'image tout en gardant les parties que vous n'avez pas demandé de changer exactement les mêmes.

La partie délicate est que ces modèles d'édition sont comme des artistes très prudents. Parce qu'ils sont attachés à la photo originale pendant tout leur travail, ils sont parfois trop effrayés pour faire de grands changements. Si vous leur demandez de transformer une petite maison en un château géant, ils pourraient simplement rendre la maison légèrement plus grande, laissant le reste de la scène paraître étrange ou figé dans le passé. Ils sont tellement concentrés sur le fait de ne pas gâcher l'original qu'ils échouent à suivre pleinement vos nouvelles instructions. Cet article s'attaque à ce problème spécifique : comment rendre ces artistes numériques assez audacieux pour effectuer de grands changements sans perdre l'âme de l'image originale ?

Les auteurs introduisent une astuce ingénieuse appelée DuET (Dual Expert Trajectories). Voyez le processus d'édition d'une image comme un long voyage, d'une toile vierge jusqu'à un chef-d'œuvre terminé. Habituellement, l'ordinateur effectue ce voyage en « Mode Édition », où il regarde constamment la photo originale pour s'assurer qu'il ne s'en éloigne pas trop. La méthode DuET suggère un itinéraire différent : pour une partie courte et spécifique du voyage, l'ordinateur devrait arrêter de regarder la photo originale entièrement. Au lieu de cela, il passe en « Mode Texte-vers-Image », où il n'écoute que votre description de la nouvelle scène. C'est comme un musicien qui joue habituellement en accompagnement d'une piste sonore (la photo originale) mais qui, pour quelques mesures de la chanson, met un casque à réduction de bruit et improvise un solo basé uniquement sur la partition (vos instructions). Cela permet à l'ordinateur de réorganiser complètement la scène pour correspondre à votre vision.

Après ce bref « solo », l'ordinateur retire son casque et repasse en « Mode Édition » pour le reste du voyage. Maintenant que les grands changements structurels ont été effectués, il peut regarder à nouveau la photo originale pour peaufiner les détails et s'assurer que l'éclairage et les textures paraissent toujours naturels. L'article montre que cette danse « Édition → Texte-vers-Image → Édition » fonctionne bien mieux que de simplement rester dans un seul mode tout au long du processus. Cela rend le résultat final plus proche de ce que vous avez demandé et plus naturel, surtout pour les changements majeurs comme remplacer un objet entier ou changer le décor.

Cependant, les chercheurs ont découvert un piège. Lorsque l'ordinateur arrête de regarder la photo originale, même un court instant, il modifie parfois des parties de l'image que vous vouliez garder exactement les mêmes. C'est un compromis : vous obtenez une édition plus précise et de meilleure qualité, mais vous pourriez perdre un peu de l'exactitude de l'image originale. L'article mesure cela à l'aide d'un score appelé SSIM, qui vérifie la similitude des pixels. Ils ont constaté que si la nouvelle méthode améliore les aspects « amusants » de l'image (comme sa capacité à suivre les instructions et son aspect naturel), le score de « préservation » chute légèrement.

Mais voici la partie vraiment géniale : les auteurs suggèrent que ce compromis n'est pas une règle absolue. Ils ont créé une version plus intelligente appelée Selective DuET. Cette version agit comme un agent de circulation. Avant que le voyage ne commence, elle jette un coup d'œil rapide à l'image pour voir à quel point l'ordinateur « s'accroche » déjà à l'original. Si l'image nécessite un changement énorme (comme transformer une maison en arbre), l'agent de circulation dit : « Allez-y, faites le solo ! » Mais si l'image ne nécessite qu'une petite retouche, l'agent dit : « Pas besoin de changer de mode, continuez simplement l'édition. » En utilisant le mode « solo » risqué uniquement lorsqu'il est absolument nécessaire, ils ont trouvé un moyen d'obtenir des éditions de haute qualité sans que la baisse du score de préservation ne soit perceptible pour les humains.

En résumé, l'article prouve que vous n'avez pas besoin d'entraîner un nouveau robot super complexe pour mieux éditer des images. Vous avez juste besoin d'apprendre aux robots existants quand arrêter de regarder la photo originale et quand commencer à écouter uniquement vos mots. C'est une mise à jour simple et gratuite qui rend l'édition d'art numérique plus flexible et créative, montant que parfois, pour obtenir le résultat parfait, il faut être prêt à lâcher prise sur le passé pendant un court instant.

Résumé Technique : DuET (Dual Expert Trajectories) pour l'édition d'images par diffusion

1. Énoncé du problème

Les modèles récents d'édition d'images basés sur des instructions, tels que FLUX2-Klein et les modèles multimodaux unifiés (UMM), conditionnent le processus de débruitage sur une image source à chaque étape pour préserver l'intégrité structurelle. Bien que cet « ancrage persistant sur l'image source » garantisse la stabilité des régions non éditées, l'article soutient qu'il crée une limitation fondamentale : lorsque la scène cible diverge considérablement de l'entrée (par exemple, réécritures globales, remplacement d'objets), le modèle peine à exécuter pleinement l'instruction. Cela se traduit souvent par des résultats moins naturels que la génération pure de texte-vers-image (T2I), présentant des artefacts de composition, des conflits de textures et des incohérences d'éclairage.

Les pipelines actuels opèrent généralement dans un seul mode pour l'ensemble de la trajectoire — soit strictement en mode édition (source + instruction), soit en mode T2I (légende uniquement) — échouant ainsi à exploiter les doubles capacités du modèle pour moduler dynamiquement l'ancrage de la source au cours d'une seule édition.

2. Méthodologie : DuET

Les auteurs proposent DuET (Dual Expert Trajectories), un cadre d'inférence sans entraînement qui bascule dynamiquement entre les modes de conditionnement au sein d'une seule trajectoire de débruitage. Le mécanisme central implique une transition temporaire du mode édition vers le mode T2I (légende uniquement) puis un retour au mode édition (E → T2I → E).

2.1 Le mécanisme de basculement

Édition standard (E) : Se conditionne sur l'image source ( $x_{src}$ ) et l'instruction d'édition ( $p_{edit}$ ) à toutes les étapes $k$ .
T2I standard : Se conditionne uniquement sur une légende cible ( $c_{tgt}$ ) à toutes les étapes.
Calendrier DuET : L'échantillonneur fonctionne en mode Édition pour les étapes initiales, bascule en mode T2I (en utilisant une légende cible générée par un modèle de vision-langage externe) pour un intervalle spécifique $[k_1, k_2)$ $[k_{1}, k_{2})$ , puis revient au mode Édition pour les étapes restantes.
- Les « experts » dans ce contexte ne sont pas des poids de réseau distincts mais des modalités de conditionnement distinctes.
- Cela ne nécessite aucune mise à jour de poids, aucun passage supplémentaire (forward pass) et aucun ajustement (finetuning) du modèle.

2.2 Génération de la légende cible

Lorsque la trajectoire entre dans la phase T2I, le modèle nécessite une légende cible ( $c_{tgt}$ ) décrivant le résultat escompté. DuET obtient cela via un VLM externe (par exemple, Gemini-2.5-pro) conditionné sur l'image source et l'instruction d'édition originale.

2.3 DuET Sélectif (Routage Adaptatif)

Reconnaissant que des intervalles fixes peuvent dégrader inutilement la préservation de la source pour des éditions ne nécessitant pas de changements globaux, les auteurs introduisent le Selective DuET. Cette variante utilise des signaux de type « sonde d'attention » légers, lus lors des premières étapes d'un passage de pure édition, pour décider s'il faut changer de mode.

Signaux : Deux mesures sont calculées à une étape de sonde précoce ( $k=9$ $k = 9$ ) :
1. $\pi$ (Pression de Préservation) : Une mesure de haut quantile indiquant la force avec laquelle l'attention du modèle est ancrée à l'image source.
2. $cv$ (Coefficient de Variation) : Une mesure de la localité spatiale de la dépendance vis-à-vis de la source.
Règle de décision : Si l'édition présente une forte pression de préservation ( $\pi > 0,22$ ) ou une forte localité spatiale ($cv > 0,50$), le système reste en mode Édition pure. Si l'édition est spatialement uniforme et présente une faible pression de préservation (indiquant une réécriture globale), le système déclenche l'excursion T2I.

3. Contributions Clés

Changement de tâche sans entraînement : Un cadre qui module l'ancrage de la source en alternant entre les modes édition et T2I le long d'un chemin de débruitage unique, améliorant la pertinence de l'instruction et la fidélité sans nécessiter de finetuning ou de calcul supplémentaire.
Évaluation complète : Une évaluation étendue sur FLUX2-Klein (4B/9B) et les modèles BAGEL à travers plusieurs benchmarks (GEdit, ImgEdit, MagicBrush, GIE-Bench), utilisant des contrôles appariés pour isoler les effets de l'abandon de l'image source par rapport au changement de légende.
Selective DuET : Une stratégie de routage par édition qui démontre que le compromis entre fidélité de l'édition et préservation de la source n'est pas fondamental. En routant selon les signaux d'attention, il améliore la fidélité et le naturel tout en maintenant une préservation de la source imperceptiblement différente de la ligne de base.

4. Résultats Expérimentaux

Les auteurs ont évalué DuET sur trois modèles de base en utilisant un échantillonnage de 50 étapes.

Performance des intervalles fixes : Les calendriers de fonctionnement fixe de DuET (par exemple, basculer en T2I pour des intervalles comme $[10, 16)$ , $[25, 35)$ ou $[35, 45)$ ) ont systématiquement amélioré la cohérence sémantique (G_SC), la qualité perceptuelle (G_PQ) et la correction fonctionnelle sur tous les modèles par rapport à la ligne de base d'édition pure.
Le compromis : Ces gains se sont accompagnés d'un coût mesurable en matière de préservation de la source (scores SSIM et Unmasked-CLIP plus faibles). L'article note que ce compromis n'est pas fondamental mais dépend du calendrier de basculement.
Études d'ablation :
- Variantes de conditionnement : Les gains sont principalement tirés par l'abandon du conditionnement de l'image source pendant l'intervalle T2I, plutôt que par le simple changement de prompt textuel. Les variantes qui conservaient l'image source (I2IC) ou conservaient le prompt original (T2IEP) offraient des améliorations nettement inférieures en termes de fidélité et de naturel.
- Temporalité : Des fenêtres plus étroites et des placements spécifiques (par exemple, $[10, 16)$ ) offraient le meilleur équilibre entre fidélité et préservation pour FLUX2-Klein 4B/9B, tandis que des fenêtres plus tardives favorisaient la cohérence sémantique sur BAGEL.
Performance de Selective DuET : En appliquant l'excursion T2I uniquement aux éditions qui en bénéficient (réécritures globales), Selective DuET a atteint une correction fonctionnelle élevée tout en maintenant des scores de préservation de la source (SSim $\approx 0,786$ ) perceptuellement indiscernables de la ligne de base, brisant ainsi efficacement le compromis fidélité-préservation observé avec les calendriers fixes.

5. Signification et Revendications

L'article affirme que DuET démontre une capacité sous-utilisée des modèles multimodaux unifiés : la capacité de changer de modalités de conditionnement au sein d'une seule trajectoire d'inférence.

Modestie des revendications : Les auteurs déclarent explicitement que Selective DuET est une « preuve d'existence » plutôt qu'une solution universelle. Ils reconnaissent des limites, notamment la dépendance aux signaux de trajectoire précoces pour le routage (ce qui limite la profondeur de la décision), l'utilisation de juges VLM plutôt que d'études humaines pour les seuils perceptuels, et la dépendance à des VLM externes pour la génération de légendes, ce qui peut introduire des décalages sémantiques si la légende diverge de l'intention implicite de l'instruction.
Insight central : L'article conclut que l'ancrage persistant de la source limite le naturel des éditions pour les scènes divergentes. En relâchant temporairement cet ancrage via une phase T2I, DuET permet à la trajectoire de débruitage de se rapprocher de la distribution cible tout en conservant les avantages structurels de l'édition conditionnée par l'image pour les étapes finales. Cela suggère que la question de savoir « comment, quand et à quelle fréquence » changer les modes de conditionnement est un domaine critique pour une étude systématique future dans l'édition basée sur la diffusion.