Follow-Your-Shape: Shape-Aware Image Editing via Trajectory-Guided Region Control

Le papier propose Follow-Your-Shape, un cadre d'édition d'images sans entraînement ni masque qui permet des transformations de forme précises tout en préservant le fond, grâce à une carte de divergence de trajectoire et à une injection planifiée de clés-valeurs, et introduit le benchmark ReShapeBench pour évaluer ces capacités.

L'essentiel

Imaginez que vous êtes un sculpteur numérique. Vous avez une photo d'un objet (disons, un oiseau) et vous voulez le transformer en quelque chose de totalement différent (un robot), tout en gardant le décor de la photo exactement comme il était.

Le problème avec les outils d'intelligence artificielle actuels, c'est qu'ils sont souvent comme des sculpteurs un peu maladroits : quand ils changent la forme de l'oiseau, ils ont tendance à effacer le ciel, à déformer les arbres ou à créer un résultat flou.

Voici comment le papier "Follow-Your-Shape" (Suivez-Votre-Forme) résout ce problème, expliqué simplement :

1. Le Problème : La "Danse" de l'IA

Pour créer ou modifier une image, l'IA ne dessine pas pixel par pixel. Elle fait une sorte de "danse" mathématique. Elle part d'un bruit statique (comme de la neige sur une vieille télé) et, étape par étape, elle nettoie ce bruit pour révéler l'image.

• L'inversion : Pour modifier une image existante, l'IA doit d'abord "remonter le temps" pour comprendre comment cette image est née du bruit. C'est comme remonter un escalier en courant à l'envers.
• L'édition : Ensuite, elle redescend l'escalier en suivant de nouvelles instructions (par exemple : "transforme l'oiseau en robot").

Le souci, c'est que si l'IA change trop vite de direction en redescendant, elle perd le fil et déforme tout le décor.

2. La Solution Magique : La "Carte de Divergence" (TDM)

L'équipe derrière ce projet a eu une idée brillante. Au lieu de demander à l'IA de deviner où modifier l'image, ils ont créé une carte de divergence.

Imaginez que vous avez deux coureurs sur une piste :

• Le coureur A suit le chemin original (l'image de l'oiseau).
• Le coureur B suit le nouveau chemin (l'image du robot).

La Carte de Divergence observe la différence entre les pas de ces deux coureurs à chaque instant.

• Si les deux coureurs marchent exactement de la même façon, c'est que le décor (le ciel, les arbres) ne change pas.
• Si le coureur B fait un grand écart ou change de direction brusquement par rapport au coureur A, c'est que c'est là qu'il faut modifier l'image (la forme de l'oiseau).

Cette carte permet à l'IA de savoir exactement où toucher, sans avoir besoin que vous lui donniez un dessin (un masque) pour lui montrer où couper.

3. La Stratégie en Trois Actes

Pour éviter que l'IA ne panique au début du processus, ils ont divisé la transformation en trois étapes, comme un film :

• Acte 1 : L'Ancrage (Stabilisation)
  Au tout début, quand l'image est encore très floue (comme un brouillard), l'IA ignore les nouvelles instructions et copie simplement l'ancienne image. C'est comme si le sculpteur s'assurait que le bloc de marbre est bien stable avant de commencer à tailler. Cela évite que le décor ne s'effondre.

• Acte 2 : L'Exploration (La Carte)
  Une fois que la structure de base est claire, l'IA commence à comparer les deux chemins (oiseau vs robot) et dessine sa "Carte de Divergence". Elle identifie précisément où la forme change.

• Acte 3 : La Transformation Finale
  Maintenant, l'IA utilise cette carte pour appliquer le changement uniquement là où c'est nécessaire. Elle remplace l'oiseau par le robot, mais elle garde le ciel, le sol et la lumière exactement comme avant.

4. Le Résultat : Un Benchmark (Un Terrain de Jeu)

Pour prouver que leur méthode fonctionne vraiment, ils ont créé un nouveau test appelé ReShapeBench. C'est comme un examen spécial pour les IA, avec des photos d'objets complexes (des oiseaux, des voitures, des animaux) et des demandes de transformation très difficiles (changer un oiseau en robot, une voiture en vélo, etc.).

Leurs résultats montrent que leur méthode est bien meilleure que les autres :

• Elle change la forme de l'objet de manière spectaculaire.
• Elle ne touche jamais au fond de l'image.
• Elle ne nécessite aucun dessin manuel de la part de l'utilisateur.

En Résumé

Follow-Your-Shape, c'est comme donner à l'IA un guide invisible qui lui dit : "Change seulement la forme de l'objet, mais laisse tout le reste tranquille." Grâce à cette carte de divergence, l'IA sait exactement où elle doit travailler et où elle doit s'arrêter, permettant des transformations magiques et réalistes sans abîmer le décor.

Résumé technique

1. Problématique

Les modèles récents d'édition d'images basés sur les flux (Flow-based) et la diffusion ont démontré des capacités générales impressionnantes. Cependant, ils échouent souvent dans des scénarios complexes impliquant des transformations de forme à grande échelle (par exemple, transformer un canard en tortue, ou un ballon de football en ballon de rugby).

Les limitations actuelles se manifestent par :

• Échec de la transformation structurelle : Les modèles ne parviennent pas à modifier la structure de l'objet comme prévu.
• Dégradation du fond : Les modifications s'étendent indûment aux régions non ciblées (l'arrière-plan), dégradant la qualité globale de l'image.
• Faiblesses des stratégies de contrôle existantes :
  • Les masques binaires externes sont rigides et nécessitent une annotation manuelle.
  • Les cartes d'attention croisée (cross-attention) sont souvent bruyantes et incohérentes pour localiser précisément les zones à modifier.
  • L'injection de caractéristiques (Key-Value) inconditionnelle préserve le fond mais supprime les modifications intentionnelles.

2. Méthodologie : Follow-Your-Shape

L'article propose Follow-Your-Shape, un cadre d'édition sans entraînement (training-free) et sans masque (mask-free). L'approche repose sur l'analyse dynamique des trajectoires de débruitage dans l'espace latent.

A. Carte de Divergence de Trajectoire (Trajectory Divergence Map - TDM)

L'idée centrale est que la différence sémantique entre l'image source et l'objectif se manifeste par une divergence dans les champs de vitesse (velocity fields) du modèle lors du processus de débruitage.

• Principe : On compare la trajectoire de débruitage générée par le prompt source ($c_{src}$) et celle générée par le prompt cible ($c_{tgt}$).
• Calcul : Pour chaque token spatial $i$ à l'étape $t$, la carte TDM $\delta_t$ est calculée comme la norme L2 de la différence entre les vecteurs de vitesse prédits :
  $$\delta^{(i)}_t = \| v_\theta(z^{(i)}_t, t, c_{tgt}) - v_\theta(x^{(i)}_t, t, c_{src}) \|_2$$
• Résultat : Cette carte identifie automatiquement les régions où le modèle "pense" que le changement doit avoir lieu (forte divergence) tout en préservant les zones où les trajectoires restent similaires (le fond).

B. Injection de Clés-Valeurs (KV) Planifiée (Scheduled KV Injection)

L'application directe de la TDM sur toutes les étapes de débruitage est sous-optimale car les signaux spatiaux sont instables au début (bruit élevé). L'auteur propose donc une stratégie en trois étapes :

1. Phase 1 : Stabilisation de la trajectoire initiale :
   • Pendant les premières étapes ($k_{front}$), une injection de KV inconditionnelle est appliquée. Cela force le modèle à reconstruire fidèlement la structure de base de l'image source, ancrant la trajectoire et évitant une dérive sémantique prématurée.
2. Phase 2 : Exploration et Agrégation TDM :
   • Le modèle explore le chemin guidé par le prompt cible.
   • Les cartes TDM sont calculées et stockées à chaque étape.
   • Une fusion temporelle pondérée par softmax est appliquée pour agréger ces cartes, créant une carte de masquage cohérente dans le temps ($\hat{\delta}$).
   • Un lissage gaussien et un seuillage par la méthode d'Otsu convertissent cette carte en un masque binaire final $M_S$.
3. Phase 3 : Conformance Structurelle et Sémantique :
   • Le masque $M_S$ guide l'injection des caractéristiques (Key-Value) dans les blocs d'attention finaux.
   • Règle de mélange : Dans les zones éditées ($M_S=1$), on injecte les caractéristiques cibles ($K_{tgt}, V_{tgt}$). Dans le fond ($M_S=0$), on réinjecte les caractéristiques sources ($K_{inv}, V_{inv}$).
   • Guidage structurel : Un module ControlNet (avec des branches Canny et Depth) est injecté de manière résiduelle pour stabiliser la géométrie globale sans supprimer les changements sémantiques souhaités.

3. Contributions Clés

1. Follow-Your-Shape : Un nouveau cadre d'édition sans entraînement capable de réaliser des transformations de forme massives tout en préservant strictement l'arrière-plan.
2. TDM (Trajectory Divergence Map) : Une méthode innovante pour localiser dynamiquement les zones d'édition en analysant la divergence des trajectoires de débruitage, éliminant le besoin de masques externes ou de cartes d'attention bruyantes.
3. Stratégie d'injection planifiée : Une approche en trois étapes qui résout le compromis entre la stabilité de la reconstruction et la flexibilité de l'édition.
4. ReShapeBench : Un nouveau benchmark spécifique pour l'édition d'images sensible à la forme, contenant 120 images (scènes à objet unique et multiples) et des paires de prompts rigoureusement validées, comblant le vide laissé par les benchmarks existants (comme PIE-Bench) qui ne se concentrent pas spécifiquement sur la transformation géométrique.

4. Résultats Expérimentaux

Les expériences ont été menées sur le modèle FLUX.1-[dev] et comparées à des méthodes de pointe (MasaCtrl, PnPInversion, RF-Edit, FlowEdit, etc.).

• Qualité Visuelle (ReShapeBench & PIE-Bench) : Follow-Your-Shape surpasse toutes les méthodes de base en termes de fidélité visuelle (Aesthetic Score) et de préservation de l'arrière-plan.
• Préservation de l'arrière-plan : Les métriques PSNR et LPIPS montrent une amélioration significative, indiquant que le fond reste intact même lors de changements de forme drastiques.
• Alignement Texte-Image : Le score de similarité CLIP est supérieur, prouvant que le modèle suit mieux les instructions de transformation complexes.
• Études d'ablation :
  • Le paramètre $k_{front}$ (étapes de stabilisation) est crucial : trop faible cause une dérive, trop fort empêche l'édition. La valeur optimale trouvée est 2.
  • L'utilisation de ControlNet améliore la cohérence structurelle sans sacrifier la capacité d'édition.

5. Signification et Impact

Ce travail représente une avancée majeure dans le domaine de l'édition d'images génératives :

• Changement de paradigme : Il passe d'une localisation statique (masques) ou attentionnelle (bruyante) à une localisation dynamique basée sur la physique du modèle (divergence de trajectoire).
• Robustesse : Il résout l'un des problèmes les plus difficiles de l'édition générative : modifier la géométrie d'un objet sans détruire la cohérence de la scène.
• Accessibilité : En étant "sans entraînement" et "sans masque", la méthode est directement applicable aux modèles de diffusion/flux modernes sans nécessiter de données d'entraînement supplémentaires ou d'outils de segmentation externes.
• Fondation pour le futur : L'introduction de ReShapeBench établit un standard pour évaluer les futures méthodes d'édition structurelle, et l'analyse des limites ouvre la voie à l'extension vers l'édition vidéo et les agents autonomes.

En résumé, Follow-Your-Shape offre une solution élégante et efficace pour transformer la forme des objets dans une image tout en garantissant que le reste de la scène reste parfaitement inchangé, comblant ainsi un fossé critique entre la génération d'images et l'édition précise.