💻 computer science

From Plans to Pixels: Learning to Plan and Orchestrate for Open-Ended Image Editing

Ce papier propose un cadre expérientiel pour l'édition d'images ouverte qui couple étroitement un planificateur générant des décompositions de tâches atomiques avec un orchestrateur sélectionnant des outils et des régions, en utilisant un juge vision-langage pour fournir des récompenses basées sur les résultats qui affinent itérativement les deux composants afin d'obtenir des modifications multi-étapes plus cohérentes et fiables.

Auteurs originaux : Anirudh Sundara Rajan, Krishna Kumar Singh, Yong Jae Lee

Publié 2026-05-15

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Anirudh Sundara Rajan, Krishna Kumar Singh, Yong Jae Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un artiste très talentueux mais légèrement littéral. Si vous lui dites : « Mettez un chapeau à cet homme », il ajoutera volontiers un chapeau. Mais si vous lui dites : « Rendez cette publicité plus conviviale pour les habitants de la campagne », il pourrait être perdu. Il pourrait simplement ajouter une vache, ou modifier l'ensemble de l'image au point que la marque d'origine disparaisse. Il éprouve des difficultés avec les grandes idées abstraites qui nécessitent une série de petits changements précis.

Ce papier présente un nouveau système appelé Plan2Pix qui résout ce problème en donnant à l'artiste un Chef de projet et un Inspecteur du contrôle qualité. Au lieu d'essayer de faire tout le travail en un seul bond géant, le système décompose la tâche, la planifie et apprend de ses erreurs.

Voici comment cela fonctionne, étape par étape :

1. Le Chef de projet (Le Planificateur)

Lorsque vous donnez au système une instruction large et vague comme « Adaptez cette publicité pour un public rural », le Planificateur intervient. Imaginez le Planificateur comme un chef lisant une recette complexe. Au lieu de simplement deviner, le Planificateur rédige une liste de contrôle.

L'astuce : Le Planificateur ne se contente pas de deviner les étapes. Il utilise une « liste de contrôle » (comme un ensemble de règles : « Conserver le logo », « Changer l'arrière-plan », « Mettre à jour le texte ») pour générer un plan étape par étape.
Auto-apprentissage : Crucialement, le Planificateur apprend en s'entraînant sur ses propres listes de contrôle. Il ne copie pas un chef étoilé ; il s'entraîne à créer ses propres listes, ce qui l'aide à mieux comprendre ce qu'il est capable de faire. Cela l'empêche de se perdre lorsqu'il tente quelque chose de nouveau.

2. Le Contremaître (L'Orchestrateur)

Une fois que le Planificateur a la liste de contrôle, l'Orchestrateur prend le relais. Imaginez l'Orchestrateur comme un contremaître sur un chantier. Le Planificateur dit : « Nous devons remplacer l'arrière-plan par une scène de ferme ». L'Orchestrateur doit décider :

Quel outil ? Dois-je utiliser un outil « pinceau » (pour l'image entière) ou un outil « pochoir » (pour une seule partie) ?
Où ? Quelle partie exacte de l'image dois-je peindre ?

L'Orchestrateur ne se contente pas de deviner. Il examine le résultat de ses actions et demande à un Juge s'il a bien travaillé.

3. Le Juge (Le système de récompense)

C'est la touche secrète. Après que l'Orchestrateur a apporté une modification, une IA intelligente « Juge » examine la nouvelle image et l'instruction originale. Il pose trois questions :

Avez-vous suivi les instructions ? (Par exemple, avez-vous réellement rendu l'aspect rural ?)
Avez-vous gâché l'original ? (Par exemple, avez-vous accidentellement supprimé le logo de l'entreprise ?)
Est-ce que cela a l'air bien ? (L'image est-elle floue ou étrange ?)

Si l'Orchestrateur obtient un score élevé, il se souvient : « Hé, l'utilisation du « pochoir ferme » sur l'arrière-plan a bien fonctionné ! » S'il obtient un score faible, il apprend : « D'accord, ne refais pas cela. » Avec le temps, l'Orchestrateur devient un expert dans le choix du bon outil pour la bonne tâche.

4. Le Filet de sécurité (Raffinement)

Parfois, le Planificateur peut écrire une étape impossible (comme « Ajoutez une licorne volante » alors que les outils ne peuvent ajouter que des animaux réels). Le système dispose d'un Filet de sécurité qui vérifie le plan avant de commencer. Si une étape ne peut pas être réalisée avec les outils disponibles, elle est retirée du plan. Cela garantit que l'équipe n'essaie jamais l'impossible.

Pourquoi est-ce mieux que ce que nous avons actuellement ?

Ancienne méthode : Vous demandez à une seule IA de « Rendre cette publicité rurale ». Elle essaie de tout faire d'un coup. Elle échoue souvent, modifie trop ou manque le but.
Méthode Plan2Pix : Elle décompose le travail en petites tâches gérables (Changer l'arrière-plan -> Changer le texte -> Ajouter une grange). Elle utilise le bon outil pour chaque petite tâche. Elle vérifie son travail après chaque étape.

Le résultat

L'article montre que cette méthode « Planifier, Exécuter, Vérifier » crée des images beaucoup plus fidèles aux instructions complexes de l'utilisateur. Les images finales ont un aspect professionnel, conservent l'identité de la marque d'origine intacte et résolvent réellement le problème abstrait (comme rendre une publicité « rurale ») plutôt que de simplement apporter des changements aléatoires.

En bref, Plan2Pix transforme une tentative chaotique et unique en un système de gestion de projet structuré et basé sur l'apprentissage qui s'améliore à mesure qu'il travaille.

Résumé Technique : Des Plans aux Pixels : Apprendre à Planifier et Orchestrer pour l'Édition d'Images Ouverte

Énoncé du Problème

Les modèles modernes d'édition d'images basés sur la diffusion excellent dans les transformations concrètes et bien spécifiées (par exemple, « changer la couleur de la voiture en rouge ») mais peinent à gérer des instructions abstraites, ouvertes et à long horizon (par exemple, « adapter cette publicité pour un public rural »). De telles tâches nécessitent des changements coordonnés de l'imagerie, du texte, de la mise en page et du contexte, impliquant souvent plusieurs sous-tâches et des outils hétérogènes. Les approches antérieures basées sur des agents tentent de décomposer ces tâches mais reposent sur des pipelines conçus à la main ou sur l'imitation d'un enseignant. Ces méthodes figent les ordres d'exécution et les heuristiques, échouant à entraîner le planificateur sur sa propre distribution ou à optimiser la sélection d'outils en fonction des résultats réels de l'édition. Cela entraîne des décalages de distribution, une généralisation limitée et une mauvaise évolutivité pour les instructions ouvertes.

Méthodologie

Les auteurs proposent un cadre d'apprentissage expérientiel qui découple l'édition d'images à long horizon en deux étapes étroitement couplées : Planification et Orchestration. Le système interagit avec des outils d'édition et reçoit un feedback basé sur les résultats d'un juge Modèle de Langage-Vision (VLM) pour affiner ses politiques.

1. Étape 1 : Planificateur Guidé par une Liste de Contrôle (Auto-supervisé)

Étant donné une image d'entrée $x$ et une instruction de haut niveau $I$ , un LLM multimodal (Planificateur) génère une séquence structurée et ordonnée de sous-tâches atomiques $P = \{s_1, \dots, s_T\}$ .

Construction de la Liste de Contrôle : Pour assurer une couverture complète sans dépendre de modèles rigides conçus à la main, le planificateur est sollicité avec une liste de contrôle $C$ spécifiant les critères qu'une édition satisfaisante doit remplir (par exemple, substitution de produit, alignement sémantique).
Affinement Auto-supervisé : Au lieu d'imiter un modèle enseignant (ce qui provoque un décalage de distribution), le planificateur est affiné par auto-distillation. Il apprend à reproduire les plans qu'il génère lui-même sous sollicitation de liste de contrôle, conditionné uniquement par $(x, I)$ . Cela aligne l'entraînement sur la distribution de génération native du modèle, améliorant la stabilité et la généralisation.
Inférence : Au moment du test, la liste de contrôle est retirée ; le planificateur affiné génère directement des plans multi-étapes structurés à partir de $(x, I)$ .

2. Étape 2 : Orchestrateur Piloté par la Récompense

Conditionné par le plan $P$ , un Orchestrateur (un autre LLM multimodal) sélectionne l'outil $a_t$ et la région $r_t$ appropriés pour chaque sous-tâche.

Jeu d'Outils : Le cadre utilise un ensemble modulaire d'outils incluant des outils d'analyse (SAM-2, DeepSeek-OCR, Qwen-Layered, Qwen-BBox) pour la découverte de régions, des éditeurs d'image complète (Flux Kontext, Qwen-Image-Edit) et des éditeurs au niveau de la région (Flux Inpaint).
Fonction de Récompense : Un juge VLM puissant évalue l'image éditée $\hat{x}$ selon trois critères : Adhésion à l'Instruction, Préservation de l'Identité et Qualité Visuelle.
Optimisation de la Politique : L'orchestrateur est entraîné pour maximiser la récompense de trajectoire attendue. Étant donné que l'évaluation de trajectoires complètes est coûteuse en calcul, les auteurs introduisent deux approximations :
1. Approximation de Récompense Additive : La récompense de trajectoire est approximée comme la somme de récompenses de sous-tâches indépendantes.
2. Indépendance de l'Image Originale : Les contributions des outils sont estimées en les évaluant sur l'image originale plutôt que sur des éditions intermédiaires.
  Ces approximations permettent le précalcul des récompenses pour les paires outil-région, rendant possible une optimisation de politique traitable.

3. Affinement en Boucle Fermée et Inférence

Affinement du Plan : Avant d'entraîner l'orchestrateur, les sous-tâches irréalisables (celles dont la récompense maximale atteignable est inférieure à un seuil $\tau$ ) sont élaguées. Le planificateur est ensuite re-entraîné sur ces plans affinés pour aligner le raisonnement de haut niveau avec l'espace d'actions exécutable.
Sélection Guidée par Vérificateur : Pendant l'inférence, l'orchestrateur propose les $k$ meilleurs candidats outil-région. Un vérificateur léger (distillé à partir du juge VLM) note ces éditions intermédiaires, et l'édition ayant le score le plus élevé est sélectionnée pour l'étape suivante. Cela réduit l'accumulation d'erreurs tout en maintenant l'efficacité.

Contributions Clés

Cadre d'Édition d'Images à Long Horizon : L'article présente l'édition abstraite comme un problème coordonné de planification et d'orchestration, permettant un raisonnement multi-étapes au-delà de la génération en une seule étape.
Planification Guidée par Liste de Contrôle Auto-supervisée : Un planificateur structuré apprend des décompositions à partir de ses propres échantillons guidés par liste de contrôle, réduisant le décalage de distribution par rapport à l'imitation d'enseignant.
Orchestrateur Expérientiel : Une politique pilotée par la récompense apprend la sélection d'outils et de régions directement à partir des résultats d'édition jugés plutôt que de règles conçues à la main ou d'invites statiques.
Affinement en Boucle Fermée : Le système élague les sous-tâches irréalisables basées sur le feedback d'orchestration, alignant les plans avec les actions exécutables et atteignant des performances de l'état de l'art.

Résultats Expérimentaux

Le cadre a été évalué sur le jeu de données MadVerse (publicités multilingues) et des benchmarks standards comme GEdit-Bench et MagicBrush.

Comparaison avec les Baselines : La méthode surpasse les éditeurs en une seule étape performants (Flux Kontext, Qwen-Image-Edit) et les baselines d'agents multi-étapes (GenArtist, LayerCraft). Alors que les modèles en une seule étape échouent souvent à exécuter des instructions complexes ou dégradent l'identité de l'image, la méthode proposée obtient des scores de suivi d'instructions plus élevés tout en maintenant une forte préservation de l'identité et une qualité visuelle.
Études Utilisateurs : Des tests A/B randomisés avec des participants humains ont montré une préférence constante pour les sorties de la méthode proposée par rapport aux baselines.
Études d'Ablation :
- Conception de l'Orchestrateur : Entraîner l'orchestrateur à apprendre une politique explicite de sélection d'outils surpasse significativement l'invocation d'un modèle de base ou l'utilisation de baselines séquentielles à outil unique.
- Source du Plan : L'auto-distillation guidée par liste de contrôle produit une perplexité plus faible et un meilleur alignement distributionnel que l'entraînement sur des plans générés par un enseignant.
- Affinement du Plan : Le filtrage des sous-tâches irréalisables augmente la récompense maximale atteignable moyenne, confirmant une compatibilité améliorée entre la planification et l'exécution.
- Embranchement d'Inférence : Augmenter le nombre de branches candidates ( $k$ ) pendant l'inférence améliore constamment la satisfaction de l'instruction et la qualité visuelle.

Signification et Revendications

L'article revendique que, en couplant étroitement la planification avec une exécution pilotée par la récompense, l'approche produit des éditions plus cohérentes et fiables que les baselines en une seule étape ou multi-étapes basées sur des règles. La signification réside dans le passage des pipelines conçus à la main et de l'imitation d'enseignant vers un paradigme d'apprentissage expérientiel. En apprenant des résultats réels des outils d'édition via un juge appris, le système ancre ses décisions dans la performance empirique. Cela permet au cadre de gérer des instructions abstraites et ouvertes nécessitant des transformations coordonnées et multi-étapes, adressant une limitation critique des systèmes actuels d'édition d'images basés sur des instructions. Les auteurs soulignent que leur méthode s'améliore grâce à l'interaction avec les outils et les résultats jugés, offrant une voie évolutive pour les tâches complexes de raisonnement visuel.