Agent Banana: High-Fidelity Image Editing with Agentic Thinking and Tooling

L'article présente Agent Banana, un cadre agentic hiérarchique doté de mécanismes de pliage contextuel et de décomposition d'images par couches, conçu pour réaliser des modifications d'images haute fidélité et multi-tours précises, évaluées via le nouveau benchmark HDD-Bench en résolution 4K.

L'essentiel

🍌 Agent Banana : Le Chef d'Orchestre de la Retouche Photo

Imaginez que vous avez une photo magnifique, prise en ultra-haute définition (comme une photo de 4K que vous pourriez imprimer en grand format). Vous voulez modifier un petit détail : changer la couleur d'une bouteille, ajouter un objet, ou effacer un élément gênant.

Le problème avec les outils actuels (comme ceux intégrés dans les applications grand public), c'est qu'ils agissent souvent comme un peintre un peu trop zélé :

1. Ils en font trop : Ils changent la bouteille, mais par erreur, ils modifient aussi le ciel ou la texture du sol.
2. Ils oublient le contexte : Si vous faites trois modifications à la suite, la photo commence à se dégrader, comme une photocopie de photocopie.
3. Ils perdent en qualité : Pour travailler, ils réduisent souvent la photo en petit, la modifient, puis la redéveloppent en grand, ce qui floute les détails fins.

Agent Banana est une nouvelle solution conçue pour résoudre ces problèmes. C'est un système intelligent qui agit comme un chef d'orchestre ou un directeur de cinéma, plutôt que comme un simple pinceau.

🎬 Comment ça marche ? Les deux mécanismes clés

Le papier explique que Agent Banana utilise deux astuces magiques pour rester précis et fidèle :

1. Le "Pliage de Contexte" (Context Folding) : La Mémoire à Court Terme vs Long Terme

Imaginez que vous jouez à un jeu vidéo complexe avec des dizaines de quêtes. Si vous deviez relire tout l'historique de votre partie à chaque nouvelle action, votre cerveau exploserait.

• Le problème : Les IA actuelles ont du mal à se souvenir de tout ce qui s'est passé dans une longue conversation de retouche.
• La solution d'Agent Banana : Il utilise une technique appelée "Pliage de Contexte". Au lieu de garder tout le texte en vrac, il résume l'histoire en une carte mentale structurée.
  • Il note : "J'ai changé la bouteille en rouge (Étape 1)".
  • Il oublie les détails inutiles comme "J'ai essayé trois fois de trouver le bon outil avant de réussir".
  • Résultat : L'IA garde le fil de l'histoire sans se perdre, même après 10 ou 20 modifications.

2. La "Décomposition par Couches" (Image Layer Decomposition) : Le Scénario de Cinéma

C'est l'astuce la plus importante pour la qualité.

• L'ancien modèle (Le Peintre Global) : Imaginez que vous voulez changer la couleur d'un chapeau sur une photo. Les vieux modèles prennent toute la photo, la réduisent, peignent le chapeau, et remettent la photo en grand. En faisant cela, ils "étouffent" les détails du reste de l'image (le visage, le fond).
• Le modèle Agent Banana (Le Monteur de Film) : Il agit comme un monteur vidéo professionnel.
  1. Il découpe uniquement la zone du chapeau (comme un calque dans Photoshop).
  2. Il travaille uniquement sur ce petit morceau en ultra-haute définition.
  3. Il recolle le morceau modifié sur la photo originale.
  • Résultat : Le reste de la photo (le visage, le fond) reste intact, net et parfait, car il n'a jamais été touché ni redessiné.

🧪 Le Terrain de Jeu : HDD-Bench

Pour prouver que leur système est le meilleur, les chercheurs ont créé un nouveau test appelé HDD-Bench.

• L'analogie : C'est comme un examen de conduite, mais pour les IA. Au lieu de juste demander "Fais une photo de chat", ils demandent : "Ajoute un chat, puis change la couleur de son collier, puis efface le chien derrière lui, tout en gardant la qualité de la photo".
• La particularité : Ce test se fait en 4K (très haute résolution) et demande à l'IA de suivre une logique complexe sur plusieurs étapes. La plupart des autres IA échouent ou perdent en qualité dès la deuxième étape. Agent Banana, lui, réussit brillamment.

🏆 Pourquoi c'est important ?

Ce travail est une avancée majeure pour deux raisons :

1. La Fidélité Professionnelle : Les photographes, designers et réalisateurs de films travaillent sur des images géantes. Ils ne peuvent pas se permettre que l'IA "floute" leur travail. Agent Banana permet de modifier une image sans jamais perdre la qualité originale.
2. La Fiabilité sur la Durée : Avec Agent Banana, vous pouvez dire : "Non, annule la dernière étape, change plutôt la couleur du ciel en bleu, et ajoute un oiseau". L'IA se souvient de tout, ne se trompe pas, et ne dégrade pas l'image à force de modifications.

En résumé

Agent Banana, c'est comme passer d'un bébé qui dessine avec des feutres (qui tache tout autour) à un chirurgien esthétique (qui opère avec une précision chirurgicale sur une zone précise, sans toucher au reste du corps).

Grâce à une mémoire intelligente et une méthode de travail par "couches", il permet de retoucher des images ultra-détaillées, étape par étape, sans jamais les abîmer. C'est un pas de géant vers des outils de création d'images dignes des studios professionnels.

Résumé technique

1. Problématique et Contexte

Le papier identifie un fossé significatif entre les éditeurs d'images génératifs actuels (basés sur des modèles de fondation comme les diffusion models ou les transformers) et les exigences des flux de travail professionnels (photographie, design graphique, effets visuels). Trois défis majeurs persistent :

1. Sur-édition (Over-editing) : Les modèles modifient souvent des zones non ciblées, altérant le contenu au-delà de l'intention de l'utilisateur et dégradant la cohérence sémantique globale.
2. Limites des interactions multi-tours : La plupart des modèles actuels sont conçus pour une seule interaction (single-turn). Les séquences d'édition multiples entraînent une perte de fidélité des objets et une accumulation d'erreurs (drift).
3. Inadéquation de la résolution : L'évaluation se fait souvent à basse résolution (~1K), alors que les flux de travail professionnels nécessitent une édition native en ultra-haute définition (4K et plus). Les modèles actuels utilisent souvent un sous-échantillonnage (downsampling), ce qui fait perdre les textures fines et les contours nets.

2. Méthodologie : Le Framework Agent Banana

Les auteurs proposent Agent Banana, un système d'édition d'images hiérarchique et "agentic" (autonome) qui couple la planification de haut niveau avec l'exécution d'outils. Le système fonctionne en boucle fermée avec deux agents principaux :

• Le Planificateur (Planner) : Interprète l'intention globale, décompose les requêtes complexes en sous-objectifs atomiques et surveille la progression.
• L'Exécuteur (Executor) : Réalise les opérations d'édition atomiques, sélectionne les outils via un serveur MCP (Model Context Protocol) et gère la validation intermédiaire et la récupération d'erreurs.

Mécanismes Clés

Pour surmonter les goulots d'étranglement du contexte long et de la dégradation itérative, deux mécanismes innovants sont introduits :

1. Context Folding (Repliement du Contexte) :

   • Problème résolu : L'explosion du contexte dans les tâches à long horizon qui dépasse la capacité de mémoire des LLM.
   • Solution : Une abstraction hiérarchique de la mémoire qui compresse l'historique d'interaction en trois niveaux :
     • Niveau Actif (Asset Level) : Un nœud sémantique léger (URI, description textuelle) représentant l'état de l'image.
     • Niveau Exécution (Execution Level) : Mémoire de travail transitoire pour les détails microscopiques d'une étape (annulée une fois l'étape terminée).
     • Niveau Planification (Planning Level) : Mémoire persistante ne conservant que les chemins d'édition validés et les intentions finales.
   • Résultat : Permet un suivi d'état stable sur de nombreuses itérations sans saturer le contexte.

2. Image Layer Decomposition (ILD - Décomposition par Couches d'Image) :

   • Problème résolu : La dégradation des détails et le "drift" (dérive) des zones non modifiées lors du resampling global de l'image.
   • Solution : Une approche locale "décomposer-éditer-fusionner". Au lieu de régénérer l'image entière, le système :
     • Utilise un masque dynamique pour isoler la région cible.
     • Découpe cette zone dans l'image native haute résolution (4K) pour créer une "couche" indépendante.
     • Effectue l'édition uniquement sur cette couche locale.
     • Fusionne le résultat avec l'image originale via un lissage gaussien.
   • Résultat : Préserve la fidélité pixel par pixel des zones non ciblées et permet une édition native en 4K sans perte de texture.

3. Contributions Principales

A. Agent Banana

Un système capable de :

• Décomposer des prompts vagues ("vibe") en étapes logiques et atomiques.
• Opérer nativement en 4K (ex: 5460 × 3640).
• Gérer des boucles de rétroaction (self-reflection) pour réessayer, annuler (rollback) ou replanifier si la qualité n'est pas atteinte.
• Maintenir la cohérence des objets et des arrière-plans sur plusieurs tours d'interaction.

B. HDD-Bench (High-Definition, Dialogue-based Benchmark)

Un nouveau benchmark conçu pour évaluer rigoureusement l'édition professionnelle :

• Données : 96 sessions d'édition multi-tours (3 tours chacune) sur des images 4K natives (~11,8 millions de pixels).
• Spécificité : Contrairement aux benchmarks existants, il utilise un moteur de données symbolique pour générer des états intermédiaires vérifiables (graphes d'états objets-attributs) sans annotation pixel par pixel coûteuse.
• Métriques :
  • Suivi d'instruction (IF) et Cohérence d'image (IC) : Basés sur la vérification des attributs d'objets.
  • Fidélité de l'arrière-plan (Otsu-masked metrics) : PSNROM, SSIMOM, LPIPSOM calculés uniquement sur les zones non modifiées pour isoler la dégradation de fond.

4. Résultats Expérimentaux

Les expériences ont été menées sur HDD-Bench et ImgEdit-Bench, comparant Agent Banana à des modèles de pointe (Flux.1, GPT-Image-1, Nano Banana Pro, etc.).

• Performance Multi-tours : Agent Banana obtient les meilleurs scores en cohérence multi-tours et fidélité de l'arrière-plan.
  • Exemple de scores : IC (Image Consistency) de 0,871, SSIMOM de 0,84, LPIPSOM de 0,12.
  • Il est l'un des seuls modèles à maintenir une haute fidélité nativement en 4K, tandis que les autres perdent des détails lors du sous-échantillonnage.
• Performance Single-tour : Le système reste compétitif (voire supérieur) sur les tâches d'édition simple, grâce au contrôle précis des paramètres par l'Exécuteur.
• Analyse du "Drift" (PIED) : Les auteurs identifient un phénomène de Prior-Induced Editing Drift (PIED), où les zones non modifiées dérivent progressivement vers les statistiques de texture du générateur après plusieurs tours. Agent Banana atténue ce phénomène en ne régénérant que les zones ciblées, maintenant une stabilité visuelle supérieure sur les tours successifs (comme le montre la Figure 6).

5. Signification et Impact

Ce travail marque une avancée vers l'édition d'images professionnelle et fiable en adressant les limitations critiques des systèmes actuels :

1. Fiabilité à long terme : La capacité à gérer des workflows complexes et séquentiels sans accumulation d'erreurs ni perte de qualité.
2. Fidélité native : La démonstration qu'il est possible d'éditionner des images 4K sans compromis sur la résolution, essentiel pour les industries créatives.
3. Évaluation rigoureuse : HDD-Bench fournit un cadre pour diagnostiquer les échecs à long terme (sur-édition, dérive sémantique) plutôt que de se fier uniquement à des métriques globales sur des images basse résolution.

En conclusion, Agent Banana ne se contente pas d'améliorer la génération d'images, mais introduit une architecture agentic capable de raisonner, de planifier et d'exécuter des modifications précises et réversibles, s'alignant ainsi sur les besoins réels des professionnels du visuel.