CompBench: Benchmarking Complex Instruction-guided Image Editing

Ce papier présente CompBench, un nouveau benchmark à grande échelle conçu pour évaluer les modèles d'édition d'images guidés par des instructions complexes, en mettant l'accent sur le raisonnement spatial et contextuel grâce à une stratégie de découplage des instructions et à un cadre collaboratif homme-IA.

L'essentiel

Imaginez que vous demandez à un ami très doué de modifier une photo pour vous. Vous dites : « Enlève le chien qui dort, mais laisse le chat, et ajoute un oiseau qui vole juste au-dessus de la tête du chat, en regardant vers la gauche ».

Si cet ami est un débutant, il risque de supprimer tout le monde, de mal placer l'oiseau, ou de faire disparaître le chat par erreur. C'est exactement le problème que les chercheurs ont identifié avec les outils d'édition d'images actuels basés sur l'intelligence artificielle.

Voici une explication simple du papier CompBench, présentée comme une nouvelle façon de tester ces "artistes numériques".

1. Le Problème : Des examens trop faciles

Jusqu'à présent, les tests pour évaluer ces intelligences artificielles étaient un peu comme des examens de conduite sur un parking vide, sans piétons, sans feux rouges et sans trafic.

• La réalité : Dans le vrai monde, les photos sont complexes. Il y a des objets qui se cachent les uns derrière les autres (occlusion), des foules, des détails fins et des relations spatiales compliquées.
• Le problème : Les anciens tests utilisaient des images trop simples (un chien sur un fond blanc, par exemple). Les IA y brillaient, mais dès qu'on leur donnait une photo de rue bondée, elles échouaient lamentablement. Elles ne comprenaient pas les nuances.

2. La Solution : CompBench, le "Parc d'Obstacles Ultime"

Les auteurs ont créé CompBench, un nouveau banc d'essai (un test) conçu spécifiquement pour mettre les IA à l'épreuve dans des situations réalistes et chaotiques.

Imaginez que CompBench est un parc d'obstacles extrême pour ces robots artistes, au lieu d'une simple piste d'entraînement.

• La complexité : Au lieu de demander "change la couleur de la voiture", le test demande : "Enlève le deuxième tigre à partir de la gauche, qui est caché derrière les buissons, mais assure-toi que l'ombre du lion reste cohérente".
• La précision : Le test vérifie non seulement si l'IA a fait ce qu'on lui a demandé, mais aussi si elle n'a pas abîmé le reste de la photo (comme si vous peigniez un mur et que la peinture coulait sur le parquet).

3. Comment ont-ils construit ce test ? (L'équipe de l'architecte)

Pour créer ce test, ils n'ont pas juste laissé un robot faire le travail. Ils ont utilisé une méthode collaborative intelligente :

• Le Chef d'Orchestre (IA) : Une IA très puissante (un modèle de langage multimodal) a d'abord généré des idées de modifications et des instructions.
• Le Contrôleur Humain : Des humains experts ont ensuite vérifié chaque image. Ils ont dit : "Non, cette instruction est trop floue" ou "Non, cette modification a détruit le fond".
• La Stratégie de "Démantèlement" : Pour que les instructions soient claires, ils ont appris à décomposer les demandes complexes en quatre pièces de puzzle :
  1. Où ? (La position exacte).
  2. À quoi ça ressemble ? (La couleur, la texture).
  3. Que fait-il ? (Le mouvement, l'action).
  4. Qu'est-ce que c'est ? (L'objet lui-même).
     C'est comme donner une recette de cuisine précise au lieu de dire juste "fais quelque chose de bon".

4. Les Résultats : Qui est le meilleur ?

Ils ont fait passer le test à une vingtaine d'IA différentes. Voici ce qu'ils ont découvert :

• Personne n'est parfait : Même les meilleures IA échouent souvent sur les tâches les plus complexes. C'est comme si le meilleur joueur d'échecs du monde trébuchait sur un échiquier en 3D.
• Les nouveaux champions : Des modèles comme Bagel, Qwen-Image-Edit et FLUX.1 se sont démarqués. Ils sont les seuls à réussir à garder le fond de l'image intact tout en modifiant précisément l'objet demandé.
• Le problème du "Planificateur vs Exécutant" : Les chercheurs ont remarqué un problème curieux. Parfois, l'IA comprend très bien ce qu'il faut faire (le planificateur), mais quand elle essaie de le dessiner (l'exécutant), elle fait des erreurs de précision, comme si un architecte dessinait un bâtiment magnifique, mais que le maçon posait les briques de travers.

5. Pourquoi est-ce important ?

Ce papier est crucial car il nous dit : "Arrêtons de nous mentir à nous-mêmes."
Les anciennes méthodes de test nous faisaient croire que les IA étaient prêtes pour le monde réel. CompBench nous montre qu'elles ont encore beaucoup à apprendre. C'est une boussole pour les chercheurs : il faut maintenant travailler sur la logique complexe, la géométrie 3D (pour que les objets ne se déforment pas bizarrement) et la compréhension profonde des images.

En résumé : CompBench est le nouveau "examen du permis de conduire" pour les IA qui modifient des photos. Il ne suffit plus de savoir rouler tout droit ; maintenant, il faut savoir gérer le trafic, les piétons et les virages serrés pour obtenir son diplôme.

Résumé technique

1. Problématique

Le domaine de l'édition d'images guidée par des instructions textuelles a connu des avancées significatives, mais les benchmarks existants (comme MagicBrush, ReasonEdit, etc.) présentent des limitations majeures qui ne reflètent pas la complexité des applications réelles :

• Manque de complexité des scènes : Les benchmarks actuels utilisent souvent des images provenant de jeux de données généralistes (ex: MS COCO) avec des compositions simplifiées, peu d'objets, et une absence de relations spatiales denses ou d'occlusions complexes.
• Instructions et tâches limitées : Les instructions sont souvent atomiques et simples (ex: "remplacer le chien par un chat"), manquant de raisonnement contextuel, de logique compositionnelle et de manipulations multi-objets ou dynamiques.
• Qualité des données éditées : De nombreuses données de référence contiennent des incohérences visuelles, des artefacts géométriques ou ne respectent pas précisément les instructions, faussant l'évaluation des modèles.

En conséquence, les modèles peuvent obtenir de bons scores sur ces benchmarks simplifiés tout en échouant sur des tâches d'édition réelles complexes nécessitant une compréhension fine de l'espace et du contexte.

2. Méthodologie et Construction du Benchmark

Pour combler ce fossé, les auteurs introduisent CompBench, un benchmark à grande échelle conçu spécifiquement pour l'édition d'images complexe.

A. Collecte et Prétraitement des Données

• Source : Utilisation du jeu de données MOSE (Video Segmentation) pour obtenir des scènes réalistes et complexes.
• Filtrage : Application de métriques automatiques (ex: NIQE) et de vérifications manuelles pour éliminer les images corrompues.
• Traitement des masques : Décomposition des annotations multi-objets en instances uniques et suppression des masques discontinus ou trop occlus grâce à des modèles de langage multimodaux (MLLM) et une validation humaine.

B. Pipeline de Génération de Tâches (MLLM-Humain)

Les auteurs proposent un cadre collaboratif MLLM-Humain avec quatre pipelines spécialisés pour couvrir divers scénarios :

1. Édition locale : Ajout, suppression et remplacement d'objets.
2. Édition d'action/scène spatiale : Modification des états dynamiques ou des perspectives.
3. Raisonnement complexe : Éditions contextuelles implicites nécessitant un déduction logique.
4. Édition multi-tâches : Éditions multi-objets et multi-tours (séquentielles).

C. Stratégie de Découplage des Instructions

Pour améliorer la précision, les instructions sont structurées selon quatre dimensions clés :

1. Position spatiale : (ex: "à gauche de la table").
2. Attributs visuels : (couleur, texture).
3. États de mouvement : (ex: "en train de voler").
4. Entités objets : Identification précise des cibles.
   Cette approche transforme des requêtes ambiguës en spécifications bien définies tout en conservant la flexibilité du langage naturel.

D. Catégories de Tâches

CompBench couvre 9 tâches spécifiques regroupées en 5 catégories majeures :

1. Édition locale : Ajout, suppression, remplacement.
2. Édition multi : Multi-tours, multi-objets.
3. Édition d'action : Modification des états dynamiques.
4. Édition spatiale de scène : Changement de localisation ou de point de vue.
5. Raisonnement complexe : Raisonnement contextuel implicite.

3. Contributions Clés

1. Premier Benchmark à Grande Échelle pour l'Édition Complexe : CompBench contient plus de 3 000 paires image-instruction de haute qualité, surpassant les benchmarks existants en complexité de scène (nombre moyen d'objets, occlusions, objets hors champ).
2. Couverture de Tâches Inédite : Il introduit des catégories de tâches absentes ou sous-représentées dans la littérature, notamment l'édition d'action, l'édition de point de vue et le raisonnement implicite.
3. Qualité des Données Rigoureuse : Contrairement aux autres benchmarks où les échecs d'édition sont fréquents, toutes les données de CompBench ont été validées par des experts pour garantir une fidélité élevée (mesurée par des scores SSIM supérieurs).
4. Cadre d'Évaluation Hybride : Utilisation de métriques automatiques (PSNR, SSIM, LPIPS, CLIP) couplées à une évaluation par IA (GPT-4o, Qwen2.5-VL) et par des annotateurs humains pour les tâches subjectives (action, point de vue).

4. Résultats Expérimentaux

Les auteurs ont évalué 16 modèles d'état de l'art (incluant InstructPix2pix, MagicBrush, SmartEdit, FLUX.1, Bagel, Qwen-Image-Edit, etc.).

• Performances Globales : Aucun modèle ne domine toutes les tâches. Cependant, Bagel, Qwen-Image-Edit et FLUX.1 Kontext se distinguent comme les leaders, obtenant les meilleurs résultats dans près de 50 % des métriques.
• Limites des Modèles Existants : Les modèles sans intégration de MLLM (comme InstructPix2pix) échouent souvent à interpréter les instructions complexes ou à cibler les bons objets. HQ-Edit montre des performances particulièrement faibles.
• Édition Multi-tours : Tous les modèles subissent une baisse de performance lors de la deuxième étape d'édition, notamment en termes de cohérence du fond (background), bien que SmartEdit maintienne une certaine robustesse.
• Raisonnement et Géométrie : Les modèles peinent encore avec les tâches nécessitant un raisonnement spatial complexe (ex: "déplacer l'avion sous les deux autres"), souvent en raison d'hallucinations géométriques ou d'une mauvaise compréhension des relations spatiales.

5. Signification et Perspectives

L'étude fournit des insights cruciaux pour le développement futur des systèmes d'édition d'images :

• Rôle Critique des MLLM : L'intégration de modèles de langage multimodaux est indispensable pour interpréter correctement les instructions textuelles complexes et les contextes visuels.
• Désalignement Planificateur-Exécuteur : Même avec un bon MLLM (planificateur), les modèles de diffusion (exécuteurs) échouent souvent au niveau du masquage précis dans les scènes denses, entraînant des fuites de fond. Les architectures unifiées (comme Bagel) atténuent ce problème.
• Besoin de Raisonnement Avancé : L'amélioration des capacités de raisonnement (via des stratégies comme le Chain-of-Thought) est essentielle pour des édits fidèles.
• Contraintes Géométriques : Les futurs frameworks doivent intégrer des priors structurels 3D ou des guidages géométriques pour éviter les distorsions physiques dans les tâches d'action et de changement de point de vue.

En conclusion, CompBench établit un nouveau standard pour l'évaluation rigoureuse des capacités d'édition d'images, révélant les lacunes actuelles des modèles et orientant la recherche vers des systèmes de prochaine génération capables de manipulations complexes et réalistes.