DLEBench: Evaluating Small-scale Object Editing Ability for Instruction-based Image Editing Model

Ce papier présente DLEBench, le premier benchmark conçu pour évaluer la capacité des modèles d'édition d'images basés sur des instructions à modifier des objets de petite taille, en mettant en évidence des lacunes significatives de performance grâce à un protocole d'évaluation rigoureux et une nouvelle métrique de référence.

L'essentiel

🎨 Le Problème : L'Artiste qui rate les détails

Imaginez que vous avez un peintre numérique très doué, capable de modifier des images sur simple demande (par exemple : "Change la couleur de la voiture en rouge"). C'est ce qu'on appelle un modèle d'édition d'images par instructions.

Jusqu'à présent, ces artistes étaient excellents pour modifier de gros objets : changer le ciel, déplacer une maison, ou transformer un chien en chat. C'est comme si on leur demandait de repeindre le toit d'une maison : ils le faisaient très bien.

Mais voici le problème : Si vous leur demandez de changer la couleur d'un petit bouton sur une chemise, ou d'enlever un insecte posé sur une feuille, ils échouent souvent. Ils ne voient pas le petit objet, ils le confondent avec le fond, ou ils changent tout le reste de l'image par erreur. C'est comme si un sculpteur essayait de graver un mot sur une pièce de monnaie, mais qu'il finissait par casser toute la pièce.

🔍 La Solution : DLEBench (Le "Test de Vision Aiguë")

Les chercheurs de l'Université Fudan ont créé un nouveau test, appelé DLEBench (DeepLookEditBench). C'est un peu comme un examen de vue spécial pour ces intelligences artificielles.

Au lieu de leur montrer des gros objets, ce test leur présente 1 889 images où l'objet à modifier est minuscule (moins de 10% de l'image, parfois même 1%).

• L'analogie : Imaginez que vous demandez à quelqu'un de trouver une fourmi dans une forêt dense et de lui changer la couleur de la patte. C'est extrêmement difficile !

Le test couvre des situations complexes :

• L'objet est caché en partie (occlusion).
• Il y a plusieurs petits objets similaires (comment savoir lequel modifier ?).
• Les instructions sont précises ("Change le texte sur le panneau", pas juste "Change le panneau").

📏 Comment on les note ? (Le Système de Notation)

Avant, on notait ces modèles avec des règles floues du type : "C'est bien, ça ressemble un peu". C'était subjectif.

Les chercheurs ont inventé un système de notation rigoureux avec deux critères principaux :

1. Suivre les ordres (Instruction Following) : A-t-il modifié le bon objet ?

   • Note 4 : Parfait.
   • Note 3 : Il a touché le bon objet, mais il a abîmé des détails (ex: il a changé la couleur du bouton, mais a aussi effacé le logo à côté).
   • Note 2 : Il a fait la bonne action, mais sur le mauvais objet (ex: il a changé la couleur de la chemise du voisin au lieu de celle du client).
   • Note 1 : Il n'a rien compris, il n'a même pas trouvé l'objet.

2. La cohérence visuelle (Visual Consistency) : Le reste de l'image est-il intact ?

   • Si l'IA modifie le bouton, le fond, le ciel et les autres personnes doivent rester exactement pareils. Si l'IA commence à transformer le ciel en jungle, c'est un échec total.

🛠️ Le Défi de l'Évaluation : Pourquoi les robots ne peuvent pas se juger eux-mêmes

C'est le point le plus intéressant de l'article. Les chercheurs ont essayé de demander à d'autres IA (des "juges") de noter le travail.

• Le problème : Ces "juges" IA sont comme des gens qui regardent une photo de très loin. Ils ne voient pas les petits détails. Ils disent "C'est parfait !" alors que l'IA a fait une erreur énorme sur le petit objet.
• La solution des chercheurs : Ils ont créé deux modes d'évaluation :
  1. Mode "Outils" : Le juge IA utilise des "loupes" et des "ciseaux" numériques pour zoomer sur l'objet et comparer pixel par pixel avant de donner sa note.
  2. Mode "Oracle" (Guide divin) : Les humains indiquent exactement où se trouve l'objet (avec un cadre rouge). L'IA jugeur ne regarde que ce cadre, ignorant le reste de l'image. Cela élimine le risque de se tromper d'objet.

📉 Les Résultats : La Révélation

Quand ils ont testé 10 modèles d'IA (y compris les plus célèbres comme Gemini ou GPT-Image), le résultat a été sans appel :

• Les modèles actuels sont mauvais pour les petits objets. Même les meilleurs modèles obtiennent de très faibles notes.
• Ils confondent souvent les objets. Par exemple, si on demande de changer la couleur d'un foulard vert, l'IA change la couleur du foulard d'une autre personne qui se trouve à côté.
• Ils détruisent l'image. Souvent, pour essayer de modifier un petit détail, ils déforment tout le reste de l'image.

💡 En Résumé

L'article DLEBench nous dit : "Arrêtons de penser que nos IA sont parfaites. Elles sont de superbes peintres pour les grands paysages, mais elles sont encore des débutants pour la micro-chirurgie visuelle."

Ce nouveau test est une boussole pour les chercheurs. Il leur montre exactement où ils doivent travailler pour que, dans le futur, nous puissions demander à une IA de changer la couleur d'un bouton sur une chemise sans qu'elle ne transforme toute la personne en un monstre vert !

C'est un pas de géant vers des outils d'édition d'images vraiment précis et fiables.

Résumé technique

Titre : DLEBench : Évaluation de la capacité d'édition d'objets à petite échelle pour les modèles d'édition d'images basés sur des instructions

1. Problématique

Les modèles d'édition d'images basés sur des instructions (IIEMs) ont connu des progrès significatifs, démontrant une bonne adhérence aux instructions et de fortes capacités de raisonnement sur les benchmarks actuels. Cependant, une lacune majeure persiste : la capacité à éditer des objets à petite échelle (occupant généralement moins de 10 % de l'image, voire 1 %).

Les benchmarks existants souffrent d'un biais envers les objets saillants et dominants. Lorsque la taille spatiale d'un objet diminue, le paradigme d'édition passe d'une modification globale à une édition localisée précise, ce qui pose des défis considérables :

• Localisation difficile : Les modèles échouent souvent à identifier précisément la cible (échec de localisation).
• Évaluation inadéquate : Les métriques de similarité classiques (comme CLIP) et même les évaluateurs basés sur les LMM (Large Multimodal Models) en tant que juges (LMM-as-a-Judge) peinent à détecter des modifications subtiles ou à distinguer le bruit de fond des changements réels, conduisant à des évaluations peu fiables.

2. Méthodologie

Pour adresser ces défis, les auteurs proposent DLEBench (DeepLookEditBench), le premier benchmark dédié à cette tâche, couplé à un protocole d'évaluation innovant.

A. Construction du Benchmark (DLEBench)

• Source des données : Le dataset est construit à partir de benchmarks de raisonnement visuel existants (MME-Realworld, Pixel-Reasoner, V*-Bench) contenant des objets petits et complexes (partiellement occlus, environnements encombrés).
• Pipeline de transformation en trois étapes :
  1. Construction de métadonnées : Utilisation d'une stratégie de synthèse contrefactuelle (via GPT-4.1) pour transformer les paires Question-Réponse en instructions d'édition, types d'instructions, objets cibles et légendes. Cela génère 7 types d'instructions (changement de couleur, matériau, forme, texte OCR, suppression, remplacement, comptage).
  2. Génération d'images de référence : Pour surmonter l'échec des IIEMs à éditer directement sur l'image complète, une stratégie de "Crop-and-Edit" est utilisée. Le modèle édite une région ciblée (avec une expansion adaptative du cadre pour préserver le contexte global) afin de générer une image de référence de haute qualité (Ground Truth).
  3. Vérification humaine : Une validation manuelle assure la cohérence sémantique et la qualité visuelle des références.
• Statistiques : Le benchmark contient 1 889 échantillons où les objets cibles occupent entre 1 % et 10 % de l'image, incluant des scénarios complexes comme l'occlusion partielle et l'édition multi-objets.

B. Protocole d'Évaluation
Les auteurs rejettent les métriques subjectives au profit d'un protocole rigoureux basé sur deux critères :

1. Suivi des Instructions (Instruction Following - IF) : Évalue la localisation et l'exécution de l'édition.
2. Cohérence Visuelle (Visual Consistency - VC) : Évalue la préservation des régions non ciblées.

Pour chaque critère, une rubrique de score hiérarchique (de 1 à 4) est définie par des modes d'échec précis (ex: Échec de localisation, Mauvaise action, Sur-modification, Exécution parfaite) pour réduire l'ambiguïté.

C. Cadre d'Évaluation Dual-Mode
Pour résoudre le décalage entre les juges LMM et les juges humains, deux modes sont proposés :

• Mode Piloté par Outils (Tool-driven) : Le LMM agit comme un agent invoquant des outils externes (localisation, zoom, détection de différences, super-résolution) pour compenser ses faiblesses de perception visuelle.
• Mode Guidé par Oracle (Oracle-guided) : Utilise des boîtes englobantes (bbox) annotées par des humains pour pré-cropper les images. Cela élimine les erreurs de localisation et force le LMM à se concentrer uniquement sur la région d'intérêt ou sur le fond (en masquant la cible).

3. Résultats Clés

L'évaluation a été menée sur 10 modèles IIEMs représentatifs (modèles propriétaires comme Gemini-3-Pro, GPT-Image-1, et modèles open-source comme Bagel-Think, UniWorld, etc.).

• Performance Globale : Les modèles actuels montrent des lacunes significatives dans l'édition d'objets à petite échelle. Même le modèle le plus performant (Gemini-3-Pro) obtient un score moyen de 65,55, indiquant que la tâche est loin d'être résolue.
• Décalage Propriétaire vs Open-Source : Contrairement aux benchmarks de raisonnement général, certains modèles open-source (ex: Bagel-Think) surpassent des modèles propriétaires (ex: GPT-Image-1) dans ce contexte spécifique.
• Analyse par Critère :
  • IF (Suivi des instructions) : Les scores sont globalement faibles. Les erreurs dominantes sont l'échec de localisation (le modèle ne trouve pas l'objet) et la sur-modification (altération de détails non ciblés).
  • VC (Cohérence visuelle) : La plupart des modèles préservent bien le fond, sauf ceux qui échouent à localiser la cible et modifient alors des régions non pertinentes (ex: GPT-Image-1).
• Impact de l'échelle : Une corrélation positive est observée entre la taille de l'objet et la performance pour la plupart des modèles : plus l'objet est petit, plus le score chute. Certains modèles (UniWorld-V1, MagicBrush) échouent systématiquement quelle que soit la taille.
• Validité du Protocole : Le mode Oracle-guided montre la meilleure corrélation avec les jugements humains (Spearman et Pearson élevés, MAE faible), surpassant largement les approches "LMM-as-a-Judge" standards qui manquent de précision visuelle.

4. Contributions Principales

1. DLEBench : Création du premier benchmark systématique pour évaluer l'édition d'objets à petite échelle, comblant un vide critique dans la littérature.
2. Protocole d'Évaluation Robuste : Introduction d'une méthodologie d'évaluation combinant des rubriques de scores objectives et un cadre dual-mode (Outils/Oracle) pour garantir une fiabilité supérieure aux méthodes actuelles.
3. Analyse Empirique : Fourniture d'une analyse approfondie de 10 modèles, révélant que les capacités d'édition fine sont un goulot d'étranglement majeur, même pour les modèles les plus avancés, et que la stratégie de conservation (ne pas éditer en cas d'incertitude) est parfois préférable à une modification agressive pour la cohérence globale.

5. Signification et Impact

Ce travail met en lumière une limite fondamentale des modèles d'édition d'images actuels : leur incapacité à manipuler des détails fins et localisés.

• Pour la recherche : DLEBench établit une nouvelle référence pour le développement de modèles capables de raisonnements visuels fins et de localisation précise.
• Pour l'application : La capacité à corriger des erreurs à petite échelle sans régénérer l'image entière est cruciale pour des applications pratiques (correction de photos, retouche professionnelle, génération d'images contrôlée).
• Pour l'évaluation : Le papier démontre que les méthodes d'évaluation automatisées standard sont insuffisantes pour les tâches de haute précision et propose un cadre reproductible et plus fiable pour l'avenir.

En résumé, DLEBench force la communauté à passer d'une évaluation basée sur la "saisie globale" à une évaluation de la "précision locale", ouvrant la voie à une nouvelle génération de modèles d'édition d'images plus fiables et détaillés.