Résumé Technique : PAINTBENCH

Énoncé du Problème

Bien que les modèles multimodaux actuels fassent preuve de prouesses dans l'édition visuelle ouverte et subjective (par exemple, « rendre le ciel plus bleu »), ils peinent face aux tâches d'édition visuelle précises à réponse unique. Les benchmarks existants pour l'édition d'images reposent largement sur le jugement humain, la notation par des modèles de langage-vision (VLM) ou des métriques perceptuelles (par exemple, SSIM, LPIPS, FID). Ces approches sont mal adaptées aux tâches possédant des vérités de terrain (ground truths) déterministes, car elles introduisent un biais et ne parviennent pas à vérifier l'exactitude parfaite. L'article identifie une lacune dans l'évaluation de la capacité des modèles à exécuter des opérations raster exactes — comme déplacer une forme de 50 pixels, remplir une région spécifique avec une couleur, ou supprimer une instance précise — là où il existe un résultat correct unique.

Méthodologie

PAINTBENCH : Un Benchmark Déterministe

Les auteurs introduisent PAINTBENCH, un benchmark généré de manière procédurale conçu pour évaluer 20 opérations fondamentales d'édition visuelle précise à travers quatre catégories :

1. Transformation Géométrique : Translation, rotation, réflexion, mise à l'échelle (scaling), cisaillement (shearing).
2. Manipulation Structurelle : Construction, suppression, copie, bordure, recadrage.
3. Changement de Couleur : Recoloration, remplissage (flood fill), mélange (blending), dégradé, opérations ponctuelles.
4. Raisonnement Symbolique : Comparaison, ordonnancement, motif (pattern), comptage, légende.

Génération et Conception :

• Génération Procédurale : Les problèmes sont générés à partir de graines aléatoires (seeds) avec des paramètres configurables (dimensions du canevas, nombre d'objets, texture de l'arrière-plan, palette de couleurs). Cela crée une suite d'évaluation virtuellement infinie et résistante à la contamination.
• Vérité de Terrain Déterministe : Chaque problème consiste en une image d'entrée, une instruction en langage naturel et une image de réponse unique générée par une transformation déterministe $A = f(I, t)$.
• Conditions Visuelles : Pour tester la robustité, chaque tâche est évaluée sous huit conditions visuelles, faisant varier un paramètre à la fois (par exemple, arrière-plans rayés vs unis, nombres d'objets de 3 à 60, palettes de couleurs non standard).

Protocole d'Évaluation :

• Comparaison au Pixel Près : L'évaluation évite totalement les « modèles juges ». À la place, elle compare la sortie du modèle $\hat{A}$ par rapport à la vérité de terrain $A$ et l'entrée $I$ au niveau du pixel.
• Distance de Couleur : La justesse par pixel est mesurée via $\Delta E^*_{76}$ (distance euclidienne dans l'espace CIE Lab*). Un pixel est considéré comme correct si la distance est comprise dans une tolérance $t \in \{0, \dots, 10\}$.
• Métriques :
  • IoU@t : L'indice de Jaccard appliqué à la justesse des pixels, pénalisant conjointement l'échec de l'édition (pixels incorrectement édités) et la corruption de la région de préservation (pixels incorrectement préservés).
  • mIoU (Mean IoU) : La principale métrique de synthèse, calculant la moyenne de l'IoU@t sur 11 tolérances de couleur ($t=0$ à $10$) et l'ensemble des problèmes. Cela capture la performance sur tout le spectre de la précision des couleurs.

TINYGRAFIXBENCH

Pour tester la généralisation au-delà des formes synthétiques, les auteurs introduisent TINYGRAFIXBENCH, un benchmark compagnon pour l'édition de visualisation de données. Il applique le même cadre procédural et déterministe à cinq types de graphiques (barres, nuages de points, lignes, cartes de chaleur, réseaux) avec 600 problèmes.

Résultats Clés

Performance Globale

À travers 11 modèles évalués (allant des générateurs multimodaux natifs aux éditeurs de diffusion et de flow-matching), la performance est extrêmement faible :

• Le modèle le plus performant (NANO-BANANA-2) atteint seulement 17,1 % de mIoU.
• Le deuxième meilleur (GPT-IMAGE-2) obtient 16,3 %.
• Les modèles en poids ouverts (open-weight) obtiennent généralement des scores plus bas, certains (comme HUNYUANIMAGE-3.0, INSTRUCTPIX2PIX) affichant presque 0 % sur de nombreuses tâches.

Difficulté des Tâches et Spécialisation

• Tâches les plus Difficiles : Les transformations géométriques (notamment le cisaillement et la mise à l'échelle), les changements de couleur basés sur des formules (dégradés, mélanges) et la plupart des manipulations structurelles sont systématiquement difficiles pour tous les modèles.
• Tâches les plus Faciles : La suppression et les opérations de couleur simple (recoloration, remplissage) sont plus abordables mais loin d'être résolues (par exemple, la Suppression atteint ~50 % pour le meilleur modèle).
• Spécialisation des Modèles : Les modèles présentent des forces distinctes. Par exemple, GPT-IMAGE-2 excelle dans les tâches géométriques et structurelles, tandis que NANO-BANANA-2 mène dans les changements de couleur et le raisonnement symbolique. Notamment, NANO-BANANA-2 obtient 47,1 % sur les tâches de « Légende » contre 19,4 % pour GPT-IMAGE-2.

Sensibilité aux Variations de Scène

Les modèles sont très fragiles face aux variations de scène :

• Arrière-plans Rayés : Provoquent des chutes significatives de mIoU (ex : -11,1 % pour NANO-BANANA-2).
• Nombre élevé d'Objets : La performance se dégrade linéairement à mesure que le nombre d'objets augmente (ex : chute de -11,9 % pour NANO-BANANA-2 en passant de 3 à 60 objets).
• Couleurs Non Standard : Bien que les scores de mIoU globaux semblent stables, la précision de correspondance exacte des pixels ($\Delta E^*_{76} = 0$) s'effondre pour les palettes non standard, indiquant que les modèles peinent à reproduire précisément des couleurs spécifiques et non standard.
• Taille de la Région d'Édition : Les modèles sur-éditent considérablement par rapport à la région cible. Pour les petites régions d'édition (< 32² pixels), les modèles modifient 50 à 1 400 fois plus de pixels que nécessaire, entraînant des déclins brutaux de performance.

Généralisation

Il existe une forte corrélation linéaire ($R^2 = 0,91, p < 0,001$) entre les scores de PAINTBENCH et de TINYGRAFIXBENCH. Cela suggère que les benchmarks synthétiques de PAINTBENCH capturent des capacités fondamentales qui se généralisent aux tâches d'édition de visualisation de données appliquées.

Signification et Revendications

L'article affirme que PAINTBENCH fournit une base rigoureuse et sans biais pour mesurer les progrès de l'édition visuelle multimodale précise. En passant d'une évaluation subjective et ouverte à une vérification déterministe au niveau du pixel, le benchmark révèle que les modèles d'état de l'art actuels sont fondamentalement incapables d'exécuter des opérations raster de base avec une haute précision.

Les auteurs soulignent que :

1. Les modèles actuels ne sont pas « résolus » pour l'édition précise : Même les meilleurs modèles échouent à la majorité des tâches, particulièrement celles exigeant une précision géométrique ou une logique de couleur complexe.
2. L'évaluation doit être spécifique à la tâche : Les classements agrégés cachent des spécialisations et des modes d'échec importants (ex : imprécision de couleur vs omission structurelle).
3. La génération procédurale est essentielle : Les benchmarks statiques sont sujets à la contamination ; la génération dynamique permet des études d'ablation contrôlées des variations de scène (arrière-plans, nombre d'objets, couleurs).
4. Le cadre est extensible : L'approche utilisée pour PAINTBENCH et TINYGRAFIXBENCH peut être appliquée à d'autres domaines possédant des sorties correctes uniques, tels que la visualisation scientifique, le dessin technique et la manipulation de scènes 3D.

L'article conclut que si la génération ouverte a progressé, la capacité à effectuer des éditions visuelles exactes et déterministes demeure un défi critique et non résolu dans l'IA multimodale.