MDTD-ArtIR: Benchmarking Image Editing and Restoration Models for Art Image Restoration under Texture-Overlay Degradations

Imaginez que vous êtes un restaurateur d'art, mais au lieu d'un pinceau poussiéreux et d'une palette de peintures, vous avez un programme informatique super intelligent. Votre travail consiste à réparer de vieilles peintures — peut-être une qui est craquelée comme un lit de rivière asséché, une autre tachée par de mystérieuses taches jaunes, ou une troisième où un morceau de la toile a tout simplement disparu. C'est le monde de la restauration d'art pilotée par l'IA, un domaine où les ordinateurs tentent de deviner à quoi ressemblait un chef-d'œuvre avant que le temps et les accidents ne le gâchent. Mais voici la partie délicate : l'ordinateur ne doit pas seulement remplir les zones vides ; il doit le faire sans inventer de détails sauvages et faux qui n'ont jamais existé. C'est comme essayer de terminer l'histoire d'un ami qui s'arrête de parler au milieu de sa phrase ; vous voulez deviner la fin qui correspond à son style, pas inventer un dragon si l'histoire était un mystère.

Pour tester si ces programmes informatiques sont réellement bons à cela, les scientifiques leur donnent généralement des exercices d'entraînement. Mais la plupart de ces exercices sont trop faciles ou trop factices. Ils peuvent demander à l'ordinateur de corriger une photo floue ou de supprimer quelques gouttes de pluie, ce qui revient à s'entraîner sur une fenêtre légèrement tachée avant d'essayer de réparer un vitrail brisé. La vraie dégradation de l'art est désordonnée, étrange et cache souvent des parties de l'image derrière des couches de saleté ou de fissures. La grande question que les chercheurs se posent est la suivante : nos meilleurs outils d'IA peuvent-ils réellement gérer ces dommages réels et complexes sans perdre l'âme de l'œuvre ?

---

Le Grand Casse de l'Art : Quand l'IA tente de réparer une peinture

Rencontrez l'équipe MDTD-Art, un groupe de chercheurs de l'Université de Durham qui a décidé de construire un nouveau terrain d'entraînement super exigeant pour les restaurateurs d'art par IA. Ils ont réalisé que les anciens tests d'entraînement étaient comme jouer à "Jacques a dit" avec un disque rayé — les instructions étaient trop simples et les dommages trop prévisibles. Ils ont donc inventé un nouveau jeu appelé MDTD-ArtIR.

Considérez leur nouveau jeu de données comme un "simulateur de dommages". Au lieu de simplement flouter une image, ils ont pris de magnifiques peintures propres et y ont superposé 47 types différents de textures bizarres — comme de la boue craquelée, de la peinture éclaboussée ou des éponges poreuses. Mais ils n'ont pas seulement plaqué ces textures ; ils ont joué avec un "bouton de transparence". Ils pouvaient rendre le dommage léger (faible opacité), comme une légère poussière de farine, ou épais et lourd (forte opacité), comme verser un seau de boue sur la peinture. Cela a créé un spectre de difficulté, allant du "très facile" au "bonne chance, il vous faudra un miracle".

Le Duel : Mécaniciens Spécialisés contre Conteurs Créatifs

Les chercheurs ont organisé un affrontement entre deux types de modèles d'IA :

1. Les Mécaniciens Spécialisés (modèles de restauration d'image universels) : Ce sont les robots "réparateurs". Ils sont entraînés spécifiquement pour supprimer les rayures, le bruit ou le flou. Ils sont comme un maître horloger qui sait exactement comment réparer un engrenage cassé.
2. Les Conteurs Créatifs (modèles d'édition d'image) : Ce sont les robots "inventeurs". Ils sont généralement utilisés pour modifier une photo (comme transformer un chien en chat ou ajouter un chapeau). Ils sont comme un écrivain créatif capable d'improviser une scène entière à partir de quelques indices.

L'équipe voulait voir qui réussissait le mieux à restaurer les peintures lorsque les dommages étaient lourds et les indices rares. Ils ont testé ces modèles en utilisant deux "manuels d'instructions" (prompts) différents :

• Le Prompt Simple : Disait juste, "Répare ceci."
• Le Prompt d'Expert : Disait, "Vous êtes un expert en restauration. Le masque est un dommage, pas de l'art. Supprimez-le et reconstruisez la scène originale."

La Grande Surprise : Les Conteurs ont Gagné (en partie)

Voici le rebondissement découvert par l'article : Les Conteurs Créatifs (modèles d'édition d'image) ont généralement surpassé les Mécaniciens Spécialisés.

Lorsque le dommage était léger (faible opacité), tout le monde s'en sortait bien. Mais à mesure que la "boue" devenait plus épaisse (forte opacité), les Mécaniciens Spécialisés commençaient à avoir du mal. Ils laissaient souvent le dommage là ou essayaient de le réparer d'une manière qui paraissait rigide et artificielle. Ils étaient trop concentrés sur les "règles" de la réparation et n'avaient pas assez d'imagination pour deviner ce qui se trouvait en dessous.

Les Conteurs Créatifs, en revanche, étaient bien meilleurs pour deviner les parties manquantes. Lorsque les chercheurs leur ont donné le Prompt d'Expert (celui qui expliquait clairement la tâche), ces modèles sont devenus encore meilleurs. Par exemple, le modèle Nano Banana (NB) Pro est passé d'un score de 9,63 dB à 11,87 dB en qualité d'image lorsqu'il recevait les instructions d'expert à haute opacité. Le modèle Flux 2 a connu un bond similaire, passant de 8,57 dB à 11,01 dB. C'est comme si le conteur avait soudainement compris la consigne : "Oh, je ne suis pas censé peindre par-dessus la boue ; je suis censé imaginer ce qu'il y avait en dessous !"

Le Piège : Quand l'Imagination va Trop Loin

Mais il y a un piège. Parce que ces modèles "Conteurs" sont si doués pour inventer des choses, ils deviennent parfois trop créatifs. Dans les pires cas, ils n'ont pas seulement réparé la peinture ; ils ont changé l'histoire entière.

L'article montre certains exemples amusants (mais tristes) où l'IA a regardé un visage craquelé et a décidé : "Je pense que cette personne devrait avoir un nez différent", ou a regardé un paysage et a décidé d'ajouter une montagne qui n'était pas là. C'est ce qu'on appelle une "hallucination". Le modèle FireRed, qui est principalement entraîné sur des visages, a été tellement confus par les fissures en forme de visage qu'il a "détourné" l'image et a transformé toute la peinture en un visage étrange et flou. Les modèles GPT Image 1.5 et NB Pro étaient les meilleurs pour préserver l'identité originale, mais même eux changeaient parfois légèrement les couleurs ou la forme de l'image.

Le Verdict : La Clarté est la Clé

La principale conclusion de cet article est que pour réparer de l'art vraiment endommagé, la façon dont vous posez la question importe plus que l'outil que vous utilisez.

• Les outils spécialisés (comme AutoDIR) sont excellents pour préserver l'image originale mais échouent souvent à supprimer les textures lourdes et étranges.
• Les outils créatifs (comme NB Pro et Flux) sont incroyables pour deviner les parties manquantes, mais ils ont besoin d'instructions claires pour éviter d'inventer des détails fictifs.
• Le "Prompt d'Expert" est l'ingrédient secret. Quand l'IA est clairement informée : "Ceci est un dommage, pas de l'art", elle performe bien mieux, surtout quand le domage est important.

Les auteurs suggent que bien que ces modèles créatifs soient puissants, ils ne sont pas encore parfaits. Ils peuvent encore se tromper et changer l'identité de l'œuvre. Mais en utilisant les bonnes instructions et en comprenant que ces modèles sont meilleurs pour "deviner l'histoire" que pour "réparer les rouages", nous pouvons nous rapprocher de la restauration de notre art précieux sans en perdre l'âme. C'est un rappel que dans le monde de l'IA, la meilleure façon de réparer une image brisée est parfois de demander à l'ordinateur d'imaginer ce qu'elle devrait être, plutôt que de simplement lui dire comment colmater les brèches.