A Heritage-Aware Evaluation Framework for Synthetic Training Images of Kizil Grotto Murals
Cet article présente un cadre d'évaluation respectueux du patrimoine qui utilise dix indicateurs pondérés à travers la sémantique, la composition, la couleur et la ligne pour évaluer et filtrer les images de fresques synthétiques des grottes de Kizil générées par divers modèles d'IA, identifiant finalement Midjourney comme le meilleur performeur pour la création de jeux de données d'entraînement de haute qualité.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Au cœur du paysage aride de l'ouest de la Chine se trouvent les grottes de Kizil, un vaste réseau de cavernes qui servaient autrefois d'étape vitale sur l'ancienne Route de la Soie. À l'intérieur de ces grottes, des artistes peignaient il y a des milliers d'années, créant des murales qui racontent l'histoire de la vie bouddhiste à travers un langage visuel distinct. Ces peintures ne sont pas seulement belles ; elles sont des archives historiques de croyances religieuses, d'échanges artistiques et des techniques spécifiques utilisées par les artisans de l'époque. Cependant, le temps et l'environnement ont infligé de lourds dégâts. Les pigments se sont estompés, le plâtre s'est fissuré et de nombreuses sections des parois se sont effondrées, laissant des lacunes dans le récit visuel. Pour les chercheurs qui souhaitent étudier ces œuvres d'art ou utiliser l'informatique pour aider à leur restauration, ces dommages créent un problème sérieux : il n'existe tout simplement pas assez d'images claires et complètes pour apprendre à un ordinateur à reconnaître les motifs, les couleurs et les récits du style Kizil.
Pour pallier cette pénurie, les scientifiques se sont tournés vers l'intelligence artificielle, et plus précisément vers un type de technologie connue sous le nom de modèles génératifs. Il s'agit de programmes informatiques capables de créer de nouvelles images à partir de zéro, en se basant sur des descriptions textuelles ou des exemples. En théorie, ces outils pourraient générer des milliers de nouvelles images ressemblant aux murales de Kizil, fournissant ainsi la masse de données nécessaire pour entraîner des logiciels de restauration. Mais il y a un piège. Ce n'est pas parce qu'un ordinateur peut fabriquer une image qui ressemble à une peinture qu'il s'agit d'une bonne peinture. Une image artificielle peut respecter les couleurs mais déformer l'histoire, ou bien capturer la forme générale d'une figure mais omettre les symboles culturels spécifiques qui donnent son sens à l'art. Si les chercheurs injectent ces images défectueuses dans leurs programmes d'entraînement, l'ordinateur pourrait apprendre de mauvaises leçons, risquant ainsi de ruiner les futurs efforts de restauration. Le défi n'est donc pas seulement de produire plus d'images, mais de déterminer lesquelles sont fidèles au patrimoine et lesquelles ne sont que du bruit numérique.
Une équipe de chercheurs de l'Université des postes et télécommunications de Pékin et de l'Institut de recherche des grottes de Kizil s'est donné pour mission de résoudre ce problème précis. Ils ont développé une nouvelle méthode pour évaluer les images synthétiques spécifiquement dédiées aux murales des grottes de Kizil, créant un cadre qui agit comme un contrôle de qualité rigoureux. Au lieu de demander à un ordinateur de simplement deviner si une image est « bonne », ils ont décomposé les caractéristiques uniques de l'art de Kizil en quatre domaines spécifiques : l'histoire racontée, la composition de l'image, les couleurs utilisées et les lignes qui définissent les formes. Ils ont ensuite attribué une importance spécifique à chacun de ces domaines, décidant que le respect de l'histoire et de la signification culturelle était le facteur le plus critique, suivi de la composition de l'image, de l'exactitude des couleurs et, enfin, de la fluidité des lignes.
Pour tester leur système, les chercheurs ont commencé par un ensemble d'images réelles soigneusement préparées. Ils ont utilisé 1 479 photographies de la grotte 38, une chambre spécifique des grottes connue pour ses murales riches et relativement complètes. À partir de ces photos, ils ont manuellement restauré 94 images pour éliminer le bruit visuel des fissures et de la décoloration, puis ont sélectionné les 24 meilleures pour servir de « standard d'or » pour l'expérience. Ces 24 images présentaient des sujets non humains tels que des animaux, des plantes et des objets décoratifs, choisis pour éviter les difficultés complexes liées à la génération de visages humains. En utilisant ces 24 images de référence, ils ont demandé à quatre systèmes d'intelligence artificielle populaires — Stable Diffusion, Midjourney, DALL·E 3 et Kandinsky — de générer de nouvelles images. Ils ont donné à chaque système les mêmes instructions, lui demandant de créer des images dans le style des murales de Kizil avec des motifs et des couleurs spécifiques. Au total, les systèmes ont produit plus de 10 000 images candidates pour l'évaluation de l'équipe.
Les résultats de ce processus de filtrage massif ont révélé que toutes les intelligences artificielles ne se valent pas lorsqu'il s'agit de patrimoine culturel. Les chercheurs ont découvert qu'un système, Midjourney, produisait la qualité globale la plus élevée, obtenant le meilleur score sur l'échelle combinée de l'histoire, de la composition, de la couleur et de la ligne. Cependant, l'étude a montré qu'aucun système n'était parfait en tout. Tandis que Midjourney excellait dans la capture des récits appropriés et le maintien des sujets principaux centrés, un autre système, DALL·E 3, était meilleur pour maintenir la texture et les détails de surface des peintures originales. Un troisième système, Stable Diffusion, était particulièrement efficace pour correspondre aux nuances spécifiques de rouge et de bleu présentes dans les murales anciennes, tandis que le quatrième, Kandinsky, était celui qui peinait le plus sur l'exactitude culturelle globale. L'équipe a découvert qu'un score élevé dans un domaine pouvait parfois masquer un échec dans un autre ; par exemple, une image peut être visuellement frappante mais échouer à raconter la bonne histoire, la rendant inutile pour l'entraînement d'un modèle de restauration.
Les chercheurs ont conclu que leur nouveau cadre permet de séparer le bon grain de l'ivraie, identifiant les images synthétiques qui sont sûres à utiliser pour l'entraînement des ordinateurs et celles qui doivent être écartées. Ils ont constaté que le facteur le plus important pour ces murales anciennes était la cohérence sémantique — s'assurer que l'image générée représente réellement les bons symboles culturels et éléments narratifs. Sans cela, même une belle image est trompeuse. L'étude ne prétend pas avoir résolu définitivement le problème du patrimoine numérique, ni déclare un outil d'intelligence artificielle comme le vainqueur ultime pour toutes les tâches futures. Au lieu de cela, elle fournit une méthode pratique et structurée permettant aux conservateurs et aux scientifiques de filtrer des milliers d'images générées, garantissant que les outils numériques utilisés pour protéger ces trésors anciens sont entraînés sur des données qui respectent l'intégrité de l'art original. En filtrant les distorsions et les dérives que l'intelligence artificielle introduit souvent, ce cadre aide à garantir que le futur numérique des grottes de Kizil reste fidèle à son passé.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.