Sampling variability ranks reconstruction error in lacquerware image inpainting across models and collections
Cette étude démontre que la variabilité d'échantillonnage à travers de multiples reconstructions par inpainting génératif sert de prédicteur robuste de l'erreur de reconstruction dans les images de laque, permettant ainsi la hiérarchisation des résultats pour la revue humaine malgré son incapacité à garantir l'authenticité historique ou à éliminer entièrement les erreurs.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les photographies de musée constituent le principal registre d'objets délicats comme la laque, capturant le lustre d'une surface ou l'aspect complexe d'un motif peint. Pourtant, une photographie n'est qu'une image plate ; elle ne peut révéler les couches de matière sous la peinture ni l'état réel de l'objet si certaines parties de celui-ci sont manquantes. Lorsque les conservateurs ou les historiens doivent imaginer ce à quoi une pièce endommagée aurait pu ressembler, ils ont parfois recours à l'intelligence artificielle. Ces programmes informatiques peuvent combler les zones manquantes d'une photo, créant une image complète qui semble convaincante pour l'œil humain. Cependant, une image convaincante n'est pas nécessairement une image correcte. L'ordinateur pourrait inventer un motif qui n'a jamais existé ou lisser une fissure qui devrait rester visible. Le défi central du patrimoine numérique n'est pas seulement de créer une belle image, mais de savoir quand cette image est susceptible d'être fausse. Si un ordinateur génère une restauration, comment un expert humain peut-il savoir s'il doit lui faire confiance ou examiner de plus près ?
Une équipe de chercheurs s'est donné pour mission de répondre à cette question en testant une idée spécifique : si un ordinateur génère plusieurs versions différentes d'une même pièce manquante, le degré de désaccord entre ces versions pourrait signaler l'exactitude du résultat. Ils se sont concentrés sur la laque, un type de bois ou de métal décoré et recouvert d'une finition dure et brillante, en utilisant une collection de photographies provenant de grands musées. Les chercheurs ont pris des photos intactes de ces objets et ont numériquement recouvert de petites, moyennes et grandes sections de ceux-ci, simulant ainsi des dommages. Ils ont ensuite demandé à deux modèles différents d'intelligence artificielle de « guérir » les dommages en générant quatre complétions possibles différentes pour chaque zone manquante. La clé de leur méthode résidait dans une comparaison simple. Ils ont examiné les trois premières images générées pour voir à quel point elles différaient les unes des autres dans la zone manquante. Si les trois images se ressemblaient beaucoup, l'ordinateur était confiant. Si elles se ressemblaient très peu, l'ordinateur était incertain. Ils ont ensuite vérifié ce score d'« incertitude » par rapport à la quatrième image, qu'ils avaient gardée cachée, pour voir si le score prédisait réellement l'écart par rapport à la photographie originale et intacte.
Les résultats ont montré un schéma clair. Lorsque les trois images générées divergeaient de manière significative, la quatrième image était généralement très différente de la photographie originale, ce qui signifiait que la reconstruction contenait une erreur importante. Inversement, lorsque les trois images concordaient étroitement entre elles, la quatrième image était beaucoup plus proche de la vérité. Dans le groupe de 64 objets originaux, les chercheurs ont constaté que ce désaccord était un prédicteur fort de l'erreur. En utilisant cette méthode, ils pouvaient trier les objets et choisir d'inspecter uniquement ceux où l'ordinateur semblait le plus confiant. S'ils n'examinaient que les 40 % d'objets présentant le plus faible désaccord, l'erreur moyenne dans ces images sélectionnées chutait de manière spectaculaire par rapport à un examen aléatoire de toutes les images. Cela ne signifiait pas que l'ordinateur produisait de meilleures images de lui-même ; les images étaient exactement les mêmes. Au lieu de cela, la méthode agissait comme un filtre, aidant les humains à décider quelles images valaient la peine d'être examinées et lesquelles étaient probablement trompeuses.
Cette approche a tenu bon même lorsque les chercheurs l'ont testée sur un nouvel ensemble de 40 objets provenant de musées différents, utilisant une version différente du modèle d'intelligence artificielle. Le lien entre désaccord et erreur est resté fort, suggérant que la méthode n'est pas un simple coup de chance lié à un jeu de données spécifique. Cependant, l'étude a également révélé d'importantes limites. L'ordinateur était bien plus performant pour reconstruire des surfaces simples et lisses que pour traiter des zones complexes et décorées. Comme la méthode favorisait naturellement les objets plus simples, une application stricte du filtre aurait exclu la plupart des pièces décorées, qui sont souvent les plus significatives sur le plan culturel. De plus, bien que la méthode puisse prédire des erreurs au niveau des pixels, elle ne pouvait pas déterminer si une reconstruction était historiquement exacte ou appropriée pour un travail de conservation réel. L'ordinateur pourrait s'accorder sur un motif erroné, ou pourrait générer un design plausible mais historiquement impossible.
Les chercheurs ont également comparé leur méthode à des façons plus simples d'évaluer la difficulté d'une image, comme mesurer le nombre de contours ou la quantité de texture dans la zone manquante. Dans le groupe initial d'objets, leur méthode de désaccord a été légèrement plus performante, mais l'avantage était faible et pas toujours constant. Dans le groupe externe d'objets de musées, la méthode du désaccord a montré un avantage plus net par rapport à ces contrôles plus simples. L'étude a conclu que, bien que cette technique ne résolve pas le problème de l'authenticité historique, elle offre un outil pratique pour les musées. Elle fournit un signal reproductible qui peut aider à prioriser les restaurations numériques nécessitant une révision humaine. En signalant les images où l'ordinateur est incertain, elle permet aux experts de concentrer leur attention là où elle est le plus nécessaire, garantissant que l'effort de vérification du patrimoine numérique soit consacré aux cas les plus incertains et potentiellement problématiques.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.