Visually similar prints expose a benchmark validity gap in computational art history
Cet article démontre que les tests de référence de recherche visuelle en histoire de l'art computationnelle produisent souvent des taux de précision trompeurs en omettant des copies d'estampes historiquement distinctes mais visuellement similaires, révélant ainsi un écart de validité critique qui nécessite l'inclusion d'alternatives confuses dans les ensembles de candidats afin de distinguer la simple récurrence de motifs d'une véritable relation historique.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans les vastes archives numérisées des musées du monde, un nouveau type de recherche est apparu. Au lieu de taper des mots, les chercheurs et le public peuvent désormais télécharger une image pour en trouver d'autres qui lui ressemblent. Cette technologie, connue sous le nom de recherche visuelle, est devenue un outil puissant pour relier les fragments épars de l'art, retracer la manière dont un motif unique a voyagé à travers les siècles et reconstruire l'histoire visuelle des cultures. Elle fonctionne en comparant les pixels des photographies numériques, en cherchant des motifs dans les lignes, les formes et les couleurs qui suggèrent que deux images sont liées. Pour de nombreux types d'art, cela fonctionne magnifiquement. Cependant, un problème spécifique et tenace survient lorsque les objets en question sont des estampes — des images créées en pressant de l'encre d'un bloc gravé sur du papier. Un même motif peut exister sous de nombreuses formes différentes : une impression originale d'un bloc frais, une impression ultérieure d'un bloc usé, une copie réalisée par un autre artiste ou une reproduction. Pour un ordinateur, ces différentes versions paraissent souvent presque identiques. Pour un historien, elles racontent des histoires complètement différentes sur leur origine, leur date et leur mode de fabrication. La question centrale devient de savoir si une recherche informatique qui trouve une image visuellement similaire trouve réellement l'objet historique, ou simplement un sosie convaincant.
Une étude récente de Jiongming Fang, de l'Université de communication de Zhejiang, examine précisément cet écart entre ce qu'un ordinateur voit et ce qu'un historien sait. La recherche se concentre sur une collection d'estampes de bois du Metropolitan Museum of Art de New York. Les chercheurs voulaient tester si les outils de recherche informatique standards pouvaient distinguer une estampe originale d'une copie explicitement étiquetée comme telle dans les registres du musée. Ils ont mis en place une expérience contrôlée utilisant 39 dossiers spécifiques de la base de données du musée. Dans la première phase, ils ont demandé à l'ordinateur de trouver un motif correspondant parmi un groupe de candidats qui comprenait l'estampe originale correcte et de nombreuses autres estampes avec des motifs différents, mais ils avaient délibérément laissé de côté la copie connue. Dans ce scénario, l'ordinateur a parfaitement réussi. En utilisant des méthodes standards pour comparer les images, le système a correctement identifié l'estampe originale prévue comme la meilleure correspondance à chaque fois, sur 240 requêtes de test différentes. L'ordinateur résolvait essentiellement un puzzle où la mauvaise réponse n'était même pas présente.
Les chercheurs ont ensuite modifié l'expérience pour voir ce qui se passerait si l'ordinateur était forcé de choisir entre l'original et la copie. Ils ont ajouté la copie connue au groupe de candidats, créant ainsi un nouveau groupe où l'ordinateur devait décider entre deux images partageant le même motif mais ayant des identités historiques différentes. Les résultats ont radicalement changé. Lorsque la copie était présente, le record de perfection de l'ordinateur s'est brisé. Selon la méthode spécifique utilisée pour comparer les images, le système a correctement identifié l'original comme le premier résultat seulement 187, 177 ou 237 fois sur les 240 requêtes. Dans les cas restants, l'ordinateur a choisi la copie à la place, la classant comme la meilleure correspondance. Dans certaines instances, la copie est devenue le résultat unique de premier rang, remplaçant complètement l'original prévu. Cela s'est produit même si l'ordinateur utilisait les mêmes images et les mêmes règles mathématiques qu'auparavant. La seule chose qui a changé était la présence d'un objet historiquement différent qui ressemblait visuellement beaucoup à l'original.
L'étude a également testé un système plus prudent conçu pour admettre son incertitude. Ce système a été programmé pour ne prendre une décision finale que si deux méthodes de comparaison différentes s'accordaient sur la même réponse ; sinon, il s'arrêterait et demanderait l'aide d'un humain. Même cette approche prudente n'a pas réussi à éviter toutes les erreurs. Le système a accepté la copie comme étant la bonne réponse dans deux cas distincts, prouvant que le simple fait d'avoir un filet de sécurité ne suffit pas à garantir l'exactitude historique lorsque les preuves visuelles sont ambiguës. Les chercheurs ont découvert que le problème n'était pas que l'ordinateur était mauvais pour reconnaître le motif ; il était excellent pour cela. Le problème était que le test lui-même était défectueux car il n'incluait pas les alternatives difficiles qu'un véritable historien devrait considérer. Un test de référence qui demande seulement à un ordinateur de trouver un motif parmi des images sans rapport affichera toujours un taux de réussite élevé, mais ce taux de réussite ne nous dit rien sur sa capacité à distinguer un original d'une copie.
L'article conclut que la manière de tester ces systèmes doit changer. La validité d'un outil de recherche dépend de ce qu'il est autorisé à voir lors du test. Si un système n'est testé que sur des exemples faciles où les mauvaises réponses ne ressemblent pas du tout aux bonnes, son score élevé est trompeur. Pour comprendre véritablement si un outil est utile pour l'histoire de l'art, le test doit inclure des candidats « confondables par relation » — des objets qui se ressemblent mais ont des histoires différentes. L'auteur propose une nouvelle façon d'organiser la recherche numérique en séparant trois étapes distinctes : trouver des images visuellement similaires, tester si le système peut gérer des alternatives confuses, et enfin, porter un jugement historique basé sur des preuves documentaires. Cette approche ne cherche pas à automatiser le rôle de l'historien de l'art. Au contraire, elle crée une frontière claire où l'ordinateur peut dire « ces images se ressemblent », et l'expert humain peut alors décider « mais celle-ci est une copie ». En rendant visibles les limites de la recherche et en testant le système contre la complexité réelle de l'histoire de l'art, les chercheurs peuvent construire des outils qui sont honnêtes sur ce qu'ils savent et sur ce qu'ils ne savent pas. L'étude montre que pour que le patrimoine numérique soit véritablement fiable, nous devons cesser de prétendre que la similitude visuelle est la même chose que la vérité historique.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.