Whose Art Counts? Model- and Prompt-Dependent Associations in Vision-Language Judgments of Museum Art
Cet article introduit un protocole d'audit conditionné par les archives pour évaluer comment les modèles de vision-langage et les structures de prompts interagissent avec les métadonnées muséales lors de l'évaluation de la valeur artistique, démontrant, à travers une étude de cas du Metropolitan Museum of Art, que les prompts d'« influence » produisent les différences par catégories les plus cohérentes tout en soulignant les limites de la généralisation entre les modèles et entre les prompts.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous venez de construire un robot bibliothécaire super intelligent qui a lu des millions de livres et vu des milliards d'images. Vous lui demandez : « Laquelle de ces peintures est un chef-d'œuvre ? » ou « Laquelle a changé l'histoire ? ». Vous vous attendez à ce que le robot regarde l'art et donne une réponse équitable basée sur la beauté et le talent. Mais voici le pièat : ce robot ne « voit » pas l'art comme un humain le fait. Il voit des motifs. Il a appris en associant des images à des mots sur Internet. Si Internet disait principalement que les « grands artistes » étaient des hommes, le robot pourrait apprendre que le « grand art » ressemble au travail d'un homme, même si c'est faux. C'est le monde des Modèles Vision-Langage (VLM) : des ordinateurs qui connectent les images aux mots. La grande question n'est pas seulement de savoir si « le robot est intelligent », mais plutôt « de quel genre de monde le robot a appris ? » et « est-ce que la réponse du robot change si on pose la question différemment ? ». Les musées sont désormais remplis de ces robots, aidant les gens à trouver de l'art, mais si le robot est biaisé, il pourrait cacher les histoires des femmes et d'autres créateurs sous-représentés, les faisant paraître moins importants qu'ils ne le sont réellement.
Ainsi, une équipe de chercheurs a décidé de soumettre ces robots bibliothécaires à un test très spécifique. Ils ne se sont pas contentés de demander aux robots de deviner ; ils ont mis en place un jeu strict pour voir si les robots jouaient équitablement. Ils ont saisi 445 images numériques d'art du Metropolitan Museum of Art. Mais voici le rebondissement : ils savaient que les archives des musées sont désordonnées. Beaucoup d'œuvres anciennes n'ont pas de nom clair associé. Ils ont donc divisé le groupe en deux : un petit groupe de 61 pièces dont le nom du créateur était connu (et ils ont deviné le genre basé sur le nom), et un immense groupe de 384 pièces où le créateur était un mystère. Ils voulaient voir si les robots donnaient des « scores plus élevés » aux artistes masculins nommés par rapport aux artistes féminins nommés.
Mais ils n'ont pas posé qu'une seule question. Ils ont posé la question aux robots de quatre manières différentes : « Est-ce un chef-d'œuvre ? », « Est-ce un travail de qualité ? », « Est-ce influent ? », et une question de contrôle juste pour vérifier si le robot était attentif. Ils ont soumis ce test à quatre cerveaux de robots différents (OpenAI CLIP, OpenCLIP B/32, OpenCLIP L/14 et SigLIP).
Voici ce qu'ils ont découvert, et c'est un véritable coup de théâtre : les robots n'étaient pas d'accord.
Ce n'était pas une histoire simple où « tous les robots sont sexistes ». Au lieu de cela, la réponse dépendait entièrement de quel robot vous interrogiez et de comment vous posiez la question.
- Lorsqu'ils ont interrogé sur l'« Influence » (à quel point un artiste a changé l'histoire), deux des robots (OpenAI CLIP et OpenCLIP L/14) ont donné un signal clair : ils ont évalué les œuvres attribuées à des hommes plus haut que celles attribuées à des femmes. C'était comme si le robot disait : « Oh, les livres d'histoire disent que les hommes ont changé les choses, alors je leur donnerai un score plus élevé. »
- Cependant, lorsqu'ils ont interrogé sur la « Qualité » ou le « Chef-d'œuvre », les résultats étaient confus. Un robot pouvait dire « Les hommes sont meilleurs », un autre pouvait dire « Les femmes sont meilleures », et un troisième pouvait dire « Je ne vois pas de différence ».
- Un robot, SigLIP, a en fait donné le résultat opposé, évaluant plus haut les œuvres attribuées aux femmes, bien que les chercheurs aient noté que les chiffres étaient un peu instables et difficiles à définir.
La chose la plus importante que l'article dit est que vous ne pouvez pas simplement faire la moyenne de ces réponses. Si vous preniez les scores de tous les quatre robots et les fusionniez en un seul grand nombre, vous obtiendriez un mensonge. Les robots sont trop différents. Le « score élevé » d'un robot n'est pas la même chose que le « score élevé » d'un autre. Les chercheurs soutiennent que le « biais » n'est pas un défaut fixe de la technologie, mais un problème de mesure. Le résultat change selon l'outil que vous utilisez et les mots exacts que vous tapez.
L'étude souligne également que les propres archives du musée ont joué un rôle majeur. Parce que 384 des 445 œuvres d'art n'avaient pas de créateur connu, les robots ne pouvaient même pas les comparer. Les artistes « nommés » étaient une tranche très spécifique et minuscule de la collection du musée. Les chercheurs préviennent que nous ne pouvons pas dire que ces robots détestent les artistes femmes en général ; nous pouvons seulement dire que dans ce test spécifique, avec ces mots spécifiques et cet ensemble de photos spécifiques, certains robots ont montré un motif favorisant les noms masculins.
En fin de compte, l'article ne dit pas « Les robots sont cassés » ou « Les robots sont parfaits ». Il dit : « Soyez prudents ». Si un musée utilise un robot pour classer l'art, le classement pourrait n'être que le reflet de la façon dont le robot a été entraîné et de la façon dont la question a été posée, et non la véritable valeur de l'art. Les chercheurs suggèrent qu'au lieu de chercher une seule « vérité », nous devons écouter le désaccord entre les robots. Si un robot dit « Ceci est un chef-d'œuvre » et qu'un autre dit « Non », ce désaccord est en fait la réponse la plus honnête que nous puissions obtenir : cela nous indique que la question est plus difficile que nous ne le pensions, et que l'opinion du robot n'est qu'une voix bruyante parmi tant d'autres dans une pièce très animée.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.