Ethology of Latent Spaces
Cette étude emploie une perspective éthologique pour démontrer que les espaces latents des modèles de vision-langage ne sont pas neutres mais présentent des « régimes scopiques algorithmiques » distincts, dictés par les données d'entraînement, qui génèrent des interprétations politiques et culturelles divergentes et souvent contradictoires de l'art, nécessitant un réexamen critique de la manière dont ces modèles sont utilisés en histoire de l'art numérique.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez trois critiques d'art différents. Ils regardent tous la même collection de 301 peintures et sculptures, allant du XVe siècle aux années 1900. Vous pourriez vous attendre à ce qu'ils s'accordent sur ce qu'ils voient. Mais dans cette étude, les « critiques » ne sont pas des humains ; ce sont trois modèles d'IA différents (OpenAI CLIP, OpenCLIP/LAION et SigLIP).
L'article soutient que ces modèles d'IA ne sont pas des pages blanches neutres. Au lieu de cela, chacun a développé sa propre « personnalité » et sa propre façon de voir le monde, façonnée entièrement par les données spécifiques qui lui ont été fournies et par la manière dont il a été construit. L'auteur appelle cela une « éthologie des espaces latents » — en gros, étudier le « comportement » de ces cerveaux d'IA comme un biologiste étudie le comportement des animaux dans la nature.
Voici une décomposition des points principaux de l'article en utilisant des analogies simples :
1. L'analogie des « Lunettes Invisibles »
Considérez ces modèles d'IA comme portant des lunettes invisibles.
- Les Mathématiques : À l'intérieur de l'ordinateur, l'IA voit les images comme un nuage de nombres (vecteurs) dans un espace gigantesque et multidimensionnel.
- La Signification : Quand nous demandons à l'IA : « Cette image est-elle politique ? », elle ne « réfléchit » pas à la politique. Au lieu de cela, elle regarde son nuage de nombres et voit quels nombres « politiques » sont les plus proches de l'image.
- Le Rebondissement : L'article montre que les « lunettes » que porte chaque modèle sont différentes. Un modèle peut voir une photo en noir et blanc comme « sombre et lugubre », tandis qu'un autre la verra comme « à haut contraste et dramatique », simplement en raison de la manière dont ils ont été entraînés.
2. Trois « Personnalités » Différentes
L'étude compare trois modèles spécifiques et constate qu'ils agissent comme trois personnes très différentes :
- OpenAI CLIP (Le Conservateur de Musée) : Ce modèle a été entraîné sur un ensemble de données privé et soigneusement sélectionné. Il agit comme un historien de l'art traditionnel. Il a tendance à ne voir la « politique » que dans les mouvements artistiques institutionnels célèbres (comme le cubisme ou le dadaïsme). Si vous lui montrez un masque africain, il le verra comme de l'« art » ou de la « culture », mais pas nécessairement comme quelque chose de « politique ».
- OpenCLIP/LAION (Le Scrolleur d'Internet) : Ce modèle a été entraîné sur un immense dépôt de données désordonnées extraites de l'ensemble d'Internet. Il agit comme un utilisateur d'Internet chaotique. Il voit la « politique » partout, mais souvent de manière aléatoire et bruyante. Il pourrait étiqueter une peinture comme « coloniale » simplement parce que le mot « colonial » apparaissait dans la légende d'une image similaire sur le web, même si la peinture elle-même n'est pas liée au colonialisme.
- SigLIP (Le Théoricien Critique) : Ce modèle utilise une architecture technique différente. Il agit comme un critique pointu et moderne. Il voit la « politique » dans presque tout. Par exemple, il étiquette les masques africains comme hautement « politiques » (5 fois sur 10), alors que les autres modèles les considèrent comme apolitiques. Il semble avoir appris que l'art non occidental est intrinsèquement lié à la lutte politique, tandis que l'art occidental est « neutre ».
3. La Confusion de l'« Enseigne Néon »
L'article donne un excellent exemple de la façon dont ces IA se confondent entre un objet physique et un mot.
- Le Test : Les chercheurs ont demandé aux modèles de classer les images par « luminosité ».
- Le Résultat : OpenAI CLIP a classé l'art néon de Joseph Kosuth (qui est souvent photographié sur un fond noir) comme l'une des choses les plus lumineuses de la collection.
- Pourquoi ? L'IA n'a pas « vu » les pixels. Elle a vu le mot « néon » dans les données d'entraînement et a associé le mot « néon » au concept de « lumière vive ». Elle a confondu l'étiquette avec la réalité.
- SigLIP, cependant, a réellement regardé les pixels et a correctement identifié que les photos sombres étaient sombres.
4. « Biais Émergent » vs « Biais Statistique »
Habituellement, quand nous parlons de biais de l'IA, nous pensons à un « biais statistique » (par exemple, « l'ensemble de données ne contenait pas assez de photos de femmes »).
- La Nouvelle Idée de l'Article : Cette étude introduit le « Biais Émergent ». C'est un biais qui apparaît de nulle part, comme une réaction chimique. Il n'est pas directement présent dans les données brutes ; il émerge de la manière complexe dont l'IA relie les points entre les mots et les images.
- L'Analogie : Imaginez une recette. Si vous oubliez le sel, le plat est fade (biais statistique). Mais si vous mélangez de la farine, du sucre et de la levure d'une certaine manière, vous obtenez du pain qui lève (propriété émergente). Les opinions « politiques » de l'IA sont comme le pain qui lève — elles n'ont pas été mises dans le bol, mais elles ont monté grâce à la façon dont les ingrédients (les données) ont été mélangés.
5. Les « Trois Regards » (Comment ils regardent)
L'auteur utilise une métaphore de l'histoire de l'art pour décrire comment ces modèles « regardent » le monde :
- Le Regard Entropique (LAION) : Un regard chaotique et bruyant qui capte tout ce que dit Internet, renforçant souvent les stéréotypes trouvés dans les recherches web.
- Le Regard Institutionnel (OpenAI) : Un regard contrôlé, de type muséal, qui renforce les règles établies de l'histoire de l'art occidental.
- Le Regard Sémiotique (SigLIP) : Un regard théorique qui tente de trouver des significations critiques profondes en tout, imposant parfois des interprétations politiques là où les humains ne voient peut-être que des formes.
L'Essentiel à Retenir
L'article conclut que l'IA n'est pas un outil neutre pour l'histoire de l'art.
Si vous utilisez une IA pour analyser l'art, vous n'obtenez pas seulement « l'opinion d'un ordinateur ». Vous obtenez la « personnalité » spécifique et cachée des données d'entraînement de ce modèle.
- Si vous utilisez le Modèle A, vous pourriez voir l'art comme « neutre et esthétique ».
- Si vous utilisez le Modèle B, vous pourriez voir le même art comme « profondément politique et colonial ».
L'auteur prévient que nous ne pouvons pas simplement « déléguer » l'interprétation de l'art à l'IA sans comprendre que l'IA possède ses propres règles et biais invisibles que nous ne pouvons voir qu'en comparant différents modèles les uns aux autres. La « vérité » de ce que l'IA voit dépend entièrement des « lunettes » qu'elle porte.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.