Ethology of Latent Spaces
Deze studie hanteert een ethologisch perspectief om aan te tonen dat latente ruimtes in visuele taalmodellen niet neutraal zijn, maar onderscheidende, door trainingsdata gedreven "algoritmische scopische regimes" vertonen die uiteenlopende en vaak tegenstrijdige politieke en culturele interpretaties van kunst genereren, hetgeen een kritische herbeoordeling noodzakelijk maakt van hoe deze modellen worden gebruikt in de digitale kunstgeschiedenis.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je drie verschillende kunstcritici hebt. Ze kijken allemaal naar dezelfde collectie van 301 schilderijen en sculpturen, variërend van de 15e eeuw tot de jaren 1900. Je zou verwachten dat ze het eens zijn over wat ze zien. Maar in deze studie zijn de "critici" geen mensen; het zijn drie verschillende AI-modellen (OpenAI CLIP, OpenCLIP/LAION en SigLIP).
Het artikel betoogt dat deze AI-modellen niet neutraal of een onbeschreven blad zijn. In plaats daarvan heeft elk model zijn eigen unieke "persoonlijkheid" en manier van de wereld zien, volledig gevormd door de specifieke data waarop het is getraind en de manier waarop het is gebouwd. De auteur noemt dit een "ethologie van latente ruimtes" — in feilenheid het bestuderen van het "gedrag" van deze AI-hersenen, net zoals een bioloog het gedrag van dieren in het wild bestudeert.
Hier is een uitsplitsing van de belangrijkste punten uit het artikel met behulp van eenvoudige analogieën:
1. De analogie van de "Onzichtbare Brillen"
Beschouw deze AI-modellen als dragers van onzichtbare brillen.
- De Wiskunde: Binnenin de computer ziet de AI afbeeldingen als een wolk van getallen (vectoren) in een enorme, meerdimensionale ruimte.
- De Betekenis: Wanneer we de AI vragen: "Is deze afbeelding politiek?", "denkt" de AI niet over politiek. In plaats daarvan kijkt het naar zijn wolk van getallen en ziet het welke "politieke" getallen het dichtst bij de afbeelding liggen.
- De Twist: Het artikel laat zien dat de "brillen" die elk model draagt, verschillend zijn. Het ene model kan een zwart-witfoto zien als "duister en somber", terwijl een ander het ziet als "hoog contrast en dramatisch", simpelweg vanwege de manier waarop ze zijn getraind.
2. Drie Verschillende "Persoonlijkheden"
De studie vergelijkt drie specifieke modellen en stelt vast dat ze handelen als drie zeer verschillende personen:
- OpenAI CLIP (De Museumconservator): Dit model is getraind op een zorgvuldig gecureerde, private dataset. Het gedraagt zich als een traditionele kunsthistoricus. Het heeft de neiging om "politiek" alleen te zien in beroemde, institutionele kunststromingen (zoals Kubisme of Dada). Als je het een Afrikaans masker laat zien, ziet het dit als "kunst" of "cultuur", maar niet noodzakelijkerwijs als "politiek".
- OpenCLIP/LAION (De Internetscroller): Dit model is getraind op een enorme, chaotische berg data die van het hele internet is geschraapt. Het gedraagt zich als een chaotische internetgebruiker. Het ziet "politiek" overal, maar vaak op een willekeurige, ruisachtige manier. Het kan een schilderij als "koloniaal" labelen, simpelweg omdat het woord "koloniaal" in de bijschrift van een vergelijkbare afbeelding op het web voorkwam, zelfs als het schilderij zelf niet over kolonialisme gaat.
- SigLIP (De Kritische Theoreticus): Dit model gebruikt een andere technische architectuur. Het gedraagt zich als een scherpe, moderne criticus. Het ziet "politiek" in bijna alles. Bijvoorbeeld, het labelt Afrikaanse maskers als zeer "politiek" (59% van de tijd), terwijl de andere modellen zeggen dat ze apolitiek zijn. Het lijkt geleerd te hebben dat niet-Westerse kunst inherent verbonden is aan politieke strijd, terwijl Westerse kunst als "neutraal" wordt beschouwd.
3. De Verwarring van het "Neonlicht"
Het artikel geeft een goed voorbeeld van hoe deze AI's in de war raken door het verschil tussen een fysiek object en een woord.
- De Test: De onderzoekers vroegen de modellen om afbeeldingen te rangschikken op "helderheid".
- Het Resultaat: OpenAI CLIP rangschikte de neonkunst van Joseph Kosuth (die vaak tegen een zwarte achtergrond wordt gefotografeerd) als een van de helderste zaken in de collectie.
- Waarom? De AI zag niet de pixels. Het zag het woord "neon" in de trainingsdata en associeerde het woord "neon" met het concept "helder licht". Het verwarde het label met de realiteit.
- SigLIP keek echter daadwerkelijk naar de pixels en identificeerde correct dat de donkere foto's donker waren.
4. "Emergent Bias" versus "Statistische Bias"
Meestal, wanneer we over AI-bias praten, denken we aan "statistische bias" (bijv. "de dataset bevatte niet genoeg foto's van vrouwen").
- Het Nieuwe Idee van het Artikel: Deze studie introduceert "Emergent Bias". Dit is een bias die uit het niets verschijnt, als een chemische reactie. Het zit niet direct in de ruwe data; het ontstaat uit de complexe manier waarop de AI de verbanden legt tussen woorden en afbeeldingen.
- De Analogie: Stel je een recept voor. Als je zout weglaat, is het gerecht flauw (statistische bias). Maar als je bloem, suiker en gist op een specifieke manier mengt, krijg je rijzend brood (emergent eigenschap). De "politieke" opvattingen van de AI zijn als het rijzende brood—ze werden niet in de kom gedaan, maar ze kwamen omhoog door de manier waarop de ingrediënten (data) werden gemengd.
5. De "Drie Scopen" (Hoe ze kijken)
De auteur gebruikt een metafoor uit de kunstgeschiedenis om te beschrijven hoe deze modellen naar de wereld "kijken":
- De Entropische Blik (LAION): Een chaotische, ruisachtige blik die alles oppikt wat het internet zegt, wat vaak de stereotypen versterkt die in webzoekopdrachten worden gevonden.
- De Institutionele Blik (OpenAI): Een gecontroleerde, museumachtige blik die gevestigde, Westerse kunsthistorische regels versterkt.
- De Semiotische Blik (SigLIP): Een theoretische blik die probeert diepere, kritische betekenissen in alles te vinden, waarbij soms politieke interpretaties wordt opgelegd waar mensen misschien gewoon een vorm zien.
De Kernconclusie
Het artikel concludeert dat AI geen neutraal instrument is voor de kunstgeschiedenis.
Als je een AI gebruikt om kunst te analyseren, krijg je niet alleen een "mening van een computer". Je krijgt de specifieke, verborgen "persoonlijkheid" van de trainingsdata van dat model.
- Als je Model A gebruikt, zie je kunst misschien als "neutraal en esthetisch".
- Als je Model B gebruikt, zie je diezelfde kunst misschien als "diep politiek en koloniaal".
De auteur waarschuwt dat we de interpretatie van kunst niet zomaar aan AI kunnen "delegeren" zonder te begrijpen dat de AI zijn eigen onzichtbare regels en vooroordelen heeft die we niet kunnen zien, tenzij we verschillende modellen tegen elkaar afwegen. De "waarheid" van wat de AI ziet, hangt er volledig vanaf welke "bril" hij draagt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.