Ethology of Latent Spaces
Diese Studie verwendet eine ethologische Perspektive, um aufzuzeigen, dass latente Räume in Vision-Language-Modellen nicht neutral sind, sondern distinkte, durch Trainingsdaten geprägte „algorithmische skopische Regime“ aufweisen, die divergierende und oft widersprüchliche politische sowie kulturelle Interpretationen von Kunst generieren, was eine kritische Neubewertung der Verwendung dieser Modelle in der digitalen Kunstgeschichte erforderlich macht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten drei verschiedene Kunstkritiker. Sie betrachten alle dieselbe Sammlung von 301 Gemälden und Skulpturen, die vom 15. Jahrhundert bis in die 1900er Jahre reicht. Man würde erwarten, dass sie sich darüber einig sind, was sie sehen. Doch in dieser Studie sind die „Kritiker“ keine Menschen; es sind drei verschiedene KI-Modelle (OpenAI CLIP, OpenCLIP/LAION und SigLIP).
Das Paper argumentiert, dass diese KI-Modelle keine neutralen, unbeschriebenen Blätter sind. Stattdessen hat jedes von ihnen eine eigene, einzigartige „Persönlichkeit“ und eine eigene Art, die Welt zu sehen, die vollständig durch die spezifischen Daten geformt wurde, mit denen es gefüttert wurde, und durch die Art und Weise, wie es aufgebaut wurde. Der Autor nennt dies eine „Ethologie der latenten Räume“ – im Grunde untersucht man das „Verhalten“ dieser KI-Gehirne so, wie ein Biologe das Verhalten von Tieren in der Wildnis untersucht.
Hier ist eine Aufschlüsselung der Hauptpunkte des Papers unter Verwendung einfacher Analogien:
1. Die Analogie der „unsichtbaren Brille“
Stellen Sie sich diese KI-Modelle wie Menschen vor, die eine unsichtbare Brille tragen.
- Die Mathematik: Im Inneren des Computers sieht die KI Bilder als eine Wolke aus Zahlen (Vektoren) in einem riesigen, mehrdimensionalen Raum.
- Die Bedeutung: Wenn wir die KI fragen: „Ist dieses Bild politisch?“, denkt sie nicht über Politik nach. Stattdessen schaut sie in ihre Zahlenwolke und prüft, welche „politischen“ Zahlen dem Bild am nächsten liegen.
- Der Clou: Das Paper zeigt, dass die „Brillen“, die jedes Modell trägt, unterschiedlich sind. Ein Modell sieht ein Schwarz-Weiß-Foto vielleicht als „dunkel und düster“, während ein anderes es als „kontrastreich und dramatisch“ sieht, einfach aufgrund der Art und Weise, wie sie trainiert wurden.
2. Drei verschiedene „Persönlichkeiten“
Die Studie vergleicht drei spezifische Modelle und stellt fest, dass sie wie drei sehr unterschiedliche Personen agieren:
- OpenAI CLIP (Der Museumskurator): Dieses Modell wurde auf einem sorgfältig kuratierten, privaten Datensatz trainiert. Es agiert wie ein traditioneller Kunsthistoriker. Es neigt dazu, „Politik“ nur in berühmten, institutionellen Kunstbewegungen (wie Kubismus oder Dada) zu sehen. Zeigt man ihm eine afrikanische Maske, sieht es sie als „Kunst“ oder „Kultur“, aber nicht unbedingt als „politisch“.
- OpenCLIP/LAION (Der Internet-Scroller): Dieses Modell wurde auf einem riesigen, chaotischen Datenabfall trainiert, der aus dem gesamten Internet zusammengekratzt wurde. Es agiert wie ein chaotischer Internetnutzer. Es sieht „Politik“ überall, aber oft auf eine zufällige, verrauschte Weise. Es könnte ein Gemälde als „kolonial“ bezeichnen, nur weil das Wort „kolonial“ im Begleittext eines ähnlichen Bildes im Web vorkam, selbst wenn das Gemälde selbst nichts mit Kolonialismus zu zu tun hat.
- SigLIP (Der Kulturtheoretiker): Dieses Modell verwendet eine andere technische Architektur. Es agiert wie ein scharfsinniger, moderner Kritiker. Es sieht „Politik“ in fast allem. Zum Beispiel stuft es afrikanische Masken als hochgradig „politisch“ ein (59 % der Zeit), während die anderen Modelle sie als apolitisch bezeichnen. Es scheint gelernt zu haben, dass nicht-westliche Kunst inhärent mit politischem Kampf verbunden ist, während westliche Kunst als „neutral“ gilt.
3. Die Verwirrung durch das „Neon-Schild“
Das Paper gibt ein hervorragendes Beispiel dafür, wie diese KIs durch den Unterschied zwischen einem physischen Objekt und einem Wort verwirrt werden.
- Der Test: Die Forscher baten die Modelle, Bilder nach „Helligkeit“ zu ordnen.
- Das Ergebnis: OpenAI CLIP stufte Joseph Kosuths Neon-Kunst (die oft vor einem schwarzen Hintergrund fotografiert wird) als eines der hellsten Werke in der Sammlung ein.
- Warum? Die KI hat nicht die Pixel „gesehen“. Sie sah das Wort „Neon“ in den Trainingsdaten und assoziierte das Wort „Neon“ mit dem Konzept des „hellen Lichts“. Sie verwechselte das Etikett mit der Realität.
- SigLIP hingegen betrachtete tatsächlich die Pixel und identifizierte korrekt, dass die dunklen Fotos dunkel waren.
4. „Emergent Bias“ vs. „Statistischer Bias“
Normalerweise, wenn wir über KI-Bias sprechen, denken wir an „statistischen Bias“ (z. B. „Der Datensatz enthielt nicht genug Fotos von Frauen“).
- Die neue Idee des Papers: Diese Studie führt den Begriff des „Emergent Bias“ (emergenter Bias) ein. Dies ist ein Bias, der scheinbar aus dem Nichts auftaucht, wie eine chemische Reaktion. Er steckt nicht direkt in den Rohdaten; er entsteht aus der komplexen Art und Weise, wie die KI die Verbindungen zwischen Wörtern und Bildern knüpft.
- Die Analogie: Stellen Sie sich ein Rezept vor. Wenn man das Salz weglässt, schmeckt das Gericht fad (statistischer Bias). Aber wenn man Mehl, Zucker und Hefe in einer bestimmten Weise mischt, geht der Teig auf (emergentes Merkmal). Die „politischen“ Ansichten der KI sind wie der aufgehende Teig – sie wurden nicht in die Schüssel gegeben, aber sie sind entstanden, weil die Zutaten (Daten) auf eine bestimmte Weise gemischt wurden.
5. Die „Drei Blickwinkel“ (Wie sie schauen)
Der Autor verwendet eine Metapher aus der Kunstgeschichte, um zu beschreiben, wie diese Modelle auf die Welt „blicken“:
- Der entropische Blick (LAION): Ein chaotischer, verrauschter Blick, der alles aufgreift, was das Internet sagt, und oft die im Web gefundenen Stereotypen verstärkt.
- Der institutionelle Blick (OpenAI): Ein kontrollierter, museumsgleicher Blick, der etablierte, westliche Kunstgeschichtsregeln verstärkt.
- Der semiotische Blick (SigLIP): Ein theoretischer Blick, der versucht, tiefe, kritische Bedeutungen in fast allem zu finden, wobei er manchmal politische Interpretationen erzwingt, wo Menschen vielleicht nur eine Form sehen würden.
Das Fazit
Das Paper kommt zu dem Schluss, dass KI kein neutrales Werkzeug für die Kunstgeschichte ist.
Wenn Sie eine KI zur Analyse von Kunst verwenden, erhalten Sie nicht einfach nur eine „Meinung eines Computers“. Sie erhalten die spezifische, verborgene „Persönlichkeit“ der Trainingsdaten dieses Modells.
- Wenn Sie Modell A verwenden, sehen Sie Kunst vielleicht als „neutral und ästhetisch“.
- Wenn Sie Modell B verwenden, sehen Sie dieselbe Kunst vielleicht als „tief politisch und kolonial“.
Der Autor warnt davor, dass wir die Interpretation von Kunst nicht einfach an die KI „delegieren“ können, ohne zu verstehen, dass die KI ihre eigenen unsichtbaren Regeln und Vorurteile hat, die wir nicht sehen können, es sei-dem wir verschiedene Modelle gegeneinander prüfen. Die „Wahrheit“ dessen, was die KI sieht, hängt ganz davon ab, welche „Brille“ sie trägt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.