Whose Art Counts? Model- and Prompt-Dependent Associations in Vision-Language Judgments of Museum Art
Diese Arbeit führt ein archivbedingtes Audit-Protokoll ein, um zu evaluieren, wie Vision-Language-Modelle und Prompt-Strukturen mit Metadaten aus Museen interagieren, wenn sie den künstlerischen Wert bewerten, wobei durch eine Fallstudie des Metropolitan Museum of Art demonstriert wird, dass „Einfluss“-Prompts die konsistentesten kategoriebasierten Unterschiede liefern, während gleichzeitig die Einschränkungen der modellübergreifenden und promptübergreifenden Generalisierung hervorgehoben werden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten gerade einen superintelligenten Roboter-Bibliothekar gebaut, der Millionen von Büchern gelesen und Milliarden von Bildern gesehen hat. Sie fragen ihn: „Welches dieser Gemälde ist ein Meisterwerk?“ oder „Welches hat die Geschichte verändert?“ Sie erwarten, dass der Roboter das Kunstwerk betrachtet und eine faire Antwort basierend auf Schönheit und Können gibt. Aber hier ist der Haken: Dieser Roboter „sieht“ Kunst nicht so wie ein Mensch. Er sieht Muster. Er hat gelernt, indem er Bilder mit Wörtern aus dem Internet abgeglichen hat. Wenn im Internet meistens stand, dass „große Künstler“ Männer waren, könnte der Roboter gelernt haben, dass „große Kunst“ wie das Werk eines Mannes aussieht, selbst wenn das falsch ist. Dies ist die Welt der Vision-Language Models (VLMs): Computer, die Bilder mit Wörtern verknüpfen. Die große Frage ist nicht nur „Ist der Roboter intelligent?“, sondern „Was für eine Welt hat der Robot gelernt?“ und „Ändert sich die Antwort des Roboters, wenn wir die Frage anders stellen?“ Museen sind voll von diesen Robotern, die Menschen helfen, Kunst zu finden, aber wenn der Roboter voreingenommen ist, könnte er die Geschichten von Frauen und anderen unterrepräsentierten Schöpfern verbergen und sie dadurch weniger wichtig erscheinen lassen, als sie eigentlich sind.
Deshalb beschloss ein Team von Forschern, diese Roboter-Bibliothekare einem sehr spezifischen Test zu unterziehen. Sie ließen die Roboter nicht einfach nur raten; sie legten ein strenges Spiel fest, um zu sehen, ob die Roboter fair spielten. Sie schnappten sich 445 digitale Kunstbilder vom Metropolitan Museum of Art. Aber hier war der Clou: Sie wussten, dass Museumsregister unordentlich sind. Viele alte Kunstwerke haben keinen klaren Namen hinterlegt. Also teilten sie die Gruppe in zwei Teile auf: eine kleine Gruppe von 61 Stücken, bei denen der Name des Schöpfers bekannt war (und sie das Geschlecht basierend auf dem Namen schätzten), und eine riesige Gruppe von 384 Stücken, bei denen der Schöpfer ein Mysterium war. Sie wollten sehen, ob die Roboter den „höheren Score“ an die benannten männlichen Künstler vergaben im Vergleich zu den benannten weiblichen Künstlerinnen.
Aber sie stellten nicht nur eine Frage. Sie fragten die Roboter auf vier verschiedene Arten: „Ist dies ein Meisterwerk?“, „Ist dies qualitativ hochwertige Arbeit?“, „Ist dies einflussreich?“ und eine Kontrollfrage, um zu prüfen, ob der Roboter aufmerksam war. Sie führten diesen Test mit vier verschiedenen Roboter-Gehirnen durch (OpenAI CLIP, OpenCLIP B/32, OpenCLIP L/14 und SigLIP).
Hier ist, was sie fanden, und es ist ein kleiner Wendepunkt in der Handlung: Die Roboter waren sich nicht einig.
Es war keine einfache Geschichte, nach dem Motto „Alle Roboter sind sexistisch“. Stattdessen hing die Antwort völlig davon ab, welchen Roboter man fragte und wie man die Frage stellte.
- Wenn sie nach „Einfluss“ fragten (wie sehr ein Künstler die Geschichte verändert hat), gaben zwei der Roboter (OpenAI CLIP und OpenCLIP L/14) ein klares Signal: Sie bewerteten die Werke, die als männlich inferiert wurden, höher als jene, die als weiblich inferiert wurden. Es war, als würde der Roboter sagen: „Oh, Geschichtsbücher sagen, dass Männer Dinge verändert haben, also gebe ich ihnen einen höheren Score.“
- Wenn sie jedoch nach „Qualität“ oder einem „Meisterwerk“ fragten, waren die Ergebnisse ein Chaos. Ein Roboter sagte vielleicht „Männer sind besser“, ein anderer „Frauen sind besser“ und ein dritter „Ich sehe keinen Unterschied“.
- Ein Roboter, SigLIP, lieferte tatsächlich das gegenteilige Ergebnis und bewertete die weiblich inferierten Werke höher, wobei die Forscher anmerkten, dass die Zahlen etwas wackelig und schwer festzulegen waren.
Das Wichtigste, was das Paper sagt, ist: Man kann diese Antworten nicht einfach zusammen mitteln. Wenn man die Scores aller vier Roboter nehmen und sie zu einer einzigen großen Zahl zusammenmischen würde, erhielte man eine Lüge. Die Roboter sind zu unterschiedlich. Ein „hoher Score“ eines Roboters ist nicht derselbe wie der „hohe Score“ eines anderen. Die Forscher argumentieren, dass die „Voreingenommenheit“ kein fester Fehler in der Technologie ist, sondern ein Messproblem. Das Ergebnis ändert sich je nach Werkzeug und exakt den Worten, die man eintippt.
Die Studie weist auch darauf hin, dass die eigenen Aufzeichnungen des Museums eine große Rolle spielten. Da 384 von den 445 Kunstwerken keinen bekannten Schöpfer hatten, konnten die Roboter sie gar nicht erst vergleichen. Die „benannten“ Künstler waren ein winziger, spezifischer Ausschnitt der Sammlung des Museums. Die Forscher warnen, dass wir nicht sagen können, dass diese Roboter Frauenkünstler generell hassen; wir können nur sagen, dass in diesem spezifischen Test, mit diesen spezifischen Worten und dieser spezifischen Auswahl an Bildern, einige Roboter ein Muster zeigten, das benannte männliche Namen bevorzugte.
Am Ende sagt das Paper nicht: „Roboter sind kaputt“ oder „Roboter sind perfekt“. Es sagt: „Seien Sie vorsichtig.“ Wenn ein Museum einen Roboter nutzt, um Kunst zu ranken, könnte das Ranking nur ein Spiegelbild dessen sein, wie der Roboter trainiert wurde und wie die Frage gestellt wurde, und nicht der wahre Wert der Kunst. Die Forscher schlagen vor, dass wir anstatt nach einer einzigen „Wahrheit“ zu suchen, auf die Uneinigkeit zwischen den Robotern hören sollten. Wenn ein Roboter sagt „Dies ist ein Meisterwerk“ und ein anderer „Nö“, dann ist diese Uneinigkeit tatsächlich die ehrlichste Antwort, die wir bekommen können: Sie sagt uns, dass die Frage schwieriger ist, als wir dachten, und dass die Meinung des Roboters nur eine verrauschte Stimme in einem sehr lauten Raum ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.