Does AI See like Art Historians? Interpreting How Vision Language Models Recognize Artistic Style

In einer interdisziplinären Zusammenarbeit zwischen Informatikern und Kunsthistorikern untersucht diese Studie, wie Vision-Language-Modelle künstlerische Stile erkennen, und zeigt durch quantitative Analysen und Expertenbewertungen, dass die meisten für die Stilvorhersage genutzten Konzepte von Kunsthistorikern als semantisch kohärent und relevant eingestuft werden.

Das Wesentliche

Titel: Sehen KI-Künstler wie Kunsthistoriker? – Eine einfache Erklärung

Stellen Sie sich vor, Sie haben einen sehr klugen Roboter, der Bilder sehen und beschreiben kann. Dieser Roboter ist ein Vision-Language-Modell (VLM). Er kann Objekte erkennen, Fragen beantworten und sogar Kunst analysieren. Aber die Forscher aus dieser Studie stellen sich eine spannende Frage: Denkt dieser Roboter wirklich so wie ein echter Kunsthistoriker, wenn er einen Gemälde-Stil (z. B. „Renaissance" oder „Barock") erkennt?

Oder nutzt er ganz andere, vielleicht sogar „außerirdische" Logik?

Hier ist die Geschichte der Studie, einfach erklärt:

1. Das Problem: Der Roboter sieht nur Flecken

Kunsthistoriker schauen sich ein Gemälde an und sehen nicht nur Farben. Sie sehen die Struktur (wie die Pinselstriche gesetzt sind), die Stimmung (ist es düster oder hell?) und den Inhalt (sind es Menschen oder Landschaften?).

Der Roboter hingegen schaut sich das Bild oft wie ein riesiges Puzzle an. Er sucht nach Mustern in den Daten, die er gelernt hat. Das Problem: Manchmal rät er richtig, aber aus dem falschen Grund.

• Beispiel: Ein Bild wird als „Renaissance" erkannt. Der Historiker sagt: „Ah, wegen der weichen Lichtverhältnisse und der Gewänder." Der Roboter könnte aber denken: „Ah, weil da viele Menschen sind." Das ist zwar oft richtig, aber es ist nicht die echte Kunst-Definition.

2. Die Lösung: Der „Röntgenblick" in den Roboter

Die Forscher (eine Mischung aus Computer-Wissenschaftlern und Kunsthistorikern) wollten herausfinden, was im Gehirn des Roboters vorgeht. Sie haben eine Art Röntgen-App entwickelt.

Stellen Sie sich das Bild vor, das der Roboter sieht, als ein großes Blatt Papier.

1. Zerschneiden: Sie schneiden das Bild in 16 kleine Quadrate (wie ein 4x4-Raster).
2. Analysieren: Sie schauen sich an, welche kleinen „Gedanken" (Konzepte) der Roboter in jedem dieser kleinen Quadrate aktiviert.
3. Benennen: Sie geben diesen Gedanken Namen. Statt nur „Pixel 123", sagen sie: „Dunkle Schatten", „Baumrinde" oder „Weiche Hauttöne".

So konnten sie herausfinden, welche kleinen Details der Roboter tatsächlich nutzt, um zu entscheiden: „Das ist Barock!"

3. Die Untersuchung: Was sagen die Experten?

Dann haben sie diese „Roboter-Gedanken" echten Kunsthistorikern gezeigt.

• Die gute Nachricht: 73 % der Begriffe, die der Roboter nutzte, machten den Historikern Sinn. Der Roboter hat also tatsächlich gelernt, Dinge zu sehen, die auch für uns wichtig sind (wie Farben, Texturen oder bestimmte Motive).
• Die Überraschung: 90 % der Begriffe, die der Roboter für eine Stil-Einstufung nutzte, waren für die Historiker relevant. Der Roboter ist also kein „Blinder", der nur zufällig rät.

4. Wo liegen die Unterschiede? (Die lustigen Missverständnisse)

Aber es gab auch Momente, in denen der Roboter und der Mensch aneinander vorbeiredeten. Das ist wie bei zwei Personen, die ein Bild malen, aber unterschiedliche Farben bevorzugen.

• Der „Wald"-Fehler: Der Roboter verband Bilder von Wäldern oft mit dem Stil „Romantik". Warum? Weil in der Romantik Natur sehr wichtig ist. Ein Historiker würde sagen: „Ja, aber dieser Wald sieht aus wie ein realistisches Foto, nicht wie ein romantisches Gemälde!" Der Roboter dachte: „Wald = Romantik".
• Der „Form"-Fehler: Manchmal sah der Roboter ein Bild und dachte: „Das ist Realismus!", weil er bestimmte Hell-Dunkel-Kontraste sah. Ein Historiker sagte: „Nein, das ist Barock, wegen der Dramatik!" Der Roboter hatte die Form (das Licht) verstanden, aber den Kontext (die Epoche) falsch eingeordnet.

5. Das Fazit: Ein guter Schüler, aber kein Meister

Die Studie kommt zu einem beruhigenden Ergebnis:
Die KI sieht die Welt nicht völlig anders als wir. Sie hat gelernt, die gleichen visuellen Hinweise zu nutzen (Farben, Formen, Motive), die auch Menschen nutzen. Sie ist wie ein sehr fleißiger Schüler, der die Regeln der Kunstgeschichte auswendig gelernt hat.

Aber: Manchmal wendet er die Regeln zu starr an. Er verwechselt manchmal den Inhalt (ein Wald) mit dem Stil (Romantik).

Zusammengefasst:
Die KI sieht nicht genau wie ein Kunsthistoriker, aber sie sieht ähnlich. Sie nutzt die gleichen Werkzeuge, um die Welt zu verstehen, nur dass sie manchmal den Fokus auf die falschen Details legt. Das ist ein großer Schritt, um zu verstehen, wie künstliche Intelligenz Kunst „begreift".

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Does AI See like Art Historians? Interpreting How Vision Language Models Recognize Artistic Style" auf Deutsch:

1. Problemstellung

Vision-Language-Modelle (VLMs) haben in den letzten Jahren erhebliche Fortschritte bei Aufgaben wie der Objekterkennung und dem Beantworten visueller Fragen gemacht. Auch im Bereich der Kunstanalyse zeigen sie zunehmend starke Fähigkeiten. Dennoch bleibt eine zentrale Frage offen: Verstehen VLMs künstlerischen Stil auf die gleiche Weise wie menschliche Experten (Kunsthistoriker)?

Künstlerischer Stil ist komplex und basiert auf einer Kombination aus lokalen Merkmalen (Textur, Farbe) und globalen Eigenschaften (Komposition). Während frühere Arbeiten oft nur die Klassifikationsgenauigkeit von VLMs untersuchten, fehlt es an Erkenntnissen darüber, welche visuellen Merkmale die Vorhersagen antreiben und ob diese mit dem domänenspezifischen Wissen von Kunsthistorikern übereinstimmen. Es besteht die Sorge, dass Modelle Muster aus den Trainingsdaten auswendig lernen oder auf nicht-menschlichen Logiken basieren, anstatt die visuellen Quellen tatsächlich zu „verstehen".

2. Methodik

Die Autoren verfolgen einen interdisziplinären Ansatz, der Computerwissenschaften und Kunstgeschichte verbindet, um die Entscheidungsmechanismen von VLMs zu interpretieren.

• Datensätze: Es wurden drei Datensätze verwendet: WikiArt (frühe Moderne und Moderne Kunst) sowie ein Architekturdatensatz. Insgesamt wurden 2.500 Bilder pro Kunstdatensatz und 1.500 Bilder für Architektur verwendet.
• Patch-basierte Konzept-Decomposition: Um die komplexe Interaktion von Inhalt und Form zu entwirren, wird das Bild nicht als Ganzes, sondern in ein 4x4-Raster von Patches unterteilt.
  • Semi-NMF: Es wird eine Semi-Nonnegative Matrix Factorization (Semi-NMF) angewendet, um latente Repräsentationen des VLMs (aus einer spezifischen Schicht $L$) in interpretierbare Konzepte zu zerlegen. Dies basiert auf dem Framework von Parekh et al. (2024), das hier für den Kunstbereich adaptiert wurde.
  • Konzept-Labels: Für jedes extrahierte Konzept werden die am stärksten aktivierenden Bildpatches ausgewählt und durch Textlabels beschrieben, die sowohl Inhalt als auch Form erfassen.
• Kausale Analyse (Intervention): Um zu beweisen, dass Konzepte die Vorhersage kausal beeinflussen, wird eine Interventionsstudie durchgeführt. Dabei werden die Aktivierungen bestimmter Konzepte im latenten Raum des Modells manipuliert (unterdrückt oder verstärkt), um die Änderung der Logits für den Stil zu messen.
• User Studies mit Kunsthistorikern: Zwei Studien mit sechs Kunsthistorikern (Graduierte und Fakultätsmitglieder) wurden durchgeführt:
  1. Intrinsische Bewertung: Bewertung der semantischen Kohärenz und Bedeutung der extrahierten Konzepte.
  2. Extrinsische Bewertung: Bewertung der Relevanz der Konzepte für die Stilvorhersage im Vergleich zu Expertenurteilen.

3. Wichtige Beiträge

• Erweiterung der Konzept-Decomposition: Eine neue Methode zur patch-level-basierten Zerlegung von VLM-Repräsentationen speziell für die Kunststil-Klassifikation, die es ermöglicht, relevante Konzepte für das gesamte Bild zu identifizieren.
• Kausale und korrelative Analyse: Ein Nachweis, dass extrahierte Konzepte die Stilvorhersage kausal beeinflussen und dass die stärksten korrelativen Konzepte auch kausal signifikant sind.
• Interdisziplinärer Vergleich: Eine direkte Gegenüberstellung der Modell-Analyse mit kanonischen Analysen von Kunsthistorikern, die Aufschluss über Übereinstimmungen und Missverständnisse gibt.

4. Ergebnisse

• Modellleistung: Qwen3 und GPT5 zeigten die beste Leistung bei der Null-Shot-Klassifikation von Kunststilen. Qwen3 wurde für die tiefgehende Analyse ausgewählt.
• Vorhersagbarkeit: Konzepte aus späteren Schichten des Modells können die Stilvorhersage des Modells mit hoher Genauigkeit (bis zu 95 %) vorhersagen.
• Kohärenz der Konzepte:
  • 73 % der extrahierten Konzepte wurden von Kunsthistorikern als kohärent und semantisch sinnvoll bewertet.
  • Die Konzepte umfassen thematische Dimensionen von inhaltlichen Merkmalen (spezifische Objekte, Szenen) bis hin zu formalen Merkmalen (Farbpalette, Textur, Beleuchtung).
• Relevanz für die Vorhersage:
  • 90 % der Konzepte, die zur Vorhersage des Stils eines bestimmten Bildes verwendet wurden, wurden von Experten als relevant eingestuft.
  • Nur 10 % der vom Modell als relevant eingestuften Konzepte wurden von Experten als nicht relevant abgelehnt.
• Kausale Effekte: Die Entfernung bestimmter Konzepte führt zu einer signifikanten Senkung der Wahrscheinlichkeit für den zugehörigen Stil, was bestätigt, dass diese Konzepte kausal für die Entscheidung verantwortlich sind.

5. Missalignment und qualitative Erkenntnisse

Trotz der hohen Übereinstimmung gibt es interessante Fälle von Missalignment:

• Formale vs. Inhaltliche Interpretation: In Fällen, in denen Experten ein Konzept als irrelevant für den Stil erachteten, aber das Modell erfolgreich den Stil vorhersagte, lag dies oft daran, dass das Modell das Konzept formaler interpretierte (z. B. als Kontrast von Hell/Dunkel) statt inhaltlich.
• Verwechslung von Stilen: Stile wie Realismus und Romantik werden oft verwechselt, da sie historisch überlappen und auf Patch-Ebene schwer zu unterscheiden sind. Das Modell nutzt hier manchmal inhaltliche Hinweise (z. B. Wälder/Natur), die stark mit Romantik assoziiert sind, auch wenn das Bild formal einem anderen Stil zugeordnet ist.
• Bias: Modelle neigen dazu, sich auf ein oder zwei Stile zu verengen, wenn die Eingabedaten vielfältig sind, oder nutzen Details, die für bestimmte Stile charakteristisch sind, aber nicht exklusiv sind.

6. Bedeutung

Diese Arbeit ist ein wichtiger Schritt in Richtung Interpretierbarkeit von KI im künstlerischen Kontext. Sie zeigt, dass moderne VLMs nicht nur „Blackbox"-Klassifikatoren sind, sondern tatsächlich visuelle Konzepte nutzen, die in hohem Maße mit dem Fachwissen von Kunsthistorikern übereinstimmen.
Die Studie liefert jedoch auch wichtige Warnsignale: Wo Modelle „anders sehen" (z. B. durch rein formale Mustererkennung statt kunsthistorischer Kategorisierung), offenbaren sie sowohl die Stärken als auch die Grenzen der aktuellen KI-Architekturen. Der Ansatz bietet eine neue Methodik, um zu verstehen, wie KI „sieht" und wie diese Sichtweise mit menschlicher Expertise korreliert oder divergiert.