Does AI See like Art Historians? Interpreting How Vision Language Models Recognize Artistic Style

In een interdisciplinair onderzoek tussen computerwetenschappers en kunsthistorici wordt onderzocht hoe Vision Language Models kunststijlen herkennen en blijkt dat hun gebruikte concepten voor 90% relevant zijn en voor 73% semantisch zinvol worden bevonden door experts.

De kern

Stel je voor dat je een kunstgeschiedenisdocent en een supersterke computer naast elkaar zet. Ze kijken allebei naar een schilderij. De docent zegt: "Ah, dit is een Renaissance-schilderij, kijk naar die zachte schaduwen en de kledingstijl." De computer zegt: "Ja, dit is ook Renaissance."

Maar hier is de grote vraag: Kijken ze echt op dezelfde manier? Begrijpt de computer wat de docent ziet, of heeft de computer een heel vreemde, onmenselijke manier van kijken die toevallig wel het juiste antwoord geeft?

Dit is precies wat deze studie onderzoekt. De onderzoekers (een mix van computerwetenschappers en kunsthistorici) wilden weten hoe een AI "denkt" als hij kunststijlen herkent.

Hier is de uitleg, vertaald naar alledaagse taal:

1. De "Magische Doos" openen

Vaak werken AI-modellen als een zwarte doos. Je gooit een plaatje erin, en er komt een antwoord uit, maar je weet niet waarom. Het is alsof je een tovenaar ziet die een konijn uit een hoed trekt, maar je ziet niet hoe hij dat doet.

De onderzoekers wilden de hoed openmaken. Ze gebruikten een speciale techniek om te kijken welke gedeeltes van het plaatje de AI belangrijk vond. Ze sneden het schilderij op in kleine stukjes (zoals een puzzel van 4 bij 4) en keken welke stukjes de AI "oplichtten" als hij dacht: "Dit is Barok!" of "Dit is Realisme!".

2. Wat zag de AI? (De "Concepten")

Toen ze de stukjes analyseerden, vonden ze dat de AI bepaalde patronen zag die ze "concepten" noemden.

• 73% van deze patronen waren zinnig. Kunsthistorici keken ernaar en zeiden: "Ja, dit is een logisch idee. De AI ziet bijvoorbeeld 'donkere schaduwen' of 'een vrouw in een jurk'."
• 90% van de patronen die de AI gebruikte om een stijl te voorspellen, werden door de experts als relevant beschouwd.

De analogie: Stel je voor dat de AI een detective is die een moord oplost. De onderzoekers ontdekten dat de detective 73% van de tijd de juiste aanwijzingen gebruikt (zoals een vingerafdruk of een getuige), in plaats van willekeurige roddels.

3. Waar lopen ze uit elkaar? (De "Misverstanden")

Hoewel de AI vaak gelijk heeft, is zijn manier van denken soms anders dan die van een mens.

• De "Bos-Val": De AI zag vaak bossen of bomen en dacht direct: "Aha, dit is Romantisme!" Voor een kunsthistoricus is dat niet helemaal juist. Bossen komen in veel stijlen voor. De AI had een korte weg gevonden: Bos = Romantisch. Maar een mens kijkt dieper: "Het is een bos, maar de stijl van het penseelwerk is eigenlijk Realisme." De AI zag de inhoud (het bos) en dacht dat dat de stijl bepaalde.
• De "Licht-donker" Val: Soms zag de AI een patroon van licht en donker dat de mens niet als een stijlkarakteristiek zag, maar voor de AI was het een sterk teken. De AI "begreep" het concept misschien te formeel (alleen de contrasten), terwijl de mens de betekenis van het schilderij zag.

4. De Conclusie: Een Vriendelijke, maar Soms Verkeerde Vriend

De studie concludeert dat AI-modellen (zoals Qwen3 en Llava) beter zijn dan we dachten. Ze kijken niet willekeurig. Ze hebben echte, zinnige concepten geleerd die overeenkomen met wat kunsthistorici zien.

Maar, ze zijn nog geen perfecte kunsthistorici. Soms kijken ze naar de verkeerde details of leggen ze de nadruk op iets anders dan wij doen. Het is alsof je een slimme student hebt die de antwoorden op het examen goed heeft, maar soms een beetje vreemde redeneringen gebruikt om daar te komen.

Kort samengevat:
De AI ziet de kunst niet precies zoals een mens, maar hij ziet veel meer dan we dachten. Hij heeft een eigen "oog" ontwikkeld dat vaak goed werkt, maar waar we nog moeten uitleggen waarom hij zo kijkt, zodat we samen nog betere analyses kunnen maken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Does AI See like Art Historians? Interpreting How Vision Language Models Recognize Artistic Style", geschreven in het Nederlands.

Probleemstelling

Vision-Language Models (VLMs) zijn steeds bekwaamer geworden in computer vision-taken, waaronder het analyseren en genereren van kunst. Echter, terwijl modellen kunststijlen kunnen classificeren, is het onduidelijk hoe ze dit doen. Bestaande modellen vertrouwen vaak op patronen uit de trainingsdata in plaats van op een diepgaand visueel redeneren over de bronafbeelding.
De centrale onderzoeksvraag is: Leren modellen om te zien zoals menselijke experts (kunsthistorici), of opereren ze volgens een fundamenteel ander, mogelijk niet-menselijk, wereldbeeld?
Specifiek worden drie onderzoeksvragen gesteld:

1. Op welke visuele concepten vertrouwen VLMs bij het voorspellen van kunststijlen?
2. Reflekteren deze concepten de criteria die kunsthistorici gebruiken?
3. Wat is de aard van de misalignement tussen VLMs en experts, en hoe beïnvloedt dit de voorspelling?

Methodologie

De auteurs hanteren een interdisciplinaire aanpak, waarbij computerwetenschappers en kunsthistorici samenwerken. De methode bestaat uit drie hoofdfasen:

1. Concept Decompositie op Patches-niveau
Om de complexe wisselwerking tussen inhoud (content) en vorm (form) in kunst te ontrafelen, wordt een bestaand raamwerk (Parekh et al., 2024) aangepast:

• Patching: In plaats van de volledige afbeelding te analyseren, worden kunstwerken opgedeeld in een 4x4 raster van patches. Dit helpt bij het lokaliseren van fijne visuele details.
• Semi-NMF: Er wordt gebruikgemaakt van Semi-Nonnegative Matrix Factorization (Semi-NMF) op de latente representaties (residual-stream) van de VLM (bijv. Qwen3 en Llava-1.5). Dit decomposeert de hoge-dimensionale vectoren in interpreteerbare concepten.
• Labeling: Voor elk concept worden de afbeeldingspatches met de sterkste activatie geselecteerd en krijgen ze tekstuele labels die zowel inhoud als vorm beschrijven.

2. Causale en Correlatieve Analyse

• Linear Probing: Een lineaire classifier wordt getraind om de stijlvoorspelling van het model te voorspellen op basis van alleen de concept-activaties. Dit valideert of de concepten informatief zijn voor de taak.
• Interventie (Causale Analyse): Om causale effecten te testen, worden specifieke concepten "onderdrukt" (subtraction) of "versterkt" (addition) in de latente representatie van het model. De verandering in de log-odds (logits) van de stijlvoorspelling wordt gemeten. Dit bevestigt of een concept daadwerkelijk de beslissing van het model stuurt.

3. User Studies met Kunsthistorici
Twee studies werden uitgevoerd met zes kunsthistorici (studenten en faculteit):

• Study 1 (Intrinsiek): Experts beoordelen de coherentie en semantische betekenis van de geëxtraheerde concepten op een Likert-schaal.
• Study 2 (Extrinsiek): Experts beoordelen de relevantie van concepten voor een specifieke kunstwerk-stijlvoorspelling en vergelijken dit met hun eigen expertise.

Key Contributions

1. Uitbreiding van Concept Decompositie: Een nieuwe methode voor kunststijlclassificatie die werkt op patch-niveau, waardoor complexe visuele signalen beter kunnen worden ontleed dan bij volledige afbeeldingen.
2. Causaal Bewijs: Het aantonen dat de geëxtraheerde concepten niet alleen correleren met, maar ook causaal invloed hebben op de stijlclassificatie van het model.
3. Interdisciplinaire Validatie: Een systematische vergelijking tussen de "visie" van het model en de canonieke analyse van kunsthistorici, inclusief een analyse van waar en waarom de twee divergeren.

Resultaten

• Modelprestaties: Modellen zoals Qwen3 en GPT-5 presteren goed op kunststijlclassificatie, hoewel er sprake is van systematische fouten (bijv. verwarring tussen Realisme en Romanticisme).
• Kwaliteit van Concepten:
  • 73% van de geëxtraheerde concepten werd door kunsthistorici beoordeeld als coherente en semantisch betekenisvolle visuele kenmerken.
  • 90% van de concepten die het model gebruikte voor een voorspelling, werd door experts als relevant beoordeeld voor het specifieke kunstwerk.
• Conceptsoorten: De concepten omvatten zowel inhoudelijke kenmerken (specifieke objecten, scènes) als vormelijke kenmerken (kleurenpalet, textuur, belichting, contrast).
• Misalignement en Bias:
  • In gevallen waar het model een "irrelevant" concept gebruikte dat toch leidde tot een juiste voorspelling, bleek het model vaak te werken op basis van formele eigenschappen (bijv. donker/licht contrast) die kunsthistorici niet direct als stijlkenmerk zien, maar die wel statistisch voorspellend zijn.
  • Het model toont een bias naar bepaalde stijlen (bijv. Barok en Romanticisme) en associeert soms inhoud (zoals bossen) te sterk met een specifieke stijl (Romanticisme), terwijl dit in de kunstgeschiedenis breder voorkomt.
  • De "ground truth" labels van WikiArt bleken soms in strijd te zijn met de consensus van kunsthistorici (bijv. de overlap tussen Realisme en Romanticisme).

Significantie

Dit paper is significant omdat het de "black box" van VLMs in de kunstgeschiedenis opent. Het bewijst dat VLMs in grote mate leren om visuele patronen te herkennen die overeenkomen met menselijke expertise (73-90% overlap), maar dat ze ook unieke, soms "onmenselijke" logische paden volgen.

• Interpreteerbaarheid: Het biedt een methode om te begrijpen waarom een model een bepaalde stijl kiest, niet alleen wat het kiest.
• Kunstgeschiedenis: Het benadrukt dat de definitie van "stijl" complex is en dat modellen soms subtiele formele relaties vinden die door mensen worden gemist, of juist te sterk focussen op inhoudelijke elementen.
• Toekomstige Richting: Het werk suggereert dat voor betrouwbare AI in de kunsthistorie, niet alleen de nauwkeurigheid van classificatie, maar vooral de interpretatie van de onderliggende concepten cruciaal is.