On the Explainability of Vision-Language Models in Art History

Dit artikel onderzoekt hoe uitlegbare kunstmatige intelligentiemethoden het visuele redeneren van het Vision-Language-model CLIP in kunsthistorische contexten begrijpelijk maken, waarbij de resultaten aantonen dat de effectiviteit van deze methoden afhangt van de conceptuele stabiliteit en de representatieve beschikbaarheid van de onderzochte categorieën.

De kern

De Kunst van het Zien: Waarom AI Kunst niet echt "begrijpt" (en hoe we het toch kunnen lezen)

Stel je voor dat je een kunstgeschiedenisstudent bent die een oude schilderij bekijkt. Je ziet niet alleen een man en een vrouw; je ziet een slang die symboliseert voor de zonde, een specifieke houding die verwijst naar een Bijbels verhaal, en een bepaalde manier van schilderen die zegt: "Dit is uit de Renaissance."

Nu stel je een robot voor: een slimme computer die miljoenen foto's en teksten heeft gelezen. Deze robot heet CLIP. Hij kan ook naar een schilderij kijken en zeggen: "Ah, dit is een slang!" Maar doet hij dat omdat hij de betekenis van de slang begrijpt, of omdat hij gewoon een patroon heeft gezien dat op zijn trainingsdata lijkt? En als hij een fout maakt, waar kijkt hij dan precies naar?

Dit is de vraag die Stefanie Schneider in haar onderzoek stelt. Ze wil weten of we de "gedachten" van deze kunstmatige intelligentie (AI) kunnen blootleggen, zodat we kunnen zien waarom hij iets ziet zoals hij het ziet.

Hier is een uitleg van haar onderzoek, vertaald naar alledaags taal met wat creatieve vergelijkingen.

1. Het Probleem: De "Zwarte Doos"

Stel je voor dat CLIP een magische doos is. Je gooit een foto van een schilderij erin en een tekst erbij (bijvoorbeeld: "slang"). De doos geeft een antwoord. Maar wat er binnenin gebeurt, is een mysterie. Het is alsof je een chef-kok vraagt hoe hij een gerecht maakt, maar hij zegt alleen: "Ik heb het gedaan."

In de kunstgeschiedenis is dit gevaarlijk. Als de AI denkt dat een "slang" een bepaald stukje van het schilderij is, maar in werkelijkheid kijkt hij naar de achtergrond of een verkeerd detail, dan is zijn "kennis" vals. We hebben een manier nodig om de doos open te maken en te zien waar de chef-kok naar kijkt. Dit heet XAI (Explainable AI) of "uitlegbare kunstmatige intelligentie".

2. De Toolset: Zeven verschillende brillen

Schneider testte zeven verschillende methoden om de "blik" van de AI te visualiseren. Je kunt je deze methoden voorstellen als zeven verschillende soorten brillen die je op de AI zet om te zien waar hij naar kijkt:

• De "Gradient-brillen" (zoals Grad-CAM): Deze kijken naar de elektrische signalen in de hersenen van de AI. Ze zeggen: "Kijk, hier vlamde het op!"
• De "Score-brillen" (zoals ScoreCAM): Deze doen alsof ze stukjes van het schilderij afdekken met een deken. Als het antwoord van de AI verandert, weten ze: "Ah, dat stukje was belangrijk!"
• De "Chirurgische bril" (CLIP Surgery): Dit is een nieuwe, speciale techniek die direct ingrijpt in de manier waarop de AI tekst en beeld koppelt, alsof je de AI een operatie geeft om zijn ogen scherper te maken.

3. De Test: Twee manieren van kijken

Schneider deed twee dingen om te testen welke bril het beste werkt.

Test 1: De Wiskundige Test (De "Vind-De-Slang"-wedstrijd)
Ze nam duizenden schilderijen en vroeg de AI om specifieke dingen te vinden, zoals een "slang" of "Maria". Vervolgens maten ze hoe nauwkeurig de AI de plek aanwees.

• Het resultaat: De "Chirurgische bril" (CLIP Surgery) was de winnaar. Hij vond de objecten het beste. Maar er was een addertje onder het gras: de AI vond makkelijke dingen (zoals een "brug" of een "bloem") heel goed, maar had grote moeite met complexe, symbolische dingen (zoals "de zonde" of een specifieke heilige). Het was alsof de AI goed kan tellen, maar niet goed kan lezen tussen de regels door.

Test 2: De Menselijke Test (De "Kunstliefhebber"-enquête)
Ze vroeg echte mensen met kennis van kunst om naar dezelfde schilderijen te kijken en te zeggen: "Waar zou een kunstkenner naar kijken?" Daarna lieten ze hen de uitkomsten van de zeven AI-brillen beoordelen.

• Het resultaat: De mensen vonden dat de "Chirurgische bril" en een paar andere methoden het dichtst bij hun eigen blik kwamen. Maar hier kwam de echte verrassing:
  • Als het om een duidelijk object ging (een "slang"), waren de mensen het eens met de AI.
  • Als het om een abstract idee ging (bijvoorbeeld "lust" of "verdriet"), waren de mensen het niet eens met elkaar, en ook niet met de AI.

4. De Grote Leer: Waarom is dit lastig?

Schneider komt tot een fascinerende conclusie, die je zo kunt voorstellen:

Stel je voor dat de AI een enorme bibliotheek heeft gelezen, maar alleen de titels en de eerste zinnen van de boeken. Hij weet dat een "slang" vaak bij "Eva" hoort. Maar hij begrijpt niet waarom.

• De valstrik van de "Zichtbaarheid": De AI kijkt naar wat er visueel opvalt. In een schilderij van Botticelli zijn er drie vrouwen die lijken op elkaar (de drie Maria's). De AI kan ze niet uit elkaar houden, omdat ze visueel te veel op elkaar lijken. De menselijke kunstkenner weet het door de context (wie staat waar, wat doen ze). De AI mist die context.
• De "Smaak" van de data: De AI is getraind op internetfoto's. Internet is vol met vooroordelen en oppervlakkige beelden. Als de AI een "heilige" ziet, kijkt hij misschien naar een witte jurk (want dat staat vaak op internet), en niet naar de spirituele betekenis.

5. Conclusie: Wat moeten we hieruit leren?

Deze studie zegt ons iets belangrijks over de toekomst van kunstgeschiedenis en AI:

1. AI is een hulpmiddel, geen meester: We kunnen AI gebruiken om snel te zoeken of patronen te vinden, maar we kunnen hem niet blindelings vertrouwen op de diepere betekenis van kunst.
2. De "Uitleg" is geen waarheid: De gekleurde kaartjes (saliency maps) die de AI maakt, zien eruit alsof ze de waarheid laten zien. Maar ze tonen alleen maar waar de AI naar kijkt, niet wat hij begrijpt. Het is alsof je iemand laat zien waar hij naar kijkt, maar dat zegt nog niets over wat hij denkt.
3. Mensen zijn nog steeds nodig: Om kunst echt te begrijpen, heb je menselijke kennis, context en geschiedenis nodig. De AI kan ons helpen, maar hij kan de menselijke interpretatie niet vervangen.

Kortom: De AI is als een zeer slimme, maar oppervlakkige toerist die een museum bezoekt. Hij kan de schilderijen benoemen en zelfs zeggen waar de "slang" staat, maar hij mist de ziel van het verhaal. De "uitlegbare AI" helpt ons te zien waar die toerist naar kijkt, zodat we hem kunnen corrigeren en hem kunnen helpen de diepere betekenis te ontdekken.

Technische samenvatting

Probleemstelling

Vision-Language Models (VLMs), zoals CLIP (Contrastive Language–Image Pre-training), hebben zich bewezen als krachtige instrumenten voor multimodale taken (zoals zoekopdrachten en classificatie) door visuele en tekstuele data in een gedeelde embedding-ruimte te brengen. Echter, hun toepassing in de kunsthistorie stuit op fundamentele methodologische en epistemologische problemen:

1. Epistemische ondoorzichtigheid: Het is onduidelijk welke visuele concepten (formeel, iconografisch of affectief) door de embeddings worden vastgelegd.
2. Bias en vertekening: De trainingsdatasets (bijv. LAION-400M) bevatten structurele biases en stereotypen die de webcultuur reflecteren in plaats van een neutrale visuele werkelijkheid.
3. Interpretatiekloof: Kunsthistorie vereist interpretatie van visuele betekenis binnen culturele en historische contexten, terwijl VLMs vaak "out-of-the-box" worden gebruikt zonder inzicht in hun interne redenering.
   De centrale vraag is: In welke mate kunnen Explainable AI (XAI)-methodes de visuele logica van CLIP leesbaar maken voor menselijke interpretatoren, zodat de methodologische robuustheid in de kunsthistorie wordt versterkt?

Methodologie

De auteurs evalueren zeven XAI-methoden die drie verschillende paradigma's vertegenwoordigen. Deze methoden genereren "saliency maps" (warmtekaarten) die aangeven welke beeldregio's bijdragen aan de voorspelde score voor een tekstprompt.

De onderzochte methoden:

1. Gradient-based (op gradiënten gebaseerd):
   • Grad-CAM, Grad-CAM++, LayerCAM, LeGrad: Deze methoden backpropageren class-specifieke gradiënten naar feature maps om de belangrijkste regio's te identificeren.
2. Score-based, gradient-free (op scores gebaseerd, zonder gradiënten):
   • ScoreCAM, gScoreCAM: Deze methoden verstoren het invoerbeeld (door regio's te maskeren) en meten de verandering in de modeloutput om de relevantie van regio's te bepalen.
3. CLIP-specifiek:
   • CLIP Surgery: Een interventie die direct ingrijpt in het inferentieproces van CLIP om de interactie tussen tekst en beeld explicieter te maken.

Evaluatiekader (Twee Case Studies):

• Case Study 1 (Kwantitatief):
  • Doel: Meten van de localisatie-accuratesse in zero-shot condities (zonder fine-tuning).
  • Datasets: IconArt (1.480 afbeeldingen, focus op iconografie) en ArtDL (4.166 afbeeldingen, bredere categorieën).
  • Meting: BoxAcc (Bounding Box Accuracy) berekend via Intersection over Union (IoU) tussen de gegenereerde maskers en ground-truth annotaties. De evaluatie is onafhankelijk van een vaste drempelwaarde (threshold-independent).
• Case Study 2 (Kwalitatief/Menselijk):
  • Doel: Evalueren van de interpretatiekwaliteit en de overeenstemming met menselijke oordelen.
  • Opzet: Een online enquête onder 33 deelnemers met kunsthistorische achtergrond.
  • Proces: Deelnemers kregen 7 kunstwerken te zien met specifieke concepten (bijv. "slang", "maagd Maria"). Ze moesten de gegenereerde saliency maps rangschikken op basis van hoe goed deze hun eigen visuele aandacht weerspiegelden.
  • Statistiek: Kendall's W werd gebruikt om de inter-rater betrouwbaarheid te meten.

Belangrijkste Bijdragen

1. Systematische Vergelijking in Kunsthistorische Context: Het is een van de eerste studies die XAI-methoden specifiek test op de complexiteit van kunsthistorische iconografie (symbolen, narratieve scènes) in plaats van alleen op algemene objectherkenning.
2. Integratie van Kwantitatieve en Kwalitatieve Evaluatie: Door zowel automatische localisatiemetingen als menselijke perceptiestudies te combineren, wordt een vollediger beeld geschetst van wat "uitlegbaarheid" betekent in deze domein.
3. Kritische Reflectie op XAI: De auteurs betogen dat XAI-methoden niet alleen diagnostische instrumenten zijn, maar ook de "ideologische patronen" van machine vision blootleggen. Ze tonen aan dat uitlegbaarheid soms de ondoorzichtigheid van het model slechts aestheticiseert in plaats van op te lossen.

Resultaten

• Kwantitatieve Prestaties:
  • CLIP Surgery presteerde consistent het beste op beide datasets, vooral bij objecten met duidelijke visuele grenzen en bij grotere objecten.
  • LeGrad was vaak de tweede beste methode, met name voor middelgrote objecten.
  • Traditionele gradient-based methoden (Grad-CAM, etc.) presteerden aanzienlijk slechter, vooral bij complexe iconografische concepten.
  • De prestaties daalden sterk bij kleine objecten en semantisch complexe categorieën (bijv. "dood van Christus" of specifieke heiligen).
• Menselijke Interpretatie:
  • Deelnemers gaven de voorkeur aan CLIP Surgery, LeGrad en ScoreCAM. Deze maps leken het meest op wat menselijke experts als relevant beschouwden.
  • Er was een duidelijke correlatie tussen de visuele duidelijkheid van een concept en de overeenstemming. Concreet, ruimtelijk gelokaliseerde objecten (bijv. "brug", "slang") hadden hoge overeenstemming (hoge Kendall's W).
  • Abstracte of contextafhankelijke concepten (bijv. "lustvol", "Sfinx", specifieke heiligen in een groep) leidden tot grote variatie in beoordelingen en lage overeenstemming, zowel tussen mensen als tussen mens en machine.
• Beperkingen:
  • De prestaties van de modellen worden beperkt door de "representational availability" in de trainingsdata. Als een concept (zoals een specifieke heilige) zelden of onduidelijk voorkomt in de trainingsdata, kan geen enkele XAI-methode dit correct visualiseren.
  • Ground-truth annotaties in de kunsthistorie zijn vaak subjectief en niet eenduidig, wat de evaluatie van "juiste" localisatie bemoeilijkt.

Significantie en Conclusie

De studie concludeert dat XAI-methoden in de digitale kunsthistorie zowel methodologisch als hermeneutisch waardevol zijn, maar met belangrijke kanttekeningen:

• Geen Epistemische Transparantie: Een visueel leesbare saliency map betekent niet dat het model het kunstwerk "begrijpt" in de menselijke zin. De visualisatie toont de interne dynamiek van de embedding-ruimte, maar verbergt de historische en culturele aannames die in de data zijn ingebed.
• Afhankelijkheid van Conceptstabiliteit: De effectiviteit van uitlegbaarheid hangt af van de stabiliteit van het concept. Voor statische, visueel duidelijke objecten werken de methoden goed; voor symbolische, narratieve of cultureel geladen concepten falen ze vaak.
• Dialogisch Proces: Uitlegbaarheid moet worden gezien als een dialoog tussen menselijke en machine-visie. XAI-outputten moeten niet worden gezien als definitieve verklaringen, maar als prikkels voor verdere hermeneutische onderzoek.
• Praktische Implicatie: Voor real-time toepassingen is CLIP Surgery aan te raden vanwege zijn snelheid (één forward pass) en hoge nauwkeurigheid, terwijl methoden zoals ScoreCAM (die meerdere forward passes vereisen) te traag zijn voor interactieve settings, ondanks hun soms gladdere visualisaties.

Kortom, de paper waarschuwt tegen een naïef vertrouwen in VLMs voor kunsthistorisch onderzoek en pleit voor een kritische, contextbewuste toepassing van XAI-tools die rekening houdt met de complexiteit van visuele cultuur.