Technische Samenvatting: EduArt – Een benchmark op onderwijsniveau voor het evalueren van kunsthistorische kennis in Large Language Models

Probleemstelling

Hoewel Large Language Models (LLM's) een plafondprestatie hebben bereikt op algemene benchmarks zoals MMLU, falen deze geaggregeerde maten om het gedrag van modellen binnen specifieke disciplines te onthullen. Bestaande kunstgerichte evaluaties lijden onder twee primaire beperkingen: (1) ze leunen zwaar op synthetisch gegenereerde vragen in plaats van door mensen geschreven educatief materiaal, en (2) ze rapporteren zelden item-niveau psychometrische eigenschappen, waardoor het onmogelijk is om onderscheid te maken tussen werkelijke kennishiaten, taakformaat-gevoeligheid of slecht geconstrueerde items. Bovendien confunderen huidige benchmarks vaak visuele herkenning met visueel redeneren, en kunnen evaluaties met één enkel formaat (met name meerkeuzevragen) de capaciteit van een model om taken uit te voeren die vereisen dat inhoud wordt geproduceerd en gemanipuleerd – wat centraal staat in de kunsthistorische wetenschap – systematisch overschatten.

Methodologie

De auteurs introduceren EduArt, een multimodale benchmark ontworpen om kunsthistorische kennis en visueel redeneren te evalueren over diverse vraagformaten en talen.

Dataconstructie

De dataset bestaat uit 871 door mensen geschreven vragen afkomstig van twee onderscheidende, pedagogisch gefundeerde bronnen:

1. MyZanichelli (Italiaans): 668 vragen van een digitaal oefenplatform dat wordt gebruikt in het Italiaanse voortgezet onderwijs, specifiek gericht op Pittura rinascimentale (Renaissance-schilderkunst).
2. AP Art History (Engels): 203 vragen van de Advanced Placement-examens van de College Board (2013–2024).

De vragen beslaan zeven verschillende formaten:

• multiple_choice_radio (Enkele juiste optie)
• multiple_choice_check (Meerdere juiste opties)
• true_false (Waar/onwaar)
• completion_closed (Invulvraag met een beperkte woordbank)
• completion_open (Invulvraag zonder beperkingen)
• positioning (Drag-and-drop van de juiste woorden in een tekst)
• select_errors (Identificatie van foutieve woorden in een tekst)

De dataset bevat 261 verschillende afbeeldingen die geassocieerd zijn met 436 vragen. Alle items zijn auteursrechtelijk beschermd; het publieke repository biedt de extractie- en evaluatiepipeline-code in plaats van de ruwe data.

Evaluatiekader

Twaalf modellen uit zes modelfamilies (OpenAI, Google, Anthropic, Qwen, Mistral, Meta) werden geëvalueerd. De evaluatie vond plaats onder twee condities:

1. Default (Alleen antwoord): Het model geeft alleen het antwoord terug in een strikt JSON-schema.
2. Motivatie: Het model is verplicht om een geschreven rechtvaardiging van 2 tot 4 zinnen te geven, gebaseerd op kunsthistorische kennis of visueel bewijs.

Prestaties werden gemeten met behulp van formaatspecifieke metrieken (bijv. exact match voor radio MCQs, F1-score voor multi-select en foutidentificatie, element-nauwkeurigheid voor positioning).

Psychometrische Analyse

De studie past Classical Test Theory (CTT) toe om de benchmark te karakteriseren. Belangrijke metrieken zijn onder meer:

• Moeilijkheidsgraad ($p$): Het aandeel modellen dat een item correct beantwoordt.
• Discriminatie ($r_{pb}$): De puntbiseriale correlatie tussen de prestatie van een item en de totale score, wat aangeeft hoe goed een item sterke en zwakke modellen van elkaar onderscheidt.

Er werd ook een logistische regressie toegepast om de onafhankelijke effecten van vraagformaat, taal, aanwezigheid van afbeeldingen en modelidentiteit op de nauwkeurigheid te isoleren.

Belangrijkste Resultaten

1. Psychometrische Eigenschappen

EduArt vertoont sterke psychometrische eigenschappen. De gemiddelde discriminatie over 831 schattingsbare items is 0,514, waarbij 82,3% van de items werd geclassificeerd als "goede discriminatoren" ($r_{pb} \geq 0,30$). De moeilijkheidsgraad van de items is goed verdeeld, variërend van zeer makkelijk tot zeer moeilijk, wat bevestigt dat de benchmark noch triviaal, noch systematisch onmogelijk is.

2. Formaatverzadiging en Divergentie

• Verzadiging van Meerkeuzevragen: Zes modellen overschreden 94% nauwkeurigheid bij multiple_choice_radio vragen, met overlappende betrouwbaarheidsintervallen. Dit geeft aan dat herkenningsformaten alleen onvoldoende zijn om grensmodellen (frontier models) van elkaar te onderscheiden, omdat zij dit type taak hebben verzadigd.
• Formaatgevoeligheid: De prestaties van modellen variëren drastisch per formaat. Modellen die >94% scoren op MCQs kunnen dalen naar 23,9% op completion_open (bijv. Claude Opus 4.6) en tot wel 6,2% op select_errors (bijv. Claude Sonnet 4.6).
• Rangorde-instabiliteit: Geen enkel model rangschikt consistent over alle zeven formaten. Voor 10 van de 12 modellen is de spreiding tussen hun beste en slechtste formaatprestatie groter dan 50 procentpunten.

3. Onafhankelijke Voorspellers van Nauwkeurigheid

Logistische regressieanalyse onthult:

• Vraagformaat: Niet-MCQ formaten leveren over het algemeen significant lagere kansen op een correct antwoord op vergeleken met multiple_choice_radio. Select_errors is het moeilijkste formaat (OR = 0,045), gevolgd door completion_closed (OR = 0,256).
• Aanwezigheid van Afbeelding: In tegen tegen de intuïtie dat visuele hulpmiddelen helpen, is de aanwezigheid van een afbeelding geassocieerd met een lagere waarschijnlijkheid van een correct antwoord (OR = 0,765) na controle voor andere variabelen. Dit sugggeert dat voor deze modellen taalgebaseerde kennis de prestaties meer drijft dan visuele verwerking, en dat het toevoegen van visuele informatie complexiteit introduceert die de nauwkeurigheid vermindert.
• Taal: Italiaanse vragen zijn significant moeilijker dan Engelse vragen (OR = 0,459), waarschijnlijk door de specifieke distributie van vraagtypen en bronmateriaal.

4. De Motivatieconditie

Het vereisen van een geschreven rechtvaardiging heeft een op de modelfamilie gerichte invloed op de nauwkeurigheid:

• Claude-modellen verbeterden over het algemeen hun prestaties of behielden deze wanneer ze werden gevraagd een rechtvaardiging te geven.
• Gemini- en GPT-modellen vertoonden voornamelijk een afname in nauwkeurigheid (bijv. Gemini 3.1 Flash Lite Preview daalde met 12,8 procentpunten).
• Deze dissociatie suggereert dat het vermogen om redeneringen te articuleren verschillend is van het vermogen om het juiste antwoord te selecteren, en dat het afdwingen van gestructureerde output kan interfereren met de antwoordselectie in bepaalde modelarchitecturen.

Betekenis en Claims

Het artikel stelt dat EduArt een valide, niet-triviaal instrument biedt voor het evalueren van multimodale LLM's in een gespecialiseerd domein. De belangrijkste bijdragen zijn:

1. Voorbij Synthetische Data gaan: Door gebruik te maken van door mensen geschreven educatief materiaal, vermijdt de benchmark de valkuilen van synthetische generatie en biedt het verifieerbare grondwaarheid.
2. Het Onthullen van Capaciteitsdissociaties: De studie toont aan dat kunsthistorische kennis (het vermogen om feiten te herkennen) en het vermogen om die kennis toe te passen (het genereren, plaatsen of corrigeren van inhoud) verschillende capaciteiten zijn. Hoge prestaties op meerkeuzeherkenning voorspellen niet de prestaties op open-ended of foutcorrectie-taken.
3. Kritiek op Single-Format Benchmarks: De auteurs betogen dat benchmarks met één enkel formaat (met name MCQs) de reikwijdte van taken die modellen betrouwbaar kunnen uitvoeren, systematisch overschatten. In de kunstgeschiedenis, waar taken vereisen dat inhoud wordt geproduceerd en gemanipuleerd in plaats van gekozen uit een vastgesteld aantal opties, bieden MCQ-gebaseerde evaluaties een misleidend optimistisch beeld.
4. Voorwaarde voor Verantwoorde Adoptie: De auteurs concluderen dat het in kaart brengen van dit fijnmazige capaciteitsprofiel een voorwaarde is voor het verantwoorde gebruik van multimodale LLM's in de kunsthistorische wetenschap. Weten welke taken een model precies betrouwbaar afhandelt, is essentieel voordat deze tools worden ingezet voor catalogisering, attributie of onderwijs, aangezien wetenschappelijk werk zelden bestaat uit het selecteren van een antwoord uit een vaste set.