Technische Samenvatting: MuseBench

Probleemstelling

Huidige Multimodale Large Language Models (MLLM's) hebben sterke capaciteiten getoond in perceptuele herkenning en feitelijke redenering met betrekking tot video-inhoud. Echter, er blijft een kritieke kloof bestaan in artistisch begrip op intentioneel niveau. Het begrijpen van audiovisuele kunsten (cinema, statische beeldende kunst, podiumkunsten en game-design) vereist redeneren over niet alleen wat er wordt afgebeeld, maar ook waarom specifieke creatieve keuzes (bijv. kadrering, belichting, montagetempo, sound design) zijn gemaakt om emotie, thema of esthetische intentie over te brengen.

Bestaande video-benchmarks evalueren grotendeels oppervlakkige herkenning of temporele redenering met behulp van single-choice vragen met één enkel correct antwoord. Dit format slaagt er niet in de pluraliteit van geldige interpretaties te vatten die inherent is aan artistische analyse, waarbij meerdere verdedigbare perspectieven naast elkaar kunnen bestaan. Bovendendien wordt het construeren van benchmarks voor dit domein bemoeilijkt door de schaarste aan data met expertkennis en de moeilijkheid van het genereren van hoogwaardige distractoren die niet vertrouwen op transcript-gebaseerde shortcuts.

Methodologie

1. Databron: Video-essays

Om de schaarste aan expert-kennisdata aan te pakken, gebruiken de auteurs video-essays (afkomstig van YouTube, Bilibili en TikTok) als de primaire kennisbasis. Deze video's koppelen professionele commentaar aan visuele demonstraties, wat een natuurlijke afstemming biedt tussen expert-redenering en visueel bewijs. De dataset is gedestilleerd uit meer dan 10.000 kandidaat video-essays.

2. Constructie-pipeline

De auteurs stellen een vierfasige iteratieve constructie-pipeline voor om ruwe video-essays te transformeren naar benchmarkvragen:

• Segmentatie: Video's worden opgedeeld in intervallen van 10 seconden.
• Clip Captioning: Een vision-language model (Keye-VL-1.5) genereert fijnmazige bijschriften voor elk segment, geconditioneerd op het transcript van de verteller. Deze bijschriften dienen als constructieresources maar worden nooit blootgesteld aan de geëvalueerde modellen.
• Vraaggeneratie: Vragen worden gegenereerd in twee formaten:
  • Single-Select: Onderzoekt discrete herkenning van de meest precieze interpretatie (1 correct antwoord tussen 4–8 opties).
  • Multi-Select: Onderzoekt set-gebaseerde analytische oordeelsvorming, waarbij wordt erkend dat meerdere artistieke intenties tegelijkertijd geldig kunnen zijn (2–4 correcte antwoorden tussen 4–8 opties).
• Distractor Generatie: Een adversariële stap genereert plausibele distractoren met behulp van zeven strategieën (bijv. technische misinterpretatie, oversimplificatie, feitelijke fout, conceptuele verwarring, scopefout, temporele verwarring, gedeeltelijke waarheid). Dit zorgt ervoor dat alle opties even plausibel lijken voor een lezer zonder toegang tot de clip, waardoor shortcut-gebaseerd gokken wordt onderdrukt.

3. Kwaliteitscontrole

Een human-in-the-loop iteratief reviewproces verfijnt de vragen. Domeinexperts beoordelen items op vier dimensies (Holistische Kwaliteit, Visuele Noodzakelijkheid, Mechanistische Traceerbaarheid, Integriteit van het Antwoord) en labelen foutmodi (bijv. verteller-afhankelijke beantwoordbaarheid, ambigue stellingen). De generatie-prompts worden iteratief bijgewerkt om deze fouten te elimineren totdat de benchmark aan de kwaliteitsstandaarden voldot.

4. Evaluatieprotocol

Om om te gaan met variabele optie-aantallen en de open-einde aard van artistieke redenering, introduceert het paper specifieke metrieken:

• Chance-Adjusted Accuracy (CAA): Voor single-select vragen normaliseert dit de scores om rekening te houden met het variërende aantal opties ($K_i$), zodat willekeurig gokken een score van 0 oplevert en een correct antwoord 1 oplevert, ongeacht $K_i$.
• Set-Based Metrieken (Precisie, Recall, F1): Voor multi-select vragen wordt exacte-match nauwkeurigheid als te strikt beschouwd. De auteurs rapporteren Precisie, Recall en F1-scores op de voorspelde set van opties om gedeeltelijke overeenstemming vast te leggen en onderscheid te maken tussen modellen die de meest saillante optie identificeren versus modellen die de volledige breedte van geldige interpretaties vatten.

Belangrijkste Bijdragen

1. MuseBench Benchmark: Een uitgebreide benchmark bestaande uit 4.016 expert-gevalideerde vragen over vier kunstcategorieën (Cinematografische Kunsten, Statische Beeldende Kunst, Podiumkunsten, Game-kunst) en 11 subdomeinen. Het combineert uniek single-select en multi-select formaten met variabele optie-aantallen om interpretatieve pluraliteit te modelleren.
2. Schaalbare Expert-Kennis Pipeline: Een nieuwe vierfasige pipeline die gebruikmaakt van video-essays en LLM's om visueel gegronde, intentie-gebaseerde vragen op schaal te genereren, waarmee de fundamentele uitdaging van het verwerven van expertkennis voor creatieve domeinen wordt aangepakt zonder afhankelijk te zijn van crowdsourcing.
3. Geprincipeerd Evaluatieprotocol: Een heterogeen-format scoringprotocol dat gebruikmaakt van Chance-Adjusted Accuracy en set-gebaseerde F1 met exact-match diagnostiek. Dit maakt een meer genuanceerde beoordeling mogelijk van de capaciteiten van modellen in artistieke redenering vergeleken met standaard nauwkeurigheidsmetrieken.

Resultaten

De auteurs voerden zero-shot evaluaties uit van 28 state-of-the-art MLLM's (inclusief propriëtaire en open-source modellen) op MuseBench.

• Prestatiekloof: Zelfs het best presterende model (Claude-4.6-Opus) behaalde slechts 48,29% algemene nauwkeurigheid, wat aanzienlijk lager is dan de 87,18% prestatie van menselijke experts. Dit legt een significante kloof bloot in de creatieve domeinkennis van huidige modellen.
• Categorie-specifieke zwaktes: Modellen liepen consequent sterk achter op Game Arts over alle niveaus, waarschijnlijk door de beperkte representatie van interactieve visuals en real-time cameracontrole in de pretraining corpora.
• Multi-Select Gedrag: Bij multi-select vragen vertoonden modellen een precisie-recall asymmetrie. Ze hadden de neiging om de enkelvoudige meest saillante correcte optie te herstellen (hoge precisie), maar faalden in het enumereren van de volledige set van geldige interpretaties (lage recall). Dit suggereert dat modellen moeite hebben met de breedte van het analytische perspectief dat vereist is voor expert-niveau redenering.
• Key Frame Selectie: Adaptieve key frame selectiemethoden boden weinig tot geen prestatiewinst, wat aangeeft dat de bottleneck ligt in de stilistische vocabulaire en culturele priors in plaats van in temporele lokalisatie of frame selectie.
• Positie Bias: Open-source MLLM's vertoonden een uitgesproken bias naar het selecteren van de eerste optie (A) in vragen met vijf of meer keuzes, terwijl propriëtaire modellen aanzienlijk minder bias vertoonden.

Significantie

Het paper betoogt dat de huidige koers van het schalen van generieke video-begrip onvoldoende is voor het bereiken van authentiek begrip van creatieve domeinen. De significante prestatiekloof en specifieke faalpatronen (bijv. onvermogen om met interpretatieve pluraliteit om te gaan, zwakte in game arts) suggereren dat toekomstige vooruitgang vereist:

• Rijkere Artistieke Supervisie: Het integreren van meer diverse culturele en stilistische supervisie in trainingspipelines.
• Veelzijdige Evaluatie: Verder gaan dan single-choice nauwkeurigheid naar metrieken die gedeeltelijke credits en de breedte van redenering vastleggen.
• Domeinspecifieke Redenering: Audiovisuele kunsten te behandelen als een afzonderlijk domein dat gespecialiseerde kennis vereist buiten algemene video-begrip.

MuseBench wordt vrijgegeven om voortgang te faciliteren richting MLLM's die in staat zijn tot werkelijke intentie-gebaseerde redenering in de audiovisuele kunsten.