Musical Score Understanding Benchmark: Evaluating Large Language Models' Comprehension of Complete Musical Scores

Probleemstelling

Hoewel Large Language Models (LLMs) en Vision-Language Models (VLMs) aanzienlijke vooruitgang hebben geboekt in natuurlijke taalverwerking, blijft hun vermogen om volledige muzikale partituren te interpreteren onvoldoende onderzocht. Bestaande benchmarks zijn vaak beperkt in scope: ze focussen op geïsoleerde fragmenten, korte uittreksels of meerkeuzevragen, en missen vaak de complexiteit van meerstemmige (polyfone) muziek.

Wanneer modellen worden toegepast op complete partituren, stuiten ze op twee fundamentele uitdagingen:

1. Localisatie: Modellen hebben moeite om de juiste maatnummers te identificeren. Dit is een pre-requisiet voor het beantwoorden van vragen over harmonie, tekstuur of vorm. Fouten in de maatindex leiden tot incorrecte analyses.
2. Hallucinaties: Modellen genereren vaak informatie die niet in de partituur staat, wat de fouten die voortvloeien uit een slechte localisatie verergert.

Er is een gebrek aan een robuust evaluatiekader dat modellen toetst op hun vermogen om redeneringen over de gehele structuur van een partituur te maken, zowel visueel (PDF) als tekstueel (symbolische notatie).

Methodologie: MSU-Bench

De auteurs introduceren MSU-Bench (Musical Score Understanding Benchmark), een menselijk gecurateerde benchmark voor het evalueren van score-niveau muzikaal begrip.

• Dataverzameling: De benchmark bestaat uit 150 volledige partituren van bekende componisten (o.a. Bach, Beethoven, Chopin, Debussy, Mussorgsky), afkomstig uit onderwijsmateriaal voor conservatoria.
• Vragenstelsel: Er zijn 1.800 menselijk gecurateerde vraag-antwoordparen gegenereerd, verdeeld over vier hiërarchische niveaus van toenemende moeilijkheidsgraad:
  1. Onset Information: Basismetadata (componist, titel, toonsoort, takt, tempo, instrumentatie).
  2. Notation & Note: Lokale details per maat (toonhoogte, accidentals, dynamiek, articulatie, herhalingstekens).
  3. Chord & Harmony: Harmonische analyse (akkoordkwaliteiten, functies, omkeringen, kadens, modulaties).
  4. Texture & Form: Globale structuur (thema's, motieven, vorm, orkestratie, tekstuur).
• Moda liteiten:
  • Visueel (Visual QA): Modellen ontvangen de partituur als PDF-afbeelding.
  • Tekstueel (Textual QA): Modellen ontvangen de partituur in ABC-notatie. Dit is een tekstuele, symbolische weergave die de structuur (maten, stemmen, toonhoogte) expliciet encodeert. De auteurs behandelen ABC als een "bovengrens-modality" voor symbolisch redeneren om visuele interpretatiefouten te minimaliseren.
• Evaluatieprotocol:
  • Zero-shot: Testen van meer dan 15 state-of-the-art modellen zonder training.
  • Fine-tuning: Aanpassing van modellen (o.a. Qwen-serie) met LoRA (Low-Rank Adaptation).
  • Beoordeling: Een "LLM-as-a-judge" protocol met meerderheidsstemming van drie krachtige modellen (ChatGPT-5, Claude Sonnet 4, Gemini 2.5 Pro) om semantische equivalentie te bepalen, geverifieerd door menselijke experts met 20+ jaar ervaring.
  • Meting: Naast standaard nauwkeurigheid wordt de Level-wise Success Rate (LSR) gebruikt. Dit meet het percentage partituren waarbij alle vragen van niveau 1 tot en met niveau $l$ correct zijn beantwoord, wat de consistentie van het model over meerdere niveaus test.

Belangrijkste Resultaten

1. Modaal Kruis (Modality Gap): Er is een aanzienlijke prestatiekloof tussen tekstuele en visuele input.
   • Textueel (ABC): Modellen presteren aanzienlijk beter. De beste modellen (bijv. Gemini 2.5 Pro) bereiken een algehele nauwkeurigheid van bijna 50%. ABC-notatie helpt bij het vermijden van localisatiefouten.
   • Visueel (PDF): Prestaties zijn aanzienlijk lager, met een algehele nauwkeurigheid rond de 20-24%. Modellen worstelen met het lezen van de notatie en het koppelen van maten aan de juiste vragen.
2. Instabiliteit over Niveaus: Zelfs de beste modellen tonen een sterke daling in prestaties naarmate de complexiteit toeneemt. De LSR daalt drastisch: modellen kunnen vaak losse vragen beantwoorden, maar falen om consistentie te behouden over de volledige hiërarchie van een partituur.
3. Effect van Fine-tuning: LoRA-fine-tuning leidt tot aanzienlijke verbeteringen in beide modaliteiten, zonder dat dit ten koste gaat van algemene kennis (geen "catastrophic forgetting" op MMLU-benchmarks). Fine-tuning helpt vooral bij het behouden van consistentie over de niveaus heen.
4. Batch-verwerking: Het stellen van alle vragen voor een partituur in één keer (batch) leidt tot betere prestaties dan het stellen van vragen sequentieel. Dit suggereert dat modellen context van lagere niveaus kunnen gebruiken om hogere niveaus te ondersteunen.
5. Rol van Titel: Modellen die alleen de titel van een stuk zien, presteren slecht, wat aantoont dat ze daadwerkelijk de muzikale inhoud analyseren en niet alleen op basis van titels gissen.

Bijdragen

1. MSU-Bench: De eerste benchmark die specifiek is ontworpen voor het evalueren van redeneervermogen over complete muzikale partituren, met een focus op localisatie en hallucinaties.
2. Multimodale Evaluatie: Een unieke combinatie van visuele (PDF) en tekstuele (ABC) evaluatie, wat inzicht geeft in de beperkingen van visuele interpretatie versus symbolisch redeneren.
3. Empirische Inzichten: Het paper levert gedetailleerde inzichten in de huidige staat van de kunst, waarbij het aantoont dat hoewel modellen basisnotatie kunnen lezen, het redeneren over complexe harmonie en vorm in volledige partituren nog een grote uitdaging is.
4. Open Source: De benchmark, de code en de data zijn openbaar beschikbaar gesteld om toekomstig onderzoek te faciliteren.

Significantie

MSU-Bench markeert een belangrijke stap in de richting van multimodaal redeneren in de muziek. Het paper benadrukt dat voor betrouwbare muzikale analyse door AI, modellen niet alleen "zien" moeten kunnen (OCR van noten), maar ook de structurele logica van de muziek moeten begrijpen.

De bevindingen suggereren dat:

• Huidige VLMs nog niet klaar zijn voor open-ended muzikale analyse van volledige partituren zonder symbolische hulp.
• Symbolische formaten (zoals ABC) een cruciale rol spelen als tussenlaag om redeneerfouten te reduceren.
• Toekomstige modellen moeten worden getraind om niet alleen lokale details te herkennen, maar ook globale structurele samenhang te behouden.

Dit werk legt een fundament voor de ontwikkeling van AI-assistenten die daadwerkelijk kunnen fungeren als educatieve hulpmiddelen voor muziekstudenten en musicologen.