HumMusQA: A Human-written Music Understanding QA Benchmark Dataset

Probleemstelling

De evaluatie van muziekbegrip in Large Audio-Language Models (LALMs) lijdt momenteel onder een gebrek aan rigoureuze benchmarks die werkelijk testen of modellen audio kunnen waarnemen en interpreteren. Bestaande datasets (zoals MusicQA of MusicInstruct) zijn vaak gegenereerd door Large Language Models (LLMs) op basis van bestaande bijschriften of tags. Dit leidt tot twee fundamentele problemen:

1. Het waarnemingskloof-probleem (Perception Gap): Modellen kunnen hoge scores behalen door te vertrouwen op taalkundige priors en "wereldkennis" in de vraagtekst zelf, zonder daadwerkelijk naar de audio te luisteren.
2. Beperkte diepte: Geautomatiseerde generatie uit korte bijschriften resulteert in vragen die oppervlakkig zijn en geen complexe, multi-hop redenering of diepgaand muzikaal inzicht vereisen.

Er is dus behoefte aan een dataset die is samengesteld door experts, die specifiek is ontworpen om echte auditieve perceptie en muzikale analyse te forceren, en die vrij van data-lekkage is.

Methodologie

De auteurs hebben HumMusQA ontwikkeld, een benchmark bestaande uit 320 handgeschreven vragen gekoppeld aan vrij licentieerde muziekopnames.

• Data Bron: Alle audio is afkomstig van Jamendo (Creative Commons-licenties), wat zorgt voor hoge kwaliteit en reproduceerbaarheid zonder juridische beperkingen. Er zijn 108 tracks geselecteerd die diverse genres, instrumentatie en productiestijlen omvatten.
• Vraagontwerp: De vragen zijn gebaseerd op educatieve standaarden (ABRSM en GCSE muziekcurricula) en zijn geschreven door drie experts met een gemiddelde van 15 jaar professionele ervaring in muziektheorie.
  • Formaat: Meerkeuzevragen (4 opties, 1 correct).
  • Validatie: Een iteratief peer-review proces waarbij experts elkaars vragen blind beantwoordden om ambiguïteiten, subjectiviteit en ongelijke distractors te elimineren.
• Classificatie: De vragen zijn gelabeld volgens twee dimensies:
  1. Muzikale Categorie: 13 dimensies (bijv. Melodie, Harmonie, Instrumentatie, Structuur, Mood, Historische Context).
  2. Moeilijkheidsgraad: Laag (voor leken), Middel (voor gevorderden), Hoog (vereist formeel muziekonderwijs).
• Evaluatie Strategie:
  • Er zijn zes state-of-the-art LALMs getest (o.a. Qwen2.5-Omni, Music-Flamingo, Audio-Flamingo-3, Gemini-2.5-Flash).
  • Om bias door de volgorde van antwoordopties te voorkomen, wordt elke vraag vier keer geëvalueerd met gerandomiseerde volgorde van de opties.
  • Robuustheidstest: Er is getest of modellen de vragen kunnen beantwoorden met "nep-audio" (ruis of stilte) of puur tekstueel, om te zien of ze de audio daadwerkelijk gebruiken.

Belangrijkste Resultaten

De experimenten leverden de volgende inzichten op:

1. Algemene Prestaties:

   • Qwen2.5-Omni-7B behaalde de beste algemene score (64,3% nauwkeurigheid) en toonde de grootste consistentie over verschillende runs.
   • Andere modellen (zoals Music-Flamingo en Audio-Flamingo-3) scoorden lager (rond de 58%).
   • Prestaties nemen af naarmate de moeilijkheidsgraad toeneemt (Hoog: ~50-53%, Laag: ~60-73%).

2. Sterke en Zwakke Punten:

   • Modellen presteren beter op vragen die culturele kennis en context vereisen (bijv. genre, stemming, functie).
   • Ze hebben aanzienlijke moeite met vragen die formele muziektheorie vereisen (bijv. harmonie, melodie, performance-technieken), waar de scores aanzienlijk lager liggen.

3. Uni-modale Shortcuts (Robuustheid):

   • Wanneer de audio werd vervangen door ruis of stilte, daalde de nauwkeurigheid, maar niet tot het niveau van pure gokkans (25%).
   • Modellen bleven presteren boven het willekeurige niveau (bijv. Qwen2.5-Omni op ~46% met nep-audio).
   • Analyse: Modellen gebruiken cues in de vraagstelling en hun interne kennis van veelvoorkomende patronen om de juiste optie te raden (bijv. als een vraag vraagt om een "typisch" land voor een gitaarstijl, gokken ze op het meest iconische land). Dit onthult dat zelfs mensgeschreven vragen kwetsbaar zijn voor tekstuele afleiding.

4. Consistentie:

   • Veel modellen vertonen een sterke gevoeligheid voor de volgorde van de antwoordopties, wat wijst op een gebrek aan robuust begrip en een afhankelijkheid van prompt-formulering.

Bijdragen

1. HumMusQA Dataset: Een nieuwe, open benchmark met 320 expert-gecurateerde vragen en hoogwaardige audio, beschikbaar onder een Creative Commons-licentie.
2. Methodologische Rigor: Een bewezen aanpak voor het creëren van QA-datasets die de "perception gap" minimaliseren door menselijke expertise te combineren met strikte validatie.
3. Empirisch Bewijs: Een gedetailleerde analyse van de huidige staat van LALMs, die aantoont dat hoewel ze goed zijn in contextueel redeneren, ze nog tekortschieten in diepgaande muzikale perceptie en theorie.
4. Herhaalbaarheid: Door het gebruik van open licenties voor zowel audio als tekst, wordt een barrière voor reproduceerbaar onderzoek in muziek-AI weggenomen.

Betekenis en Conclusie

Het paper benadrukt dat de huidige evaluatiestandaarden voor audio-AI onvoldoende zijn om echt "luisteren" te meten. HumMusQA biedt een noodzakelijke stap voorwaarts door een dataset te introduceren die specifiek is ontworpen om de beperkingen van bestaande modellen bloot te leggen.

De bevindingen suggereren dat de volgende generatie modellen niet alleen meer data nodig heeft, maar ook betere architecturen die echt audio-gebaseerde redenering ondersteunen, in plaats van te vertrouwen op tekstuele shortcuts. De dataset dient als een complementair hulpmiddel voor bestaande benchmarks en stelt onderzoekers in staat om de voortgang in muziekbegrip op een eerlijke en reproduceerbare manier te meten.