ArtistMus: A Globally Diverse, Artist-Centric Benchmark for Retrieval-Augmented Music Question Answering

Probleemstelling

Grote Taalmodellen (LLMs) hebben indrukwekkende prestaties geleverd in open domein-vraagbeantwoording, maar hun effectiviteit bij muziekgerelateerde taken blijft beperkt. Dit komt voornamelijk door de schaarste aan specifieke muziekkennis in de pre-training data.

• Hallucinatie en gebrek aan context: Algemene LLMs hallucineren vaak biografische details of geven generieke antwoorden zonder specifieke carrièrecontext (bijv. "Welke jazz-artiesten beïnvloedden Thad Jones' verhuizing naar Kopenhagen?").
• Beperkingen van Fine-tuning: Traditionele domeinadaptatie via fine-tuning is duur, vereist hoogwaardige trainingsdata en kan niet dynamisch up-to-date blijven bij nieuwe muziekreleases.
• Gebrek aan bronnen: Bestaande benchmarks focussen voornamelijk op muziektheorie of multimodale begrip, maar missen een grondige evaluatie van artiest-gerichte kennis (metadata, discografieën, samenwerkingen), wat cruciaal is voor dagelijkse muziekdiscovery.
• Onvoldoende RAG-toepassingen: Retrieval-Augmented Generation (RAG) is succesvol in domeinen als geneeskunde en recht, maar nog onderbelicht in muziek vanwege het ontbreken van gespecialiseerde, gestructureerde zoekbronnen.

Methodologie

De auteurs introduceren twee fundamentele resources om RAG voor Muziekvraagbeantwoording (MQA) mogelijk te maken en evalueren deze systematisch.

1. MusWikiDB (De Kennisbron)

Een gespecialiseerde vectordatabase ontworpen voor efficiënte muziekretrieval.

• Data: Bestaat uit 3,2 miljoen passages afkomstig van 144.000 muziekgerelateerde Wikipedia-pagina's.
• Categorieën: De data is onderverdeeld in zeven categorieën: artiesten, genres, instrumenten, geschiedenis, technologie, theorie en vormen.
• Verwerking:
  • Crawler-strategie: Startend bij 7 kernpagina's, wordt diep genavigeerd (tot diepte 3) via hyperlinks.
  • Segmentatie: Tekst wordt opgesplitst in passages van maximaal 256 tokens met 10% overlap om contextuele continuïteit te behouden.
  • Indexering: Gebruik van BM25 voor de eerste fase van retrieval (snelle, effectieve ranking).
• Vergelijking: In vergelijking met het algemene Wikipedia-corpus is MusWikiDB kleiner (0,14M vs 3,2M pagina's) maar veel specifieker, wat leidt tot hogere relevantie en snellere zoekopdrachten.

2. ArtistMus (De Benchmark)

Een benchmark dataset voor het evalueren van MQA, specifiek gericht op artiesten.

• Schaal: 1.000 meerkeuzevragen over 500 diverse artiesten uit 163 landen.
• Diversiteit: Prioriteit ligt op ondervertegenwoordigde regio's (bijv. Mauritius, Senegal) en minder populaire genres (bijv. Wereldmuziek, Latijns), in plaats van alleen Westerse Pop/Rock.
• Vraagtypes:
  • Factueel: Verifieerbare details (bijv. "Wat is het stemtype van Robyn?").
  • Contextueel: Redenering over informatie in de tekst (bijv. "Hoe veranderde Robyn's aanpak tijdens het schrijven van het album 'Honey'?").
• Validatie: Tweestapsvalidatie (Music Relevance en Faithfulness) door LLM's en menselijke controle om hallucinaties te voorkomen.

3. Experimenteel Ontwerp

De auteurs evalueren verschillende strategieën:

• Zero-shot: Modellen zonder externe kennis.
• RAG: Modellen met retrieval uit MusWikiDB (BM25).
• Rerank: Een tweede fase met een BGE-reranker om de meest relevante passages te selecteren.
• Fine-tuning Variaties:
  • Standaard QA-fine-tuning op (vraag, antwoord)-paren.
  • RAG-style fine-tuning: Training op (context, vraag, antwoord)-triplets om het model te leren externe bewijsstukken te integreren.
• Modellen: Evaluatie van gesloten bronmodellen (GPT-4o, Gemini) en open-source modellen (Llama 3, Qwen3) van verschillende groottes (0.6B tot 8B parameters).

Belangrijkste Resultaten

Prestatieverbetering door RAG

• Factuele Nauwkeurigheid: RAG leidt tot enorme verbeteringen. Open-source modellen winnen tot +56,8 procentpunten in nauwkeurigheid.
  • Voorbeeld: Qwen3 8B steeg van 35,0% (Zero-shot) naar 91,8% (met RAG + Rerank).
  • Zelfs kleine modellen (bijv. Llama 3 3B) halen met RAG prestaties die dicht bij of boven gesloten systemen liggen.
• Contextuele Redenering: Hoewel factuele vragen het meest profiteren, verbetert RAG ook contextuele vragen, vooral wanneer gecombineerd met RAG-style fine-tuning.
• Out-of-Domain Generalisatie: De methodiek werkt ook op de TrustMus-benchmark (een ander corpus dan Wikipedia), wat aantoont dat de aanpak overdraagbaar is.

Impact van Fine-tuning Strategieën

• Standaard QA Fine-tuning: Verbeterde feitelijke recall lichtjes (+1,8 pp), maar verminderde contextuele prestaties aanzienlijk (-9,2 pp), wat wijst op overfitting.
• RAG-style Fine-tuning: Het trainen op (context, vraag, antwoord)-triplets resulteerde in de beste algehele prestaties (93,1% met reranker). Dit bewijst dat het expliciet leren integreren van externe context zowel feitelijke recall als redenering verbetert.

Efficiëntie van MusWikiDB

• MusWikiDB levert +6 procentpunten hogere retrieval-nauwkeurigheid op vergeleken met het algemene Wikipedia-corpus.
• De zoektijd is 40% sneller dankzij de gespecialiseerde indexering en kleinere corpusgrootte.

Bijdragen en Significance

1. MusWikiDB: De eerste uitgebreide, muziek-specifieke vectordatabase voor RAG, die de kloof tussen algemene kennis en diepe muziekkennis dicht.
2. ArtistMus: Een nieuw, globaal divers benchmark dat de focus legt op artiest-metadaten, een cruciaal maar vaak verwaarloosd aspect in bestaande evaluaties.
3. Demonstratie van RAG in Muziek: Het paper bewijst dat Retrieval-Augmented Generation de prestaties van open-source modellen in het muziekdomein drastisch kan verbeteren, waardoor ze concurrerend worden met gesloten, proprietary systemen.
4. Democratisering van Kennis: Door RAG kunnen kleinere, goedkopere modellen toegang krijgen tot hoogwaardige, feitelijke kennis zonder dat er enorme rekenkracht nodig is voor training.
5. Nieuwe Paradigma: Het introduceert een effectieve workflow voor domein-specifieke LLM's: gebruik van gespecialiseerde corpora voor retrieval, gecombineerd met RAG-style fine-tuning voor optimale integratie van feiten en redenering.

Conclusie

Het paper stelt dat statische parametrische opslag van kennis ontoereikend is voor het dynamische en cultureel verankerde domein van muziek. Door de combinatie van MusWikiDB en ArtistMus met RAG-technieken, kunnen systemen accurate, verifieerbare en contextueel rijke antwoorden genereren. Dit legt de basis voor toekomstige onderzoek naar retrieval-versterkt redeneren in cultureel rijke domeinen.