⚡ electrical engineering

Exploring LLMs for South Asian Music Understanding and Generation

Dit artikel presenteert de eerste systematische evaluatie van Large Language Models op het gebied van Zuid-Aziatische klassieke muziek, waarbij wordt onthuld dat hoewel frontier-modellen een hoge nauwkeurigheid bereiken in het begrijpen van raga-gebaseerde theorie, zij moeite hebben met het genereren van stilistisch getrouwe outputs, wat een aanzienlijke kloof in cultureel gewortelde muziekmodellering benadrukt.

Oorspronkelijke auteurs: Faria Binte Kader, Mohtasim Hadi Rafi, Shah Wasif Sajjad, Santu Karmaker

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Faria Binte Kader, Mohtasim Hadi Rafi, Shah Wasif Sajjad, Santu Karmaker

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep zeer intelligente, erudiete robots hebt (Large Language Models, of LLM's) die jarenlang boeken hebben gelezen, code hebben geschreven en verhalen hebben samengesteld. Ze zijn experts in westerse muziek—denk aan de pianisonates van Beethoven of de popliedjes die je op de radio hoort. Deze robots weten hoe ze een huis moeten bouwen met behulp van westerse blauwdrukken, waarbij de muren worden gemaakt van "harmonie" (akkoorden die op elkaar gestapeld worden).

Maar wat gebeurt er als je dezezelfde robots vraagt om een huis te bouwen met blauwdrukken van Zuid-Aziatische klassieke muziek?

Dit artikel is als een rigoureus inspectierapport. De onderzoekers vroegen zich af: Kunnen deze robots daadwerkelijk begrijpen en muziek bouwen gebaseerd op de regels van Zuid-Aziatische tradities, specifiek de complexe systemen van India en Bangladesh?

Hier is de uitsplitsing van hun bevindingen, met behulp van eenvoudige analogieën:

1. De Uitdaging: Twee Verschillende Architecturale Stijlen

Westerse muziek is als het bouwen met Lego-blokjes die op specifieke, vooraf gedefinieerde patronen in elkaar klikken (harmonie en akkoorden).
Zuid-Aziatische muziek (zoals Hindustani klassiek, Rabindra Sangeet en Nazrul Sangeet) is als het weven van een tapijt. Het leunt op:

Raga: Een specifieke set "draden" (noten) en regels voor hoe ze kunnen bewegen, wat een specifieke stemming creëert.
Tala: Een ritmische cyclus, zoals een hartslag die in een lus herhaalt.
Ornamentatie: Kleine, delicate versieringen (zoals borduurwerk) die plaatsvinden tussen de noten door.

De onderzoekers wilden zien of de robots, die gewend zijn aan Lego, plotseling meester-wevers konden worden.

2. De Test: Een Examen van 504 Vragen

Om de "muzikale IQ" van de robots te testen, maakten de onderzoekers een enorme toets met 504 vragen. Het ging niet alleen om gokken; het testte drie dingen:

Theorie: Kennen ze de grammatica? (bijv. "Welke noten horen bij deze specifieke Raga?")
Cultuur: Kennen ze de geschiedenis? (bijv. "Wie heeft dit beroemde lied gecomponeerd?" of "Welk instrument wordt gebruikt?")
Continuïteit: Als je ze de eerste paar maten van een lied geeft, kunnen ze de zin dan correct afmaken?

De Resultaten:

De Beste Student: De meest geavanceerde robot (Gemini 2.5 Pro) slaagde voor het examen met een score van ongeveer 90%. Het leek erop dat de robot daadwerkelijk de boeken over Zuid-Aziatische muziek had "gelezen".
Het Gemiddelde van de Klas: De meeste open-source robots (de gratis, door de gemeenschap gebouwde robots) scoorden tussen de 23% en 40%. Ze waren vooral aan het gokken.
De Specialist: Opvallend genoeg faalde een robot die specifiek getraind was alleen op westerse muziek (ChatMusician) jammerend, met de laagste score. Dit is alsovergelijkbaar met het vragen aan een meester-timmerman om een horloge te repareren; hun specifieke vaardigheden werden niet overgedragen.

3. De Creatie: Kunnen Ze een Lied Schrijven?

Vervolgens vroegen de onderzoekers de robots om nieuwe liederen te componeren in een tekstgebaseerd muziekformaat genaamd "ABC-notatie" (denk aan een tekstueel recept voor muziek). Ze gaven de robots teksten en vroegen hen een melodie te creëren die klonk als een Rabindra Sangeet (liederen van Tagore) of Nazrul Sangeet (liederen van Nazrul Islam).

Ze gebruikten een "5-niveau prompt"-systeem, wat lijkt op instructies geven met toenemend detail:

Niveau 1: "Schrijf een lied."
Niveau 5: "Schrijf een Rabindra Sangeet in deze specifieke toonladder, met dit ritme, deze emotie vastleggend, gebruikmakend van deze instrumenten."

De Resultaten:
Zelfs de beste robot (Gemini 2.5 Pro) liep tegen een muur aan.

Structurele Geldigheid: De robot kon een lied schrijven dat eruit zag als een recept (het had de juiste noten en ritme op papier).
Stilistische Getrouwheid: Maar wanneer mensen luisterden, was het slechts 40% van de tijd dat het daadwerkelijk klonk als een Rabindra Sangeet. De andere 60% klonk als generieke muziek of een geheel andere stijl.

De Analogie: Stel je voor dat je een robot vraagt een portret van een specifiek persoon te schilderen. De robot kan de kleuren en het canvas goed krijgen (structurele geldigheid), maar het gezicht ziet eruit als een vreemde (gebrek aan stilistische getrouwheid).

4. De Valstrik: De "Nep" Metrieken

De onderzoekers ontdekten een groot probleem met de manier waarop we muziek-AI gewoonlijk testen.

De Oude Manier: We controleren of de noten wiskundig correct zijn en of het lied de regels van de toonladder volgt.
De Realiteit: De robots kunnen deze wiskundige tests perfect doorstaan (100% score), terwijl ze muziek produceren die voor een menselijk expert volkomen fout klinkt.

Het is alsook een student die de spelling van elk woord in een gedicht uit het hoofd leert, maar geen idee heeft hoe hij het met de juiste emotie of ritme moet lezen. De computer zegt: "Goed gedaan, je hebt alles correct gespeld!" maar de mens zegt: "Dat klinkt verschrikkelijk."

5. De Conclusie

Het artikel concludeert dat hoewel de slimste AI-modellen beginnen de regels van Zuid-Aziatische muziek te begrijpen, ze nog steeds slecht zijn in het vastleggen van de ziel ervan.

Begrip: De topmodellen worden goed in de theorie (de grammatica).
Generatie: Ze worstelen nog steeds met het creëren van muziek die authentiek en cultureel specifiek aanvoelt.
De Toekomst: We hebben betere manieren nodig om deze robots te testen. We kunnen niet alleen controleren of de noten "correct" zijn; we moeten controleren of de muziek "juist" voelt voor een mens die de cultuur kent.

Kortom: de robots leren de woordenschat van de Zuid-Aziatische muziek, maar ze hebben nog niet geleerd om de taal te spreken met een inheems accent.

Technische Samenvatting: Onderzoek naar LLM's voor het Begrip en de Generatie van Zuid-Aziatische Muziek

Probleemstelling

Hoewel Large Language Models (LLM's) aanzienlijke vooruitgang hebben getoond in muziekbegrip en -generatie, blijft bestaand onderzoek en benchmarking zwaar geconcentreerd op westerse tonale tradities. Deze werken evalueren primair capaciteiten op basis van harmonische akkoordprogressies en westerse harmonie, waardoor er weinig inzicht is in de vraag of LLM's kunnen omgaan met structureel afwijkende, minder ondersteunde (low-resource) muziektradities. Zuid-Aziatische klassieke muziek, gestuurd door raga (melodische kaders) en tala (cyclische ritmische systemen), opereert op principes die fundamenteel verschillen van de door harmonie gedreven westerse compositie. Specifiek identificeert het artikel een gebrek aan systematische evaluatie met betrekking tot:

Begrip: Of LLM's beschikken over de grammaticale kennis van Hindustani en Bengaalse klassieke muziek (bijv. raga-grammatica, tala-systemen, versieringen).
Generatie: Of LLM's symbolische muziek kunnen genereren die voldoet aan de specifieke compositorische conventies en stilistische beperkingen van Zuid-Aziatische genres, in het bijzonder Rabindra en Nazrul Sangeet.
Evaluatie: Of bestaande automatische metrieken, vaak ontworpen voor westerse muziek, betrouwbaar de structurele geldigheid en stilistische trouw kunnen vastleggen die vereist zijn voor cultureel gewortelde muziekmodellering.

Methodologie

1. Benchmark Curatie (Muziekbegrip)

De auteurs hebben een benchmark van 504 meerkeuzevragen samengesteld, gebaseerd op de Hindustani klassieke theorie en Bengaalse klassieke tradities. De benchmark is verdeeld in drie subtaken:

Muziektheoretisch Begrip (163 vragen): Evalueert het begrip van theoretische grammatica, inclus\n bij Raga-grammatica, Tala-systemen, Thaat-classificatie, versieringen (gamakas) en notatie.
Muzikale Algemene Kennis (143 vragen): Beoordeelt feitelijke en culturele kennis over componisten, historische figuren, instrumenten en regionale stilistische tradities.
Muzikale Continuatie (198 vragen): Test de praktische toepassing van structurele kennis. Modellen krijgen het begin van een Rabindra of Nazrul Sangeet in ABC-notatie gepresenteerd en moeten de meest structureel coherente voortzetting selecteren uit vier opties. De afleiders (distractors) werden geconstrueerd door structurele mismatches te introduceren (bijv. cross-genre substitutie, ritmische inconsistenties) terwijl de oppervlakkige continuïteit plausibel bleef.

Alle vragen werden in het Bengaals gecureerd om terminologie te behouden en werden beoordeeld door een expert in Bengaalse klassieke muziek.

2. Muziekgeneratie Framework

Om de generatiecapaciteiten te evalueren, hebben de auteurs een framework van 5 controleerbare prompting-niveaus ontworpen op basis van de TELeR-taxonomie. Dit framework introduceert progressief muzikale beperkingen (toonladder, ritme, genre, stilistische aanwijzingen) om de controleerbare generatie van symbolische muziek te analyseren.

Data: 100 handmatig gecureerde referentiescores (50 Rabindra Sangeet, 50 Nazrul Sangeet) in ABC-notatie, afgeleid van officiële Swaralipi-bronnen, dienden als zaden (seeds) en referenties.
Prompting: Voor 100 teksten werden vijf prompt-varianten per model gegenereerd, wat neerkomt op 500 prompts in totaal. De prompts varieerden van minimale details (Niveau 1) tot maximale details inclusief achtergrondinformatie over Indiase klassieke muziekprincipes (Niveau 5).
Geëvalueerde Modellen: 33 LLM's (30 open-source, 3 proprietary) werden getest op begrip. De top 9 presteerders werden geselecteerd voor de evaluatie van generatie.

3. Evaluatiemetrieken

Automatische Evaluatie:
- Referentie-gebaseerd: KL-divergentie tussen de toonhoogteverdelingen van gegenereerde en referentiescores.
- Referentie-vrij: Naleving van de toonladder, ABC-syntaxis nauwkeurigheid (parse success rate), herhalingspercentage en pitch histogram entropie.
Menselijke Evaluatie: Drie annotatoren met formele muziektheoretische training evalueerden 180 samples (20 per topmodel) gegenereerd met Niveau 3 prompts. Beoordelingen werden gegeven op zes criteria: Structuur, Genre-analyse, Stijl-analyse, Emotie, Instructie-naleving en Harmonieusheid. De Inter-Annotator Agreement (IAA) werd berekend met behulp van de $\alpha$ van Krippendorff en de $\kappa$ van Cohen/Fleis.

Belangrijkste Bijdragen

Eerste Systematische Benchmark: Introductie van een 504-vragen benchmark die muziektheorie, algemene kennis en symbolische continuatie beslaat, dienend als de eerste fundamentele diagnostiek voor de competentie van LLM's in Zuid-Aziatische klassieke muziek.
Gecureerde Dataset: Handmatige curatie van 100 referentiescores in ABC-notatie voor Rabindra en Nazrul Sangeet, publiekelijk vrijgegeven voor toekomstig onderzoek.
Gecontroleerd Prompting Framework: Voorstel van een 5-niveaus prompting framework om de impact van muzikale beperkingen op symbolische generatie systematisch te analyseren.
Uitgebreide Evaluatie: Evaluatie van 33 LLM's op begrip en de top 9 op generatie, waarbij significante capaciteitskloven en de beperkingen van huidige automatische metrieken aan het licht kwamen.

Resultaten

Muziekbegrip

Prestatiekloof: Frontier-modellen presteerden aanzienlijk beter dan open-source modellen. Gemini 2.5 Pro behaalde de hoogste nauwkeurigheid over alle subtaken (90,8% Theorie, 89,4% Kennis, 85,2% Continuatie). In contrast scoorden de meeste open-source modellen in de 23–40% range.
Schaalbaarheidslimieten: Binnen modelfamilies (bijv. Qwen2.5) leverde het vergroten van het aantal parameters verminderde rendement op; de 32B, 14B en 7B varianten scoorden bijna identiek op theoretisch begrip.
Redeneren vs. Kennis: Reasoning-georiënteerde modellen (bijv. QwQ-32B-Preview) presteerden niet beter dan algemene modellen op het gebied van theoretisch begrip, wat aangeeft dat chain-of-thought redeneren een gebrek aan cultureel gewortelde muzikale kennis niet kan compenseren.
Gespecialiseerde Modellen: ChatMusician, een model dat is gefinetuned op westerse ABC-notatie, presteerde slecht (12,3% Theorie), wat bevestigt dat finetuning op westerse tradities niet overdraagbaar is naar Zuid-Aziatische stijlen.

Muziekgeneratie

Structurele vs. Stilistische Trouw: Zelfs het sterkste model (Gemini 2.5 Pro) produceerde outputs die stilistisch trouw waren (herkenbaar als Rabindra of Nazrul Sangeet) in slechts 40% van de gevallen, ondanks een score van 95% op naleving van de bredere Zuid-Aziatische genre-kenmerken.
Prompt Sensitiviteit: Niveau 2 en 3 van het prompting framework leverden concurrerende scores op. Niveau 4 en 5, ondanks het toevoegen van meer context, verbeterden de kwaliteit van de generatie niet significant, wat duidt op een plafond in de huidige modelcapaciteiten voor stilistische controle.
Beperkingen van Metrieken: Automatische metrieken vertoonden een zwakke correlatie met menselijke beoordeling. Alleen KL-divergentie vertoonde een statistisch significante correlatie met menselijke stijl-accuratesse ( $r = -0,73$ ). Metrieken zoals Scale Adherence en ABC Syntax Accuracy vertoonden een bijna nul-correlatie met de stijl-accuratesse, wat aangeeft dat syntactische correctheid geen stilistische trouw impliceert.
Menselijke Evaluatie: De meeste open-source modellen scoorden onder de 2,5/5 op ordinale criteria (Structuur, Emotie, etc.), wat aangeeft dat syntactisch parseerbare outputs niet vertalen naar perceptueel coherente of emotioneel afgestemde melodieën.

Betekenis en Claims

Het artikel claimt dat hoewel frontier LLM's een emergente begripsvorm vertonen van Zuid-Aziatische muzikale kennis, er een kritieke kloof bestaat tussen structurele generatiecompetentie en fijnmazige stilistische trouw. De auteurs stellen dat:

Culturele Verankering Ontbreekt: Huidige LLM's kunnen oppervlakkige kenmerken van Zuid-Aziatische muziek benaderen, maar missen de compositorische specificiteit die vereist is voor getrouwe stilistische controle.
Evaluatiegebreken: Bestaande automatische metrieken zijn onvoldoende voor cultureel gewortelde evaluatie. Ze opereren op het niveau van syntaxis en toonhoogteverdeling en kunnen triviaal worden voldaan, terwijl ze outputs produceren die voor menselijke experts stilistisch onherkenbaar zijn.
Open Uitdaging: Het ontwikkelen van metrieken die gevoelig zijn voor raga-specifieke versieringen en het creëren van cultureel gewortelde evaluatieframeworks die verder gaan dan syntactische correctheid, blijven openstaande problemen voor het vakgebied.

De studie concludeert dat het bereiken van getrouwe stilistische controle in minder ondersteunde muzikale tradities meer vereist dan alleen het schalen van huidige modellen; het noodzaakt nieuwe evaluatieframeworks en potentieel nieuwe benaderingen van modellering die rekening houden met de unieke structurele principes van niet-westerse muziek.