⚡ electrical engineering

CultureMERT: Continual Pre-Training for Cross-Cultural Music Representation Learning

Dit artikel introduceert CultureMERT-95M, een multicultureel aangepast muziekfundamentmodel dat via een nieuwe twee-fasen continue pre-training strategie op diverse niet-Westerse tradities is getraind, wat de cross-culturele auto-tagging prestaties aanzienlijk verbetert terwijl het bekwaamheid op Westerse benchmarks behoudt en een levensvatbaar alternatief biedt via task arithmetic.

Oorspronkelijke auteurs: Angelos-Nikolaos Kanatas, Charilaos Papaioannou, Alexandros Potamianos

Gepubliceerd 2026-08-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Angelos-Nikolaos Kanatas, Charilaos Papaioannou, Alexandros Potamianos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Muziek is een universele taal, maar de computers die we gebruiken om het te begrijpen, spreken vaak slechts één dialect. Jarenlang zijn de krachtigste kunstmatige intelligentiemodellen die ontworpen zijn om naar muziek te luisteren en deze te categoriseren, bijna uitsluitend getraind op westerse stijlen, zoals pop, rock en klassieke symfonieën. Deze systemen zijn ongelooflijk goed geworden in het herkennen van de patronen van die specifieke tradities, maar ze worstelen wanneer ze geconfronteerd worden met de enorme, rijke diversiteit van de andere muzikale culturen ter wereld. Ze missen de subtiele melodische structuren van de Indiase klassieke muziek, de unieke ritmische cycli van Turkse tradities of de afwijkende toonladders van Griekse volksmuziek. Deze beperking betekent dat voor miljarden mensen wier muzikale erfgoed buiten de westerse canon valt, deze digitale hulpmiddelen blind blijven, niet in staat om de kunst te bewaren, aan te bevelen of te analyseren die hun gemeenschappen definieert.

Onderzoekers zoeken al lang naar een manier om deze modellen te leren breder te luisteren zonder ze vanaf de grond af aan opnieuw te hoeven bouwen, een proces dat buitensporig duur en tijdrovend zou zijn. De uitdaging ligt in het aanpassen van een model dat al een specifieke set regels heeft geleerd om een totaal andere set regels te begrijpen, zonder dat het vergeet wat het al wist. Dit is het centrale probleem dat wordt aangepakt door een nieuwe studie die een systeem genaamd CultureMERT introduceert. De onderzoekers wilden een basismodel dat was getraind op duizend uur overwegend westerse muziek, voorzichtig begeleiden om de muzikale talen van de Oostelijke Middellandse Zee en het Indiase subcontinent te begrijpen, terwijl ze ervoor zorgden dat het zijn vermogen om de oorspronkelijke westerse stijlen te herkennen, niet verloor.

Om dit te bereiken, gebruikten het team een strategie die bekend staat als continue pre-training. In plaats van het bestaande model weg te gooien en opnieuw te beginnen, gaven ze het een nieuw, zorgvuldig uitgebalanceerd dieet van audio-data. Deze nieuwe dataset bevatte 650 uur aan muziek afkomstig uit vier verschillende tradities: de Turkse makam, Hindustani klassiek, Carnatic klassiek en Griekse traditionele muziek. Het simpelweg voeren van deze nieuwe data aan het model zorgde er echter voor dat het struikelde, een fenomeen waarbij de prestaties van de computer op zijn oorspronkelijke taken instorten terwijl hij probeert de nieuwe te leren. Om dit op te lossen, bedachten de onderzoekers een tweestapsbenadering. In de eerste fase introduceerden ze het model aan een kleiner deel van de nieuwe muziek, terwijl ze de meest complexe interne lagen van het model bevroren, waardoor alleen de basale geluidverwerkingsdelen konden worden aangepast. Ze mengden ook een kleine hoeveelheid westerse muziek tijdens deze fase om het model aan zijn oorspronkelijke training te herinneren. In de tweede fase ontsloten ze het volledige model en trainden ze het op de volledige dataset van 650 uur, waardoor het de nieuwe culturele nuances volledig kon integreren.

De resultaten waren opmerkelijk. Wanneer het aangepaste model werd getest op taken die vereisten dat het instrumenten, stemmingen of specifieke muzikale modi in niet-westerse muziek identificeerde, vertoonde het een significante verbetering, met een gemiddelde stijging in nauwkeurigheid van bijna vijf procent vergeleken met de originele versie. Cruciaal was dat deze winst niet ten koste ging van de eerdere kennis; het model behield zijn vermogen om westerse muziek te herkennen met vrijwel geen verlies in prestaties. De studie verkende ook een andere methode genaamd taakarithmetica, wat inhoudt dat de "kennis" van verschillende kleinere modellen, die elk getraind zijn op een enkele cultuur, wiskundig wordt gecombineerd in één verenigd systeem. Deze benadering presteerde net zo goed als de directe trainingsmethode op niet-westerse taken en presteerde zelfs beter dan die methode op westerse benchmarks, wat suggereert dat het samenvoegen van gespecialiseerde modellen een krachtig alternatief is voor het allemaal opnieuw trainen van modellen.

De onderzoekers ontdekten dat het vermogen van het model om kennis tussen culturen over te dragen niet uniform was. Zo toonde het op Carnatic muziek uit Zuid-India getrainde model een sterk vermogen om te generaliseren naar Hindustani muziek uit Noord-India en zelfs naar Turkse tradities, waarschijnlijk omdat deze systemen diepe theoretische wortels delen in melodie en ritme. In contrast hiermee had het model meer moeite met het overdragen van kennis naar Griekse traditionele muziek, die weliswaar onderscheidend is, maar minder structurele overeenkomsten deelde met de Indiase en Turkse datasets in de specifieke manier waarop de computer geluid codeert. Door de digitale "tokens" te analyseren die het model gebruikt om geluid te representeren, ontdekte het team dat de wiskundige afstand tussen deze muzikale tradities voorspelde hoe goed het model ze zou leren, wat een nieuwe manier biedt om toekomstige trainingsdata te plannen.

Uiteindelijk toont dit werk aan dat kunstmatige intelligentie inclusiever kan worden gemaakt zonder de kernmogelijkheden op te offeren. De onderzoekers hebben hun aangepaste model, CultureMERT, publiekelijk beschikbaar gesteld, waarmee ze een hulpmiddel bieden dat eindelijk met een veel breder oor naar de muziek van de wereld kan luisteren. Ze erkennen dat hun model een belangrijke stap voorwaarts is, maar geen perfecte oplossing; de onderliggende technologie die wordt gebruikt om geluid in digitale tokens om te zetten, is nog steeds getraind op westerse muziek, wat kan beperken hoe diep het bepaalde culturele subtiliteiten kan vatten. Desalniettemin, door aan te tonen dat een model nieuwe muzikale talen kan leren terwijl het de oude onthoudt, biedt deze studie een duidelijk pad naar een toekomst waarin digitale muzieksystemen werkelijk globaal zijn en in staat zijn de volledige breedte van de menselijke muzikale expressie te eren.

Technische Samenvatting: CultureMERT: Continual Pre-Training voor Cross-Culturele Muzikale Representatieleer

1. Probleemstelling

Hoewel recente fundamentele muziekmodellen de leerprocessen voor audio-representaties aanzienlijk hebben geavanceerd, blijft hun effectiviteit beperkt wanneer ze worden toegepast op diverse, niet-Westerse muziektradities. Bestaande modellen, zoals MERT-v1, zijn voornamelijk getraind op Westerse-gecentreerde datasets (bijv. pop, rock, klassiek), waardoor ze er niet in slagen de unieke melodische structuren, modale systemen en ritmische patronen te vangen die inherent zijn aan tradities zoals de Turkse, Indiase en Griekse muziek. Deze beperking belemmert de toepasbaarheid van deze modellen in regio-specifieke aanbevelingssystemen en het behoud van cultureel erfgoed. Bov�ens is het trainen van nieuwe modellen vanaf nul voor elke culturele domein computationeel onhaalbaar. Het artikel adresseert de behoefte aan inclusieve, cultureel bewuste modellen die kunnen generaliseren buiten Westerse tradities zonder het verlies van eerder verworven kennis (catastrophic forgetting).

2. Methodologie

2.1 Continual Pre-Training (CPT) Strategie

De auteurs stellen CultureMERT-95M voor, een fundamenteel model aangepast van MERT-v1-95M met behulp van een tweestaps continual pre-training strategie. Deze aanpak beoogt de training te stabiliseren en 'catastrophic forgetting' te mitigeren bij het aanpassen aan een verschoven datadistributie (van Westers naar multicultureel).

Pre-training Doelstelling: Het model behoudt de zelfgesuperviseerde masked language modeling (MLM) doelstelling van MERT, waarbij gebruik wordt gemaakt van twee teacher-modellen:
1. Acoustic Teacher (EnCodec): Discretiseert audio in tokens van 8 residual vector quantization (RVQ) codebooks.
2. Musical Teacher: Reconstrueert Constant-Q Transform (CQT) spectrogrammen om toonhoogte en harmonische structuur te coderen.
  De totale loss is een gewogen som van de acoustic token prediction loss ( $L_{RVQ}$ ) en de CQT reconstructie loss ( $L_{CQT}$ ).
Tweestaps Adaptatie:
- Fase 1 (Stabilisatie): Om de "stabiliteitskloof" aan te pakken en prestatiedalingen te voorkomen, wordt het model getraind op een kleinere subset (100 uur) van multiculturele data. Cruciaal is dat alleen de CNN-gebaseerde feature extractor en de codeword embedding lagen worden bijgewerkt, terwijl de Transformer encoder bevroren blijft. Om vergeten te voorkomen, bestaat 20% van deze data uit "Westerse replay" (Music4All dataset). Een learning rate re-warming schema wordt toegepast.
- Fase 2 (Volledige Adaptatie): De Transformer encoder wordt ontdoord (unfrozen) en de training wordt voortgezet op de volledige 650-urige multiculturele dataset (bestaande uit Griekse, Turkse en Indiase tradities). Er wordt een minder agressief learning rate schema gebruikt om de balans tussen plasticiteit en stabiliteit te bewaren.
Datasamenstelling: De trainingsmix bevat elk 200 uur aan Turkse-makam, Hindustani en Carnatic datasets, en 50 uur van de Lyra corpus (Griekse traditionele muziek), wat in totaal 650 uur is.

2.2 Task Arithmetic (TA)

Als alternatief voor multiculturele CPT onderzoeken de auteurs Task Arithmetic, een techniek voor het samenvoegen van gewichten in de parameterruimte.

Mechanisme: Task vectoren ( $\tau_i$ ) worden berekend als het verschil tussen de parameters van single-culture aangepaste modellen ( $\theta_i$ ) en het basis pre-trained model ( $\theta_{pre}$ ).
Samenvoeging: Een verenigd multicultureel model ( $\theta_{merged}$ ) wordt geconstrueerd door de task vectoren algebraïsch op te tellen met schaleringsfactoren ( $\lambda_i$ ):
$\theta_{merged} = \theta_{pre} + \sum_{i=1}^{N} \lambda_i \tau_i$
Deze aanpak maakt het mogelijk om een multicultureel model te creëren zonder extra training, mits single-culture aangepaste modellen beschikbaar zijn.

3. Belangrijkste Bijdragen

Eerste Toepassing in MIR: Dit is de eerste studie die specifiek de exploratie van continual pre-training en task arithmetic onderzoekt voor cross-culturele adaptatie in Music Information Retrieval (MIR).
Gestabiliseerde CPT Strategie: De voorstel van een tweestaps CPT-strategie met learning rate re-warming en gefaseerde parameterupdates, ontworpen om computationele beperkingen te beheersen en 'catastrophic forgetting' tijdens domeinverschuiving te voorkomen.
Prestatiewinsten: De ontwikkeling van CultureMERT-95M, die een gemiddelde verbetering van 4,9% bereikt in ROC-AUC en Average Precision (AP) over diverse niet-Westerse muziek auto-tagging taken vergeleken met de originele MERT-v1.
Validatie van Task Arithmetic: De demonstratie dat task arithmetic qua prestaties gelijkwaardig is aan multiculturele CPT op niet-Westerse taken en geen regressie vertoont op Westerse datasets, wat een training-vrije alternatieve route biedt.
Cross-Culturele Analyse: Een onderzoek naar overdraagbaarheid, waarbij wordt vastgesteld dat single-culture modellen met variërende effectiviteit worden overgedragen, terwijl het multicultureel aangepaste model de beste algehele prestaties behaalt.
Open Release: De publieke release van CultureMERT-95M en CultureMERT-TA-95M om onderzoek in wereldmuziek-representatieleer te stimuleren.

4. Experimentele Resultaten

4.1 Evaluatieopstelling

Modellen werden geëvalueerd op zowel Westerse (MTAT, FMA-medium) als niet-Westerse (Turkse-makam, Hindustani, Carnatic, Lyra) auto-tagging taken met behulp van een probing-gebaseerde evaluatie (bevroren backbone + ondiepe MLP) om de kwaliteit van de representatie te beoordelen.

4.2 Prestatie-indicatoren

Niet-Westerse Adaptatie: CultureMERT-95M presteerde gemiddeld 4,9% beter dan de basis MERT-v1 op ROC-AUC en AP voor niet-Westerse taken. Het overtrof ook de vorige state-of-the-art (SOTA) resultaten op alle geëvalueerde niet-Wense auto-tagging taken.
Westerse Retentie: Het multiculturele model vertoonde minimale vergetelheid op Westerse benchmarks, met een gemiddelde daling van slechts 0,05% in ROC-AUC en AP.
Task Arithmetic vs. CPT: De Task Arithmetic variant (CultureMERT-TA) presteerde vergelijkbaar met CultureMERT op niet-Westerse taken en overtrof zelfs zowel het basismodel als de multiculturele CPT-modellen op Westerse benchmarks en de Lyra-dataset.
Single-Culture Transfer: Single-culture aangepaste modellen (bijv. MakamMERT) presteerden het best op hun respectieve in-domain taken. Echter, zelfs low-resource adaptaties (bijv. LyraMERT getraind op 50 uur) leverden merkbare winsten op andere niet-Westerse taken op, wat wijst op positieve cross-culturele transfer.

4.3 Cross-Culturele Overdraagbaarheid & Token Gelijkenis

Transfer Asymmetrie: De studie observeerde een sterke transfer tussen Turkse-makam en Carnatic muziek, waarschijnlijk door gedeelde modale kaders en microtonaliteit. Het Carnatic-geadapteerde model vertoonde de hoogste overdraagbaarheid naar andere domeinen.
Token Gelijkenis: Analyse met behulp van Jensen-Shannon divergentie en cosinus afstand op EnCodec tokens onthulde dat niet-Westerse tradities een significante token-niveau gelijkenis delen, die afwijkt van Westerse datasets. Griekse traditionele muziek (Lyra) sloot meer aan bij niet-Westerse tradities dan bij Westerse. Deze metrieken correleerden met de transfer-prestaties, wat suggereert dat token-gelijkenis cross-culturele overdraagbaarheid kan voorspellen.

5. Betekenis en Claims

Het artikel claimt dat CultureMERT-95M succesvol de kloof in muziekfundamentele modellen overbrugt door effectieve adaptatie aan ondervertegenwoordigde muzikale culturen mogelijk te maken zonder prestatieverlies op Westerse benchmarks. De auteurs benadrukken dat:

Cultureel Bewustzijn Haalbaar is: Het is mogelijk om modellen te ontwikkelen die verder gaan dan Westerse-gecentreerde tradities met behulp van efficiënte continual pre-training strategieën.
Efficiëntie: De tweestaps CPT-strategie balanceert effectief de stabiliteit-plasticiteit dilemma onder beperkte computationele middelen (gebruikmakend van een enkele GPU met beperkte batch groottes).
Alternatieve Routes: Task arithmetic biedt een levensvatbaar, training-vrij alternatief voor het creëren van multiculturele modellen, mits single-culture adaptaties bestaan.
Beschikbaarheid van Middelen: Door de modellen en code vrij te geven, beogen de auteurs onderzoek in wereldmuziek-representatieleer en de ontwikkeling van meer inclusieve MIR-systemen te ondersteunen.

De auteurs merken bescheiden op dat er beperkingen zijn, waaronder de potentiële suboptimaliteit van de bevroren EnCodec tokenizer (voorgetraind op Westerse muziek) voor diverse muzikale talen, en de noodzaak voor toekomstig werk om op te schalen naar extra culturen en fijnmazige ablatie-studies te verkennen.