⚡ electrical engineering

CultureMERT: Continual Pre-Training for Cross-Cultural Music Representation Learning

Questo articolo introduce CultureMERT-95M, un modello di base musicale adattato multi-culturalmente e addestrato tramite una nuova strategia di pre-addestramento continuo in due fasi su diverse tradizioni non occidentali, il quale migliora significativamente le prestazioni di auto-tagging transculturale mantenendo al contempo la competenza sui benchmark occidentali e offrendo un'alternativa percorribile attraverso l'aritmetica dei task.

Autori originali: Angelos-Nikolaos Kanatas, Charilaos Papaioannou, Alexandros Potamianos

Pubblicato 2026-08-18

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Angelos-Nikolaos Kanatas, Charilaos Papaioannou, Alexandros Potamianos

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La musica è un linguaggio universale, eppure i computer che usiamo per comprenderla spesso parlano un unico dialetto. Per anni, i modelli di intelligenza artificiale più potenti progettati per ascoltare e categorizzare la musica sono stati addestrati quasi esclusivamente su stili occidentali, come il pop, il rock e le sinfonie classiche. Questi sistemi sono diventati incredibilmente bravi nel riconoscere i pattern di quelle specifiche tradizioni, ma faticano quando si trovano di fronte alla vasta e ricca diversità delle altre culture musicali del mondo. Essi perdono le sottili strutture melodiche della musica classica indiana, i cicli ritmici unici delle tradizioni turche o le scale distinte dei canti popolari greci. Questa limitazione significa che per miliardi di persone la cui eredità musicale ricade al di fuori del canone occidentale, questi strumenti digitali rimangono ciechi, incapaci di preservare, raccomandare o analizzare l'arte che definisce le loro comunità.

I ricercatori cercano da tempo un modo per insegnare a questi modelli ad ascoltare in modo più ampio senza doverli ricostruire da zero, un processo che sarebbe proibitivamente costoso e lungo. La sfida risiede nell'adattare un modello che ha già appreso un insieme di regole per comprendere un insieme di regole completamente diverso, senza che esso dimentichi ciò che già sapeva. Questo è il problema centrale affrontato da un nuovo studio che introduce un sistema chiamato CultureMERT. I ricercatori miravano a prendere un modello di base che era stato addestrato su mille ore di musica prevalentemente occidentale e guidarlo delicatamente verso la comprensione dei linguaggi musicali del Mediterraneo orientale e del subcontinente indiano, assicurandosi al contempo che non perdesse la sua capacità di riconoscere gli stili occidentali per i quali era stato originariamente costruito.

Per raggiungere questo obiettivo, il team ha impiegato una strategia nota come pre-addestramento continuo. Inveve di scartare il modello esistente e ricominciare da capo, lo hanno nutrito con una nuova dieta di dati audio attentamente bilanciata. Questo nuovo dataset includeva 650 ore di musica tratta da quattro tradizioni distinte: il makam turco, la musica classica Hindustani, la musica classica Carnatica e la musica tradizionale greca. Tuttavia, il semplice fatto di nutrire il modello con questi nuovi dati lo faceva inciampare, un fenomeno in cui le prestazioni del computer sui suoi compiti originali crollavano mentre cercava di apprendere quelli nuovi. Per risolvere questo problema, i ricercatori hanno ideato un approccio in due fasi. Nella prima fase, hanno introdotto il modello a una porzione minore della nuova musica mantenendo congelati i suoi strati interni più complessi, permettendo solo alle parti di base dell'elaborazione del suono di adattarsi. Hanno anche mescolato una piccola quantità di musica occidentale durante questa fase per ricordare al modello il suo addestramento originale. Nella seconda fase, hanno sbloccato l'intero modello e lo hanno addestrato sull'intero dataset di 650 ore, permettendogli di integrare pienamente queste nuove sfumature culturali.

I risultati sono stati sorprendenti. Quando testato su compiti che richiedevano al modello di identificare strumenti, stati d'animo o specifici modi musicali nella musica non occidentale, il modello adattato ha mostrato un miglioramento significativo, con un aumento medio di quasi il cinque per cento dell'accuratezza rispetto alla versione originale. Fondamentalmente, questo guadagno non è avvenuto a scapito delle sue conoscenze precedenti; il modello ha mantenuto la sua capacità di riconoscere la musica occidentale con quasi nessuna perdita di prestazioni. Lo studio ha anche esplorato un metodo diverso chiamato aritmetica dei task, che consiste nel combinare matematicamente la "conoscenza" di diversi modelli più piccoli, ciascuno addestrato su una singola cultura, in un unico sistema unificato. Questo approccio ha performato altrettanto bene del metodo di addestramento diretto sui compiti non occidentali e ha persino superato quest'ultimo nei benchmark occidentali, suggerendo che fondere modelli specializzati sia un'alternativa potente al riaddestrarli tutti in una volta.

I ricercatori hanno scoperto che la capacità del modello di trasferire la conoscenza tra le culture non era uniforme. Ad esempio, il modello addestrato sulla musica Carnatica dell'India meridionale ha mostrato una forte capacità di generalizzare alla musica Hindustani del Nord India e persino alle tradizioni turche, probabilmente perché questi sistemi condividono profonde radici teoriche in melodia e ritmo. Al contrario, il modello ha incontrato maggiori difficoltà nel trasferire la conoscenza alla musica tradizionale greca, la quale, pur essendo distinta, condivideva meno somiglianze strutturali con i dataset indiani e turchi nel modo specifico in cui il computer codifica il suono. Analizzando i "token" digitali che il modello usa per rappresentare il suono, il team ha scoperto che la distanza matematica tra queste tradizioni musicali prediceva quanto bene il modello le avrebbe apprese, offrendo un nuovo modo per pianificare i futuri dati di addestramento.

In definitiva, questo lavoro dimostra che l'intelligenza artificiale può essere resa più inclusiva senza sacrificare le sue capacità fondamentali. I ricercatori hanno rilasciato il loro modello adattato, CultureMert, al pubblico, fornendo uno strumento che può finalmente ascoltare la musica del mondo con un orecchio molto più ampio. Essi riconoscono che, sebbene il loro modello sia un passo avanti significativo, non è una soluzione perfetta; la tecnologia sottostante utilizzata per convertire il suono in token digitali è stata comunque addestrata sulla musica occidentale, il che potrebbe limitare quanto profondamente possa afferrare certe sottigliezze culturali. Tuttavia, mostrando che un modello può apprendere nuovi linguaggi musicali ricordando al contempo i vecchi, questo studio offre un percorso chiaro verso un futuro in cui i sistemi musicali digitali siano veramente globali, capaci di onorare l'intero spettro dell'espressione musicale umana.

Riepilogo Tecnico: CultureMERT: Continual Pre-Training per l'Apprendimento di Rappresentazioni Musicali Cross-Culturali

1. Definizione del Problema

Sebbene i recenti modelli di fondazione musicale abbiano fatto passi avanti significativi nell'apprendimento di rappresentazioni audio, la loro efficacia rimane limitata quando applicata a diverse tradizioni musicali non occidentali. I modelli esistenti, come MERT-v1, sono prevalentemente addestrati su dataset eurocentrici (es. pop, rock, classica), il che causa il fallimento nel catturare strutture melodiche, sistemi modali e pattern ritmici unici inerenti a tradizioni come quella turca, indiana e greca. Questa limitazione restringe l'applicabilità di tali modelli in sistemi di raccomandazione specifici per regione e nella preservazione del patrimonio culturale. Inoltre, addestrare nuovi modelli da zero per ogni dominio culturale è computazionalmente proibitivo. Il documento affronta la necessità di modelli inclusivi e culturalmente consapevoli che possano generalizzare oltre le tradizioni occidentali senza l'oblio catastrofico delle conoscenze pregresse.

2. Metodologia

2.1 Strategia di Continual Pre-Training (CPT)

Gli autori propongono CultureMERT-95M, un modello di fondazione adattato da MERT-v1-95M utilizzando una strategia di continual pre-training in due fasi. Questo approccio mira a stabilizzare l'addestramento e a mitigare l'oblio catastrofico durante l'adattamento a una distribuzione di dati spostata (da occidentale a multi-culturale).

Obiettivo di Pre-training: Il modello mantiene l'obiettivo di self-supervised masked language modeling (MLM) di MERT, utilizzando due modelli teacher:
1. Acoustic Teacher (EnCodec): Discretizza l'audio in token da 8 codebook di residual vector quantization (RVQ).
2. Musical Teacher: Ricostruisce spettrogrammi Constant-Q Transform (CQT) per codificare l'altezza (pitch) e la struttura armonica.
  La perdita totale è una somma pesata della perdita di predizione dei token acustici ( $L_{RVQ}$ ) e della perdita di ricostruzione CQT ( $L_{CQT}$ ).
Adattamento in due fasi:
- Fase 1 (Stabilizzazione): Per affrontare il "gap di stabilità" e prevenire cali di performance, il modello viene addestrato su un sottoinsieme più piccolo (100 ore) di dati multi-culturali. Fondamentalmente, vengono aggiornati solo l'estrattore di caratteristiche basato su CNN e gli strati di codeword embedding, mentre l'encoder Transformer rimane congelato. Per mitigare l'oblio, il 20% di questi dati è "Western replay" (dataset Music4All). Viene applicato uno schema di re-warming del tasso di apprendimento.
- Fase 2 (Adattamento Completo): L'encoder Transformer viene sbloccato e l'addestramento continua sull'intero dataset multi-culturale di 650 ore (composto da tradizioni greche, turche e indiane). Viene utilizzato uno schema di tasso di apprendimento meno aggressivo per bilanciare plasticità e stabilità.
Composizione dei Dati: Il mix di addestramento include 200 ore ciascuno per i dataset di musica makam turca, Hindustani e Carnatica, e 50 ore dal corpus Lyra (musica tradizionale greca), per un totale di 650 ore.

2.2 Task Arithmetic (TA)

Come alternativa al CPT multi-culturale, gli autori investigano la Task Arithmetic, una tecnica di fusione nello spazio dei pesi.

Meccanismo: I vettori di task ( $\tau_i$ ) sono calcolati come la differenza tra i parametri dei modelli adattati a singola cultura ( $\theta_i$ ) e il modello pre-addestrato di base ( $\theta_{pre}$ ).
Fusione: Un modello multi-culturale unificato ( $\theta_{merged}$ ) viene costruito sommando algebricamente questi vettori di task con fattori di scala ( $\lambda_i$ ):
$\theta_{merged} = \theta_{pre} + \sum_{i=1}^{N} \lambda_i \tau_i$
Questo approccio consente la creazione di un modello multi-culturale senza ulteriore addestramento, a condizione che siano disponibili i modelli adattati a singola cultura.

3. Contributi Chiave

Prima Applicazione in MIR: Questo è il primo studio che esplora il continual pre-training e la task arithmetic specificamente per l'adattamento cross-culturale nel Music Information Retrieval (MIR).
Strategia CPT Stabilizzata: La proposta di una strategia CPT in due fasi con re-warming del tasso di apprendimento e aggiornamenti dei parametri a stadi, progettata per gestire i vincoli computazionali e prevenire l'oblio catastrofico durante lo shift del dominio.
Guadagni di Performance: Lo sviluppo di CultureMERT-95M, che ottiene un miglioramento medio del 4,9% in ROC-AUC e Average Precision (AP) attraverso diverse attività di auto-tagging di musica non occidentale rispetto all'originale MERT-v1.
Validazione della Task Arithmetic: Dimostrazione che la task arithmetic performa in modo paragonabile al CPT multi-culturale sui task non occidentali e non mostra regressioni sui dataset occidentali, offrendo un'alternativa senza addestramento.
Analisi Cross-Culturale: Un'indagine sulla trasferibilità, rivelando che i modelli a singola cultura si trasferiscono con efficacia variabile, mentre il modello adattato multi-culturalmente raggiunge la migliore performance complessiva.
Rilascio Open: Rilascio pubblico di CultureMERT-95M e CultureMERT-TA-95M per promuovere la ricerca nella rappresentazione della musica del mondo.

4. Risultati Sperimentali

4.1 Setup di Valutazione

I modelli sono stati valutati sia su task di auto-tagging occidentali (MTAT, FMA-medium) che non occidentali (Makam turco, Hindustani, Carnatica, Lyra) utilizzando una valutazione basata su probing (backbone congelato + MLP superficiale) per valutare la qualità della rappresentazione.

4.2 Metriche di Performance

Adattamento Non Occidentale: CultureMERT-95M ha superato il base MERT-v1 con una media del 4,9% in ROC-AUC e AP sui task non occidentali. Ha inoltre superato i precedenti risultati SOTA su tutti i task di tagging non occidentali valutati.
Ritenzione Occidentale: Il modello multi-culturale ha mostrato un oblio minimo sui benchmark occidentali, con un calo medio di solo lo 0,05% in ROC-AUC e AP.
Task Arithmetic vs. CPT: La variante Task Arithmetic (CultureMERT-TA) ha performato comparabilmente a CultureMERT sui task non occidentali e ha persino superato sia il modello base che i modelli CPT multi-culturali sui benchmark occidentali e sul dataset Lyra.
Trasferimento a Singola Cultura: I modelli adattati a singola cultura (es. MakamMERT) hanno performato meglio sui rispettivi task in-domain. Tuttavia, anche le adattamenti a basse risorse (es. LyraMERT addestrato su 50 ore) hanno prodotto guadagni tangibili su altri task non occidentali, indicando un positivo trasferimento cross-culturale.

4.3 Trasferibilità Cross-Culturale e Similarità dei Token

Asimmetria di Trasferimento: Lo studio ha osservato un forte trasferimento tra la musica makam turca e la musica Carnatica, probabilmente a causa di condivisi framework modali e microtonalità. Il modello adattato alla musica Carnatica ha mostrato la più alta trasferibilità verso altri domini.
Similarità dei Token: L'analisi tramite divergenza di Jensen-Shannon e distanza coseno sui token EnCodec ha rivelato che le tradizioni non occidentali condividono una significativa similarità a livello di token, distinta dai dataset occidentali. La musica tradizionale greca (Lyra) si allineava più strettamente alle tradizioni non occidentali che a quelle occidentali. Queste metriche correla con la performance di trasferimento, suggerendo che la similarità dei token possa predire la trasferibilità cross-culturale.

5. Significato e Rivendicazioni

Il documento afferma che CultureMERT-95M colma con successo il divario nei modelli di fondazione musicale, consentendo un adattamento efficace a culture musicali sottorappresentate senza sacrificare le performance sui benchmark occidentali. Gli autori sottolineano che:

La Consapevolezza Culturale è Fattibile: È possibile sviluppare modelli che generalizzano oltre le tradizioni eurocentriche utilizzando strategie di continual pre-training efficienti.
Efficienza: La strategia CPT in due fasi bilancia efficacementamente il dilemma stabilità-plasticità sotto vincoli di risorse computazionali (utilizzando una singola GPU con batch size limitati).
Percorsi Alternativi: La task arithmetic offre un'alternativa valida e senza addestramento per creare modelli multi-culturali, a condizione che esistano adattamenti a singola cultura.
Disponibilità di Risorse: Rilasciando i modelli e il codice, gli autori mirano a supportare ulteriore ricerca nella rappresentazione dell'apprendimento della musica del mondo e nello sviluppo di sistemi MIR più inclusivi.

Gli autori notano modestamente alcune limitazioni, tra cui il potenziale subottimalità del tokenizer EnCodec congelato (pre-addestrato su musica occidentale) per diverse lingue musicali e la necessità di lavori futuri per scalare verso ulteriori culture ed esplorare studi di ablazione più granulari.