⚡ electrical engineering

CultureMERT: Continual Pre-Training for Cross-Cultural Music Representation Learning

Cet article introduit CultureMERT-95M, un modèle de fondation musicale adapté multi-culturellement, entraîné via une nouvelle stratégie de pré-entraînement continu en deux étapes sur diverses traditions non occidentales, ce qui améliore considérablement les performances de l'auto-étiquetage interculturel tout en maintenant la maîtrise des références occidentales et en offrant une alternative viable par l'arithmétique des tâches.

Auteurs originaux : Angelos-Nikolaos Kanatas, Charilaos Papaioannou, Alexandros Potamianos

Publié 2026-08-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Angelos-Nikolaos Kanatas, Charilaos Papaioannou, Alexandros Potamianos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La musique est un langage universel, pourtant les ordinateurs que nous utilisons pour la comprendre ne parlent souvent qu'un seul dialecte. Depuis des années, les modèles d'intelligence artificielle les plus puissants conçus pour écouter et catégoriser la musique ont été entraînés presque exclusivement sur des styles occidentaux, tels que la pop, le rock et les symphonies classiques. Ces systèmes sont devenus incroyablement doués pour reconnaître les motifs de ces traditions spécifiques, mais ils peinent face à la vaste et riche diversité des autres cultures musicales du monde. Ils passent à côté des structures mélodiques subtiles de la musique classique indienne, des cycles rythmiques uniques des traditions turques ou des gammes distinctes des chansons folkloriques grecques. Cette limitation signifie que pour des milliards de personnes dont l'héritage musical sort du canon occidental, ces outils numériques restent aveugles, incapables de préserver, de recommander ou d'analyser l'art qui définit leurs communautés.

Les chercheurs cherchent depuis longtemps un moyen d'apprendre à ces modèles à écouter plus largement sans avoir à les reconstruire de toutes pièces, un processus qui serait prohibitif en termes de coût et de temps. Le défi consiste à adapter un modèle qui a déjà appris un ensemble de règles pour qu'il comprenne un ensemble de règles complètement différent sans qu'il n'oublie ce qu'il savait déjà. C'est le problème central abordé par une nouvelle étude présentant un système appelé CultureMERT. Les chercheurs visaient à prendre un modèle de base qui avait été entraîné sur mille heures de musique principalement occidentale et à le guider avec douceur pour qu'il comprenne les langages musicaux de la Méditerranée orientale et du sous-continent indien, tout en veillant à ce qu'il ne perde pas sa capacité à reconnaître les styles occidentaux pour lesquels il a été initialement conçu.

Pour y parvenir, l'équipe a employé une stratégie connue sous le nom de pré-entraînement continu. Au lieu de rejeter le modèle existant et de repartir de zéro, ils lui ont administré un nouveau régime de données audio soigneusement équilibré. Ce nouveau jeu de données comprenait 650 heures de musique issues de quatre traditions distinctes : le makam turc, la musique classique hindoustanie, la musique classique carnatique et la musique traditionnelle grecque. Cependant, le simple fait de nourrir le modèle avec ces nouvelles données l'a fait trébucher, un phénomène où les performances de l'ordinateur sur ses tâches originales s'effondrent alors qu'il tente d'apprendre les nouvelles. Pour résoudre cela, les chercheurs ont conçu une approche en deux étapes. Dans la première étape, ils ont introduit le modèle à une plus petite portion de la nouvelle musique tout en gardant ses couches internes les plus complexes gelées, permettant uniquement aux parties de base du traitement du son de s'ajuster. Ils ont également mélangé une petite quantité de musique occidentale durant cette phase pour rappeler au modèle son entraînement d'origine. Dans la seconde étape, ils ont débloqué l'intégralité du modèle et l'ont entraîné sur l'ensemble du jeu de données de 650 heures, permettant ainsi au modèle d'intégrer pleinement ces nuances culturelles.

Les résultats furent frappants. Lorsqu'ils ont été testés sur des tâches exigeant que le modèle identifie des instruments, des ambiances ou des modes musicaux spécifiques dans la musique non occidentale, le modèle adapté a montré une amélioration significative, affichant une augmentation de précision moyenne de près de cinq pour cent par rapport à la version originale. Crucialement, ce gain ne s'est pas fait au détriment de ses connaissances antérieures ; le modèle a conservé sa capacité à reconnaître la musique occidentale avec presque aucune perte de performance. L'étude a également exploré une méthode différente appelée l'arithmétique des tâches, qui consiste à combiner mathématiquement la « connaissance » de plusieurs modèles plus petits, chacun entraîné sur une seule culture, en un système unifié. Cette approche a obtenu des résultats tout aussi bons que la méthode d'entraînement direct sur les tâches non occidentales et a même surpassé cette dernière sur les tests de référence occidentaux, suggérant que la fusion de modèles spécialisés est une alternative puissante au réentraînement de tous les modèles à la fois.

Les chercheurs ont découvert que la capacité du modèle à transférer des connaissances entre les cultures n'était pas uniforme. Par exemple, le modèle entraîné sur la musique carnatique du sud de l'Inde a montré une forte capacité à se généraliser à la musique hindoustanie du nord de l'Inde et même aux traditions turques, probablement parce que ces systèmes partagent des racines théoriques profondes en matière de mélodie et de rythme. En revanche, le modèle a davantage éprouvé de difficultés à transférer ses connaissances vers la musique traditionnelle grecque qui, bien que distincte, partageait moins de similitudes structurelles avec les ensembles de données indien et turc dans la manière spécifique dont l'ordinateur encode le son. En analysant les « jetons » numériques que le modèle utilise pour représenter le son, l'équipe a découvert que la distance mathématique entre ces traditions musicales prédisait la facilité avec laquelle le modèle les apprendrait, offrant ainsi une nouvelle façon de planifier les futurs entraînements de données.

En fin de compte, ce travail démontre que l'intelligence artificielle peut être rendue plus inclusive sans sacrifier ses capacités fondamentales. Les chercheurs ont rendu leur modèle adapté, CultureMERT, public, fournissant un outil qui peut enfin écouter la musique du monde avec une oreille beaucoup plus large. Ils reconnaissent que leur modèle est une étape importante, mais qu'il ne constitue pas une solution parfaite ; la technologie sous-jacente utilisée pour convertir le son en jetons numériques a elle-même été entraînée sur la musique occidentale, ce qui peut limiter la profondeur avec laquelle elle peut saisir certaines subtilités culturelles. Néanmoins, en montant qu'un modèle peut apprendre de nouveaux langages musicaux tout en se souvenant des anciens, cette étude offre une voie claire vers un avenir où les systèmes de musique numériques seront véritablement mondiaux, capables d'honorer tout le spectre de l'expression musicale humaine.

Résumé Technique : CultureMERT : Pré-entraînement Continu pour l'Apprentissage de Représentations Musicales Transculturelles

1. Énoncé du Problème

Bien que les récents modèles de fondation musicale aient considérablement fait progresser l'apprentissage de représentations audio, leur efficacité reste limitée lorsqu'ils sont appliqués à des traditions musicales diverses et non occidentales. Les modèles existants, tels que MERT-v1, sont principalement entraînés sur des ensembles de données eurocentrés (ex. : pop, rock, classique), ce qui les empêche de capturer les structures mélodiques, les systèmes modaux et les motifs rythmiques uniques propres à des traditions comme la musique turque, indienne et grecque. Cette limitation restreint l'applicabilité de ces modèles dans les systèmes de recommandation régionaux et la préservation du patrimoine culturel. De plus, l'entraînement de nouveaux modèles à partir de zéro pour chaque domaine culturel est trop coûteux en termes de calcul. Le document traite de la nécessité de modèles inclusifs et culturellement conscients, capables de généraliser au-delà des traditions occidentales sans oublier de manière catastrophique les connaissances antérieures.

2. Méthodologie

2.1 Stratégie de Pré-entraînement Continu (CPT)

Les auteurs proposent CultureMERT-95M, un modèle de fondation adapté de MERT-v1-95M en utilisant une stratégie de pré-entraînement continu en deux étapes. Cette approche vise à stabiliser l'entraînement et à atténuer l'oubli catastrophique lors de l'adaptation à une distribution de données modifiée (de l'occidental vers le multiculturel).

Objectif de pré-entraînement : Le modèle conserve l'objectif de modélisation de langage masqué (MLM) auto-supervisé de MERT, en utilisant deux modèles enseignants :
1. Enseignant Acoustique (EnCodec) : Discrétise l'audio en jetons (tokens) à partir de 8 dictionnaires de quantification vectorielle résiduelle (RVQ).
2. Enseignant Musical : Reconstruit des spectrogrammes de Transformée en Q Constante (CQT) pour encoder la hauteur et la structure harmonique.
  La perte totale est une somme pondérée de la perte de prédiction des jetons acoustiques ( $L_{RVQ}$ ) et de la perte de reconstruction CQT ( $L_{CQT}$ ).
Adaptation en deux étapes :
- Étape 1 (Stabilisation) : Pour remédier à l'« écart de stabilité » et éviter les chutes de performance, le modèle est entraîné sur un sous-ensemble plus petit (100 heures) de données multiculturelles. Crucialement, seuls l'extracteur de caractéristiques basé sur les CNN et les couches d'incorporation de mots-clés (codeword embedding) sont mis à jour, tandis que l'encodeur Transformer reste gelé. Pour atténuer l'oubli, 20 % de ces données sont des « rejeux occidentaux » (jeu de données Music4All). Un calendrier de réchauffement du taux d'apprentissage (learning rate re-warming) est appliqué.
- Étape 2 (Adaptation Complète) : L'encodeur Transformer est dégelé, et l'entraînement se poursuit sur l'ensemble du jeu de données multiculturel de 650 heures (comprenant les traditions grecque, turque et indienne). Un calendrier de taux d'apprentissage moins agressif est utilisé pour équilibrer plasticité et stabilité.
Composition des Données : Le mélange d'entraînement comprend 200 heures chacune des données turques-makam, hindoustanie et carnatique, ainsi que 50 heures du corpus Lyra (musique traditionnelle grecque), soit un total de 650 heures.

2.2 Arithmétique des Tâches (TA)

Comme alternative au CPT multiculturel, les auteurs étudient l'Arithmétique des Tâches, une technique de fusion dans l'espace des poids.

Mécanisme : Les vecteurs de tâche ( $\tau_i$ ) sont calculés comme la différence entre les paramètres des modèles adaptés à une culture unique ( $\theta_i$ ) et le modèle pré-entraîné de base ( $\theta_{pre}$ ).
Fusion : Un modèle multiculturel unifié ( $\theta_{merged}$ ) est construit en sommant algébriquement ces vecteurs de tâche avec des facteurs d'échelle ( $\lambda_i$ ) :
$\theta_{merged} = \theta_{pre} + \sum_{i=1}^{N} \lambda_i \tau_i$
Cette approche permet de créer un modèle multiculturel sans entraînement supplémentaire, à condition que des modèles adaptés à une culture unique soient disponibles.

3. Contributions Clés

Première application en MIR : Il s'agit de la première étude explorant le pré-entraînement continu et l'arithmétique des tâches spécifiquement pour l'adaptation transculturelle dans la recherche d'information musicale (MIR).
Stratégie de CPT Stabilisée : La proposition d'une stratégie de CPT en deux étapes avec réchauffement du taux d'apprentissage et mises à jour échelonnées des paramètres, conçue pour gérer les contraintes de calcul et prévenir l'oubli catastrophique lors du changement de domaine.
Gains de Performance : Le développement de CultureMERT-95M, qui atteint une amélioration moyenne de 4,9 % de l'AUC-ROC et de la Précision Moyenne (AP) sur diverses tâches de marquage automatique (auto-tagging) de musique non occidentale par rapport à l'original MERT-v1.
Validation de l'Arithmétique des Tâches : Démonstration que l'arithmétique des tâches est au même niveau que le CPT multiculturel sur les tâches non occidentales et ne montre aucune régression sur les ensembles de données occidentaux, offrant une alternative sans entraînement.
Analyse Transculturelle : Une enquête sur la transférabilité, révélant que les modèles adaptés à une culture unique transfèrent avec des efficacités variables, tandis que le modèle adapté de manière multiculturelle obtient la meilleure performance globale.
Publication Ouverte : Publication de CultureMERT-95M et CultureMERT-TA-95M pour favoriser la recherche sur la représentation de la musique du monde.

4. Résultats Expérimentaux

4.1 Configuration de l'Évaluation

Les modèles ont été évalués sur des tâches de marquage automatique tant occidentales (MTAT, FMA-medium) que non occidentales (turque-makam, hindoustanie, carnatique, Lyra) en utilisant une évaluation par sondage (backbone gelé + MLP peu profond) pour évaluer la qualité de la représentation.

4.2 Métriques de Performance

Adaptation Non Occidentale : CultureMERT-95M a surpassé le MERT-v1 de base d'une moyenne de 4,9 % en AUC-ROC et AP sur les tâches non occidentales. Il a également dépassé les résultats de l'état de l'art (SOTA) précédents sur toutes les tâches de marquage non occidentales évaluées.
Rétention Occidentale : Le modèle multiculturel a montré un oubli minimal sur les benchmarks occidentaux, avec une chute moyenne de seulement 0,05 % de l'AUC-ROC et de l'AP.
Arithmétique des Tâches vs CPT : La variante d'Arithmétique des Tâches (CultureMERT-TA) a performé de manière comparable à CultureMERT sur les tâches non occidentales et a même surpassé les modèles de base et de CPT multiculturel sur les benchmarks occidentaux et le jeu de données Lyra.
Transfert de Culture Unique : Les modèles adaptés à une culture unique (ex. : MakamMERT) ont performé au mieux sur leurs tâches respectives in-domain. Cependant, même les adaptations à faibles ressources (ex. : LyraMERT entraîné sur 50 heures) ont produit des gains notables sur d'autres tâches non occidentales, indiquant un transfert transculturel positif.

4.3 Transférabilité Transculturelle et Similitude de Jetons

Asymétrie de Transfert : L'étude a observé un fort transfert entre la musique turque-makam et la musique carnatique, probablement dû à des cadres modaux et une microtonalité partagés. Le modèle adapté à la musique carnatique a montré la plus haute transférabilité vers les autres domaines.
Similitude de Jetons : L'analyse via la divergence de Jensen-Shannon et la distance cosinus sur les jetons EnCodec a révélé que les traditions non occidentales partagent une similitude significative au niveau des jetons, distincte des jeux de données occidentaux. La musique traditionnelle grecque (Lyra) s'alignait plus étroitement avec les traditions non occidentales qu'avec les occidentales. Ces métriques étaient corrélées avec la performance de transfert, suggérant que la similitude des jetons peut prédire la transférabilité transculturelle.

5. Signification et Revendications

Le document affirme que CultureMERT-95M comble avec succès l'écart dans les modèles de fondation musicale en permettant une adaptation efficace aux cultures musicales sous-représentées sans sacrifier les performances sur les benchmarks occidentaux. Les auteurs soulignent que :

La Conscience Culturelle est Réalisable : Il est possible de développer des modèles qui généralisent au-delà des traditions eurocentrées en utilisant des stratégies de pré-entraînement continu efficaces.
Efficacité : La stratégie de CPT en deux étapes équilibre efficacement le dilemme stabilité-plasticité sous des ressources de calcul contraintes (en utilisant un seul GPU avec des tailles de lots limitées).
Voies Alternatives : L'arithmétique des tâches offre une alternative viable et sans entraînement pour créer des modèles multiculturels, à condition que des adaptations par culture unique existent.
Disponibilité des Ressources : En publiant les modèles et le code, les auteurs visent à soutenir la recherche ultérieure sur l'apprentissage de représentations de la musique du monde et le développement de systèmes de MIR plus inclusifs.

Les auteurs notent modestement des limites, incluant le potentiel sous-optimal du tokenizer EnCodec gelé (pré-entraîné sur la musique occidentale) pour des langages musicaux divers, ainsi que la nécessité de travaux futurs pour passer à l'échelle avec d'autres cultures et explorer des études d'ablation plus fines.