Multi-Stage Music Source Restoration with BandSplit-RoFormer Separation and HiFi++ GAN

Ce rapport technique présente le système de l'équipe CP-JKU pour le défi MSR ICASSP 2025, qui restaure les sources musicales en combinant une séparation multi-étapes par BandSplit-RoFormer et une restauration de forme d'onde par un GAN HiFi++ spécialisé.

L'essentiel

Imaginez que vous avez un vieux disque vinyle rayé, ou un enregistrement de concert où la voix du chanteur se mélange au bruit de la foule et aux guitares. Votre objectif ? Isoler chaque instrument pour l'entendre parfaitement, comme s'il jouait seul dans une pièce insonorisée, sans aucun effet de studio ni bruit de fond. C'est ce qu'on appelle la restauration de sources musicales.

Le papier que vous avez partagé décrit la méthode ingénieuse utilisée par l'équipe de l'Université Johannes Kepler (Autriche) pour relever ce défi difficile. Voici comment ils ont fait, expliqué simplement avec des images du quotidien.

1. Le Problème : Un Smoothie Trop Complexe

Dans la musique moderne, les sons ne sont pas simplement mélangés comme de l'eau et du jus de fruit. Ils sont transformés, compressés, saturés et "lissés" par des studios de production. C'est comme si on prenait un smoothie, qu'on le chauffait, qu'on y ajoutait du sel, qu'on le pressait dans un sac en plastique, et qu'on vous demandait ensuite de retrouver le goût exact de la fraise, de la banane et du lait séparément.

Les méthodes classiques échouent souvent ici car elles supposent que les sons sont mélangés "proprement". L'équipe autrichienne a donc décidé de ne pas essayer de tout faire d'un coup. Ils ont divisé le problème en deux étapes distinctes.

2. La Solution : Une Usine à Deux Étages

Étape 1 : Le Grand Tri (La Séparation)

Imaginez un chef cuisinier très rapide, mais un peu étourdi, qui doit trier les ingrédients d'un grand plat mélangé.

• L'outil : Ils utilisent un modèle appelé BandSplit-RoFormer. C'est comme un tamis très intelligent qui regarde la musique par "bandes de fréquences" (les graves, les aigus, etc.) pour séparer les instruments.
• L'astuce pédagogique (Le Curriculum) : Au lieu de demander au chef de trier 8 ingrédients différents dès le début (ce qui serait trop dur), ils l'ont formé progressivement :
  1. D'abord, il a appris à trier seulement 4 ingrédients de base (voix, batterie, basse, autres) sur des mélanges propres.
  2. Ensuite, on lui a donné des mélanges "sales" (avec des effets de studio) pour qu'il s'habitue à la réalité.
  3. Enfin, on lui a ajouté 4 nouveaux ingrédients (guitare, synthé, orchestre, etc.) et on lui a demandé de les trier en plus des 4 premiers.
• Le résultat : À la fin de cette étape, on obtient 8 pistes séparées, mais elles sont encore un peu "sales" et contiennent des erreurs de séparation.

Étape 2 : Le Nettoyage de Précision (La Restauration)

Maintenant que le chef a séparé les ingrédients, ils sont encore un peu sales. Il faut les nettoyer.

• L'outil : Ils utilisent un système appelé HiFi++ GAN. Imaginez une équipe de 8 restaurateurs d'art experts, chacun spécialisé dans un seul type d'objet (un expert pour les voix, un pour les batteries, etc.).
• L'entraînement intelligent : Au lieu d'entraîner ces experts sur des images parfaites, on les entraîne sur les résultats imparfaits de l'étape précédente. C'est comme si on montrait au "restaurateur de voix" une piste vocale qui a déjà été mal séparée par le chef, et on lui apprend à la rendre parfaite malgré les erreurs du chef.
• Le résultat : Chaque instrument ressort nettoyé, débarrassé des bruits de fond, des craquements et des effets de studio indésirables.

3. Les Résultats et les Limites

Le système a fonctionné très bien lors du concours, obtenant de bons scores pour retrouver la qualité originale des sons.

Cependant, il y a une limite importante : si le mélange de départ est trop chaotique (comme un enregistrement live dans une rue bruyante ou un vieux disque très abîmé), le "chef cuisinier" (l'étape 1) ne peut pas faire un bon tri. Si les ingrédients de base sont mal séparés, même les meilleurs restaurateurs (l'étape 2) ne peuvent pas faire de miracle.

De plus, il est parfois difficile de savoir ce qui est un "bruit" à enlever et ce qui est un "effet artistique" voulu par le musicien (comme une réverbération). Parfois, le système enlève trop, et la musique perd son âme.

En Résumé

L'équipe a créé une chaîne de montage musicale en deux temps :

1. Un séparateur qui apprend progressivement à décomposer un mélange complexe en 8 pistes.
2. Des experts de nettoyage qui apprennent à réparer spécifiquement chaque piste, en tenant compte des erreurs du séparateur.

C'est une approche très intelligente qui reconnaît qu'on ne peut pas tout faire d'un coup : il faut d'abord séparer, puis nettoyer, et surtout, s'entraîner avec des données qui ressemblent à la réalité imparfaite du monde musical.

Résumé technique

Voici un résumé technique détaillé du rapport de l'équipe CP-JKU pour le défi MSR ICASSP 2025, présenté dans le document fourni.

1. Problématique : La Restauration de Sources Musicales (MSR)

Le défi de la Restauration de Sources Musicales (MSR) consiste à récupérer les pistes instrumentales originales et non traitées à partir d'un mixage audio finalisé et masterisé. Contrairement à la séparation de sources classique qui suppose un mélange linéaire de sources propres, la production musicale professionnelle introduit des transformations systématiques non linéaires :

• Effets de production : Égalisation (EQ), compression dynamique, réverbération, saturation, distorsion, élargissement stéréo et limitation.
• Artéfacts de distribution : Compression par codecs et dégradations supplémentaires.

Ces facteurs rendent les hypothèses de mélange linéaire insuffisantes. L'objectif est donc de séparer huit classes d'instruments (voix, guitare, clavier, synthétiseur, basse, batterie, percussions, orchestre) tout en inversant les effets de production et en supprimant les artéfacts.

2. Méthodologie : Une Approche Modulaire en Deux Étages

L'équipe propose une stratégie modulaire qui découple explicitement le problème de dé-mélange (séparation) de celui de dé-mastering/dé-artéfactage (restauration).

Étape 1 : Séparation Multi-Pistes (BandSplit-RoFormer)

Un séparateur unique, basé sur l'architecture BandSplit-RoFormer (BS-RoFormer), est utilisé pour estimer huit pistes cibles plus une piste auxiliaire "other".

• Architecture : Le modèle utilise un front-end "band-split" pour traiter séparément différentes régions fréquentielles et des blocs RoFormer pour modéliser les dépendances temporelles et inter-bandes. Il dispose de 9 têtes d'estimation de masques (8 instruments + "other").
• Stratégie d'entraînement par curriculum (3 étapes) :
  1. Étape 1 (4 pistes, mixages propres) : Affinage (fine-tuning) d'un checkpoint public existant sur des mixages propres (voix, batterie, basse, autres) pour séparer les sources de base.
  2. Étape 2 (4 pistes, mixages masterisés) : Affinage continu sur des mixages dégradés par une chaîne de traitement en ligne (dégradation par piste suivie de mixage/mastering). Les cibles sont les pistes dégradées.
  3. Étape 3 (8 pistes) : Extension du modèle. Les couches partagées et les 4 têtes originales sont initialisées depuis l'étape 2. Les 4 nouvelles têtes sont initialisées aléatoirement et entraînées uniquement, tandis que le "backbone" reste figé.
• Techniques : Utilisation de LoRA (Low-Rank Adaptation) pour l'affinage des couches transformer. Perte combinée : SI-SNR masqué, perte STFT multi-résolution, perte L1 et pénalité pour les amplitudes faibles.
• Données : Combinaison de MUSDB18-HQ, DSD100, MoisesDB, Slakh2100, MedleyDB v2, RawStems et extensions MUSDB25.

Étape 2 : Restauration de Forme d'Onde (HiFi++ GAN)

Une fois les pistes séparées (qui sont encore dégradées), un module de restauration les transforme en pistes "propres".

• Architecture : Un bundle HiFi++ GAN comprenant un front-end SpectralUNet, une étape de sur-échantillonnage, un réseau de raffinement WaveUNet et un SpectralMaskNet pour la correction spectrale résiduelle.
• Stratégie d'entraînement (5 étapes) :
  1. Stages 1-3 : Entraînement d'un modèle "généraliste" pour restaurer le contenu musical, introduction du entraînement GAN (matching de caractéristiques) et intégration de métriques perceptuelles musicales.
  2. Stage 4 : Focus sur la suppression des artéfacts de bruit (ajout de bruit de gramophone via augmentation).
  3. Stage 5 (Spécialisation) : Affinage de 8 experts spécifiques à chaque instrument.
• Alignement Entraînement/Test : Pour améliorer la cohérence, les données d'entrée pour l'entraînement des experts de restauration sont générées en faisant passer les mixages d'entraînement à travers le séparateur entraîné. Cela expose les restaurateurs aux erreurs de séparation réalistes attendues lors du test.

3. Contributions Clés

1. Adaptation Curriculum LoRA : Une méthode efficace pour adapter un séparateur BS-RoFormer de 4 à 8 pistes en utilisant le LoRA et l'expansion de têtes, évitant un réentraînement complet coûteux.
2. Système d'Experts Spécialisés : Une approche de type "Mixture of Experts" où des modèles de restauration spécifiques à chaque instrument sont entraînés sur des paires de données générées par le séparateur lui-même. Cela permet d'aligner la distribution des erreurs d'entrée avec celles rencontrées en phase de test.
3. Pipeline Modulaire : La séparation claire entre la séparation (qui gère le mélange complexe) et la restauration (qui gère les transformations non linéaires et les artéfacts).

4. Résultats

Sur l'ensemble de test officiel du défi MSR 2025, le système CP-JKU a obtenu les performances suivantes :

• MMSNR (Multi-Mel-SNR) : 0.8329 (moyenne non pondérée).
• Zimtohrli (Zimt) : 0.0189.
• FAD (Fréchet Audio Distance) : 0.6223 (moyenne), avec des scores par instrument variant de 0.3092 (Voix) à 0.9153 (Synthétiseurs).
• MOS (Mean Opinion Score) : 3.5510 au niveau du système.

Le modèle a également obtenu un score de 0.638 FAD et 2.338 MMSNR sur le jeu de données MSRBench pour des itérations ultérieures.

5. Limites et Perspectives

• Limites :
  • Sensibilité aux mixages bruyants (enregistrements live ou historiques), où le séparateur échoue à produire des estimations fidèles, limitant ainsi la restauration en aval.
  • Biais potentiels dus aux incohérences dans les grandes collections de données (ex: RawStems).
  • Ambiguïté des cibles "sèches" : les effets temporels (réverb, chorus) présents dans les pistes de référence rendent difficile la définition d'une cible parfaitement sèche.
• Travaux futurs : Priorité à l'optimisation de la qualité des données, à la vérification de l'alignement des données et à l'intégration de conditions conscientes des effets pour améliorer la robustesse.

6. Signification

Ce rapport présente une solution robuste et évolutive pour un problème complexe de traitement audio. En combinant l'efficacité paramétrique du LoRA pour l'extension de modèles de séparation avec une stratégie de restauration spécialisée par instrument, l'équipe CP-JKU démontre qu'une approche en deux étapes, soigneusement calibrée pour aligner les erreurs d'entraînement et de test, peut surpasser les méthodes directes dans des scénarios de production musicale réelle. Cette approche ouvre la voie à des systèmes de restauration plus intelligents capables de gérer la complexité des chaînes de production musicales modernes.