Multi-Stage Music Source Restoration with BandSplit-RoFormer Separation and HiFi++ GAN

Dit technische rapport beschrijft het CP-JKU-team's multi-stadia systeem voor de ICASSP 2025 Music Source Restoration Challenge, dat een BandSplit-RoFormer-scheider en een HiFi++ GAN-hersteller combineert om gemixte audio te herstellen naar originele instrumentstems.

De kern

Stel je voor dat je een oude, beschadigde plaat hebt van een live concert. De muziek klinkt, maar er zit veel ruis op, de geluidskwaliteit is slecht, en alle instrumenten (de zanger, de drummer, de bassist) zijn door een ingenieur in de studio gemengd tot één enkel geluidsbestand.

Het doel van dit onderzoek is om die ene "soep" van geluid weer terug te zetten in acht aparte, schone kommen: één voor de zanger, één voor de drums, enzovoort. En niet alleen dat, maar ze willen ook de oude ruis en de studio-effecten eraf halen, alsof je de muziek opnieuw opneemt in een perfecte studio.

De onderzoekers van de universiteit in Linz (Oostenrijk) hebben hiervoor een slimme, tweestaps-methode bedacht. Hier is hoe het werkt, vertaald naar alledaagse taal:

Stap 1: De Grote Splitsing (De "Scheiding")

Stel je voor dat je een grote, rommelige soep hebt waarin groenten, vlees en kruiden door elkaar zitten. Je wilt ze weer uit elkaar halen.

1. De Scheurder: Ze gebruiken een slimme computer die heet een BandSplit-RoFormer. Dit is als een super-scheerapparaat dat de soep in acht aparte kommen verdeelt.
2. De Oefening (Het Leerplan): Deze computer is niet zomaar geboren met dit talent. Ze hebben hem in drie fases getraind, net zoals een kind dat leert lopen:
   • Fase 1: Eerst leerden ze hem alleen de basis (zang, drums, bas en "de rest") op schone muziek.
   • Fase 2: Daarna gaven ze hem "vies" materiaal om te oefenen (muziek met ruis en studio-effecten), zodat hij leerde om ook in de chaos te snijden.
   • Fase 3: Tot slot hebben ze de computer "uitgebreid". Ze hebben de basis intact gelaten, maar nieuwe "hoofden" toegevoegd om ook de specifieke instrumenten (zoals keyboard en orkest) te kunnen scheiden.

Op dit punt heeft de computer de muziek wel gescheiden, maar de stukjes klinken nog steeds een beetje vies en vervormd.

Stap 2: De Restauratie (De "Restauratie")

Nu komen de stukken in de kommen, maar ze zijn nog steeds beschadigd. Hier komt de tweede stap om de beurt.

1. De Restaurateur: Ze gebruiken een ander soort slimme computer, gebaseerd op HiFi++ GAN. Dit is als een meester-restaurateur die oude schilderijen weer nieuw maakt.
2. De Specialisten: In plaats van één algemene restaurateur, hebben ze acht specialisten gemaakt.
   • Er is één expert die alleen weet hoe hij een zangstem moet poetsen.
   • Er is een andere expert die alleen weet hoe hij drums moet repareren.
3. De Slimme Training: Hoe leren ze deze specialisten? Ze laten de "Scheurder" (uit Stap 1) eerst oefenen op nep-muziek. De fouten die de Scheurder maakt, gebruiken ze om de Restaurateurs te trainen. Zo leren ze precies hoe ze de fouten moeten oplossen die de Scheurder maakt. Het is alsof je een leerling laat oefenen op de fouten van je meester, zodat ze perfect op elkaar afgestemd zijn.

Wat is het resultaat?

Het systeem werkt erg goed. Het kan de muziek scheiden en de ruis weghalen, zodat je bijna weer hoort hoe het klonk toen het voor het eerst werd opgenomen.

Maar er is een "maar":
Het systeem is niet perfect. Als de originele opname heel erg beschadigd is (bijvoorbeeld een heel oud, krakend live-opname), kan de "Scheurder" soms de verkeerde stukjes uit de soep halen. Als de basis slecht is, kan de "Restaurateur" het ook niet meer redden. Ook is het soms lastig om te weten wat "ruis" is en wat een "muzikaal effect" (zoals een echo) dat je misschien juist wilt behouden.

Samenvattend

De onderzoekers hebben een tweestaps-systeem gebouwd:

1. Een Scheurder die de muziek in losse instrumenten verdeelt (geleerd via een stap-voor-stap leerplan).
2. Een team van Specialisten die elk hun eigen instrument weer schoon en klinkend maken.

Het is een beetje alsof je eerst een rommelige kamer uit elkaar haalt in acht dozen, en daarna voor elke doos een expert hebt die de spullen in die doos weer als nieuw maakt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Multi-Stage Music Source Restoration with BandSplit-RoFormer Separation and HiFi++ GAN" in het Nederlands.

Probleemstelling

Muziekbronherstel (Music Source Restoration - MSR) richt zich op het terugwinnen van de originele, onbewerkte instrumentstems uit een volledig gemixte en gemastered audio-opname. Het fundamentele probleem is dat professionele muziekproductie de lineaire mengingsaannames (linear-mixture assumptions) schendt die traditionele bronseparatiemethoden gebruiken.

Productiepijplijnen omvatten vaak effecten zoals equalization, compressie, reverberatie, saturatie, stereo-verbreiding en codec-artefacten. Deze processen transformeren de bronnen systematisch, waardoor directe separatie onder de aanname van "schone" stems ontoereikend is. De uitdaging voor de MSR Challenge 2025 is het herstellen van acht specifieke instrumentklassen (zang, gitaar, keyboard, synthesizer, bas, drums, percussie, orkest) uit deze complex vervormde mixen.

Methodologie

Het team van CP-JKU (Johannes Kepler Universiteit Linz) hanteert een modulaire, twee-staps strategie die het probleem van "ontmengen" (de-mixing) expliciet scheidt van het probleem van "ont-masteren" en het verwijderen van artefacten (de-restoration).

1. Fase 1: Bronseparatie (BandSplit-RoFormer)

De eerste fase gebruikt een enkel model om de mix te ontleden in acht doelstems plus een extra "andere" stem.

• Architectuur: Er wordt gebruikgemaakt van BandSplit-RoFormer (BS-RoFormer). Dit model gebruikt een band-split front-end om verschillende frequentiegebieden apart te verwerken en RoFormer-blokken om tijdsafhankelijkheden en cross-band afhankelijkheden te modelleren voor mask-schatting.
• Curriculum Learning (Drie fasen): Het model wordt getraind via een gestructureerd curriculum:
  1. Fase 1 (4 stems, schone mixen): Fine-tuning op een publieke 4-stem checkpoint (zang, drums, bas, andere) met schone mixen.
  2. Fase 2 (4 stems, gemasterde mixen): Verdere fine-tuning op mixen die zijn gegenereerd door een degradatiepijplijn (online per-stem degradatie gevolgd door mixing/mastering). Het doel is nu de gedegradeerde stems te voorspellen.
  3. Fase 3 (8 stems): Uitbreiding van het model naar 8 stems. De bestaande lagen en de eerste vier heads worden geïnitieerd vanuit Fase 2. Nieuwe heads worden willekeurig geïnitieerd en alleen deze nieuwe mask-heads worden getraind, terwijl de backbone bevroren blijft.
• Technieken: Er wordt gebruikgemaakt van LoRA (Low-Rank Adaptation) voor parameter-efficiënte fine-tuning van de transformer-lagen. De trainingsdata omvat diverse datasets (MUSDB18-HQ, DSD100, MoisesDB, Slakh2100, etc.) met online augmentatie en degradatiestrategieën.

2. Fase 2: Herstel (HiFi++ GAN)

De tweede fase past per-stem herstel toe om de geschatte, gedegradeerde stems naar schone doelen te mappen.

• Architectuur: Een HiFi++ GAN bundel, bestaande uit een SpectralUNet front-end, een upsampling-stap, een WaveUNet verfijningsnetwerk en een SpectralMaskNet voor residuale spectrale correctie.
• Expertise-systeem: Het systeem begint als een "generalist" en wordt vervolgens gefine-tuned tot acht instrument-specifieke experts (één per stem).
• Trainingsstrategie (Vijf fasen):
  1. Fasen 1-3: Herstel van originele muziekcontent (generalist), gevolgd door GAN-training met feature matching en perceptuele muziekmetrieken.
  2. Fase 4: Focus op onderdrukking van ruisartefacten (o.a. grammofoonruis) via extra augmentatie.
  3. Fase 5: Fine-tuning van de acht instrument-specifieke experts. Cruciaal hier is dat de trainingsparen worden gegenereerd door de gescheiden output van het trainingsmodel te gebruiken als input voor de restorers. Dit zorgt voor een betere afstemming tussen trainings- en testfouten (train-test alignment).

Belangrijkste Bijdragen

1. Curriculum voor BS-RoFormer: Een innovatieve aanpak om een model van 4 naar 8 stems uit te breiden via parameter-efficiënte LoRA fine-tuning en head-expansion, zonder het hele model opnieuw te hoeven trainen.
2. Instrument-specifieke Herstel Experts: In plaats van één universeel herstelmodel, worden gespecialiseerde modellen getraind per instrument.
3. Realistische Train-Test Afstemming: Door de herstelmodellen te trainen op output gegenereerd door de separator zelf (in plaats van perfecte schone stems), worden de modellen getraind op de realistische fouten die de separator maakt, wat de robuustheid ten opzichte van de testdata verhoogt.

Resultaten

Het systeem presteerde competitief op de MSR Challenge 2025 testset:

• Objectieve Metrieken:
  • MMSNR (Multi-Mel-SNR): 0.8329 (gemiddeld).
  • Zimtohrli: 0.0189.
  • FAD (Fréchet Audio Distance): 0.6223 (gemiddeld).
  • De beste resultaten werden behaald voor Vocals (FAD 0.3092) en Bass (FAD 0.4490), terwijl Synthesizers en Percussie wat lagere scores lieten zien.
• Subjectieve Metriek: Het systeem behaalde een MOS (Mean Opinion Score) van 3.5510 op systeemniveau.
• MSRBench: Op latere iteraties werd een FAD van 0.638 en een MMSNR van 2.338 behaald op de MSRBench dataset.

Significantie en Beperkingen

Significantie:
Het paper demonstreert dat het opdelen van het complexe MSR-probleem in gescheiden fasen (separatie gevolgd door gespecialiseerd herstel) effectief is. De combinatie van curriculum learning voor modeluitbreiding en het gebruik van "separator-aware" trainingsdata voor herstelmodellen biedt een robuuste route voor het herstel van professionele muziek.

Beperkingen:

• Gevoeligheid voor ruis: Het systeem is gevoelig voor zeer ruisachtige mixen (bijv. live-opnames of historische opnames). Als de separator geen betrouwbare schattingen maakt, faalt de downstream herstelstap.
• Dataset-mismatches: Verschillen in datasets (zoals RawStems) kunnen leiden tot bias en residuële ruisartefacten.
• Ambiguïteit in "Droge" Doelen: Het is lastig om een consistente "droge" (effect-vrije) target te definiëren, omdat de referentiestems in de training soms zelf effecten (reverb, chorus) bevatten die het model moet verwijderen.

Toekomstig werk zal zich richten op betere data-curatie, validatie van de uitlijning tussen bronnen en doelen, en het ontwikkelen van conditionering die rekening houdt met specifieke effecten.