Multi-Stage Music Source Restoration with BandSplit-RoFormer Separation and HiFi++ GAN

Dieser technische Bericht stellt das System des CP-JKU-Teams für den MSR ICASSP Challenge 2025 vor, das Musikquellen-Wiederherstellung durch eine mehrstufige Pipeline aus einem BandSplit-RoFormer-Trenner mit Curriculum-Learning und einem spezialisierten HiFi++ GAN-Waveform-Restorer realisiert.

Das Wesentliche

Stellen Sie sich vor, Sie haben eine alte, staubige Schallplatte oder eine Aufnahme aus einem lauten Konzert. Die Musik ist da, aber sie klingt nicht so, wie sie ursprünglich war. Sie ist überlagert von Hall, Verzerrungen, Rauschen und wurde für den Radio- oder Streaming-Einsatz „aufgepeppt" (komprimiert, laut gemacht).

Das Ziel dieses Forschungsprojekts ist es, diese „verschmutzte" Musik wieder in ihre ursprünglichen, sauberen Einzelteile zu zerlegen – als würden Sie einen fertigen Kuchen nehmen und die einzelnen Zutaten (Eier, Mehl, Zucker) wieder herausfiltern können.

Hier ist die Erklärung der Lösung des Teams aus Linz, einfach und mit ein paar bildhaften Vergleichen:

Das große Problem: Der „verzauberte" Mix

Normalerweise denken wir bei Musik: „Gesang + Gitarre + Schlagzeug = Das Lied". Aber in der echten Musikproduktion ist das viel komplizierter. Produzenten fügen Effekte hinzu, drücken den Lautstärkepegel, fügen Hall hinzu und komprimieren alles. Das macht die Musik zwar gut für die Ohren, aber für einen Computer ist es wie ein verschmierter Fingerabdruck. Die einzelnen Spuren sind nicht mehr klar getrennt, sondern ineinander verschmolzen und verändert.

Die Lösung: Ein zweistufiges Team aus Spezialisten

Das Team hat sich nicht auf einen einzigen „Super-Helden" verlassen, sondern ein zweistufiges System entwickelt. Man kann es sich wie eine Werkstatt vorstellen:

Stufe 1: Der grobe Zerleger (Der „Trenner")

Stellen Sie sich einen sehr geschickten Koch vor, der einen großen, gemischten Eintopf bekommt. Er muss herausfinden, was darin ist.

• Die Technik: Sie nutzen ein KI-Modell namens BandSplit-RoFormer.
• Der Trick (Das Curriculum): Das Modell wurde nicht einfach sofort mit der schweren Aufgabe konfrontiert. Man hat es wie ein Kind unterrichtet:
  1. Lernphase 1: Zuerst hat es nur gelernt, vier große Zutaten zu trennen (Gesang, Schlagzeug, Bass, „Sonstiges") an einfachen, sauberen Rezepten.
  2. Lernphase 2: Dann hat es gelernt, diese vier Zutaten auch in „verdorbenen" Suppen (mit Effekten und Rauschen) zu erkennen.
  3. Lernphase 3: Erst am Ende hat man dem Modell „neue Arme" wachsen lassen, um es auf acht verschiedene Instrumente zu erweitern (z. B. Gitarre, Tasten, Orchester, Synthesizer).
• Das Ergebnis: Der Zerleger gibt Ihnen acht grobe Spuren. Sie sind schon viel besser als das Original, aber noch nicht perfekt. Sie sind wie ein grob gehackter Salat – man sieht die Zutaten, aber sie sind noch nicht fein geschnitten.

Stufe 2: Der Restaurator (Die „Polierer")

Jetzt kommen die Spezialisten ins Spiel. Da jede Spur (Gesang, Schlagzeug etc.) unterschiedliche Fehler macht, braucht man für jede Spur einen eigenen Experten.

• Die Technik: Ein System namens HiFi++ GAN.
• Der Trick: Zuerst wurde ein „Allrounder" trainiert, der Musik allgemein reparieren kann. Dann wurde er in acht Instrumenten-Spezialisten verwandelt.
  • Der „Gesang-Experte" weiß genau, wie man Störgeräusche aus einer Stimme entfernt, ohne die Stimme selbst zu verzerren.
  • Der „Schlagzeug-Experte" weiß, wie man den Kick-Drum sauber macht, ohne den Rhythmus zu verlieren.
• Der Clou: Diese Experten wurden nicht mit perfekten Daten trainiert, sondern mit den grob geschätzten Spuren aus der ersten Stufe. Das ist wie ein Maler, der lernt, ein Bild zu restaurieren, indem er direkt auf die groben Skizzen des Zerlegers malt. So lernt er, genau die Fehler zu korrigieren, die in der echten Welt passieren.

Warum ist das so gut?

Das System funktioniert wie eine Fertigungsstraße:

1. Der erste Roboter (Trenner) sortiert die Mülltonne grob nach Kategorien.
2. Der zweite Roboter (Restaurator) nimmt jede Kategorie und poliert sie bis zum Glanz.

Dadurch erreichen sie Ergebnisse, die klingen, als wären die Instrumente in einem perfekten Studio neu aufgenommen worden, obwohl sie nur aus einem alten, verrauschten Mix stammen.

Wo sind die Grenzen?

Auch die besten Werkzeuge stoßen an Grenzen:

• Zu viel Chaos: Wenn die Originalaufnahme extrem verrauscht ist (z. B. eine alte Live-Aufnahme aus einem vollen Club), kann der erste Zerleger manchmal nicht genug unterscheiden. Wenn der erste Schritt scheitert, kann der zweite Polierer auch nichts mehr retten.
• Versteckte Effekte: Manchmal ist der „Sauberkeitsstandard" unklar. Wenn im Original-Song ein Hall-Effekt war, der Teil der Musik war, weiß das System nicht immer, ob es diesen Hall entfernen soll (weil es „sauber" sein soll) oder behalten (weil er zur Musik gehört).

Fazit

Das Team aus Linz hat einen cleveren Weg gefunden, Musik wieder „sauber" zu machen, indem sie das Problem in zwei Schritte teilen: erst grob trennen, dann fein polieren. Es ist, als würde man einem alten, verstaubten Foto erst den Schmutz abwaschen und dann die Farben mit einem Profi-Filter korrigieren.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Multi-Stage Music Source Restoration with BandSplit-RoFormer Separation and HiFi++ GAN" auf Deutsch:

1. Problemstellung

Das Ziel der Musikquellenrestaurierung (Music Source Restoration, MSR) ist die Wiederherstellung der ursprünglichen, unverarbeiteten Instrumenten-Stems aus vollständig gemischten und gemasterten Audioaufnahmen. Im Gegensatz zur herkömmlichen Quellentrennung (Source Separation) geht MSR von komplexeren Bedingungen aus:

• Verletzung linearer Mischungsannahmen: Professionelle Musikproduktionen beinhalten nichtlineare Prozesse wie Equalization, Kompression, Hall, Sättigung, Verzerrung, Stereo-Verbreiterung und Limiting.
• Artefakte: Zusätzlich treten Verteilungsartefakte (z. B. Codec-Artefkte) und weitere Degradationen auf.
• Herausforderung: Die Zielquellen sind nicht nur gemischt, sondern systematisch transformiert. Eine direkte Trennung unter der Annahme sauberer Stems reicht daher nicht aus.
• Ziel der MSR-Challenge 2025: Wiederherstellung von acht Instrumentenklassen (Gesang, Gitarre, Keyboard, Synthesizer, Bass, Schlagzeug, Percussion, Orchester) aus solchen degradierten Mischungen.

2. Methodik: Zwei-Stufen-Pipeline

Das System der CP-JKU-Team (Johannes Kepler Universität Linz) folgt einer modularen Strategie, die das Entmischen (Separation) strikt vom Entmastern/Restaurieren (Restoration) trennt.

Stufe 1: Quellentrennung (Separation)

• Modell: Es wird ein BandSplit-RoFormer (BS-RoFormer) verwendet.
  • Das Modell nutzt ein Band-Split-Frontend zur separaten Verarbeitung verschiedener Frequenzbereiche.
  • RoFormer-Blöcke modellieren zeitliche und kreuzbandige Abhängigkeiten für die Maskenschätzung.
  • Ein einzelnes Modell sagt alle 8 Instrumenten-Stems plus einen zusätzlichen „Other"-Stem vorher (insgesamt 9 Masken-Köpfe).
• Trainingsstrategie (Curriculum Learning): Das Training erfolgt in drei Phasen, ausgehend von einem öffentlichen 4-Stem-Checkpoint:
  1. Phase 1 (4 Stems, Clean): Feinabstimmung (Fine-Tuning) auf sauberen Mischungen (Vocals, Drums, Bass, Other) ohne zusätzliche Degradation.
  2. Phase 2 (4 Stems, Mastered): Feinabstimmung auf Mischungen, die durch eine Online-Degradations-Pipeline (pro Stem) und anschließendes Mastern erzeugt wurden. Das Ziel sind die degradierten Stems.
  3. Phase 3 (8 Stems): Erweiterung des Modells auf 8 Stems. Die gemeinsamen Schichten und die ursprünglichen 4 Köpfe werden initialisiert; neue Köpfe werden zufällig initialisiert. Nur die neuen Masken-Köpfe werden trainiert, während der Backbone eingefroren bleibt.
• Techniken: Einsatz von LoRA (Low-Rank Adaptation) für die Feinabstimmung der Transformer-Schichten. Der Verlust basiert auf einer gewichteten Kombination aus SI-SNR, Multi-Resolution STFT, L1-Verlust und einem Low-Amplitude-Penalty.
• Daten: Kombination aus MUSDB18-HQ, DSD100, MoisesDB, Slakh2100, MedleyDB v2 und RawStems.

Stufe 2: Restaurierung (Restoration)

• Modell: Ein HiFi++ GAN-Bundle, bestehend aus:
  • SpectralUNet Frontend
  • Upsampling-Phase
  • WaveUNet-Verfeinerungsnetzwerk
  • SpectralMaskNet für residuale spektrale Korrektur.
• Strategie (Generalist zu Experten):
  1. Generalist: Zuerst wird ein allgemeines Restaurierungsmodell trainiert (Stufen 1–3: Wiederherstellung des Inhalts, GAN-Training mit Feature-Matching, musikalische Perzeptivmetriken).
  2. Spezialisierung: Das Modell wird in acht instrumentenspezifische Experten feinabgestimmt (Stufe 5).
• Trainingsdaten für Experten: Um die Übereinstimmung zwischen Training und Test (Train-Test-Alignment) zu verbessern, werden die Eingaben für die Restaurierung nicht aus sauberen Daten, sondern durch Laufenlassen des trainierten Trennmodells auf synthetischen Trainingsmischungen generiert. Die Experten lernen somit, die realistischen Trennungsfehler des Separators zu korrigieren.
• Zusätzliche Stufen: Stufe 4 fokussiert sich auf die Unterdrückung von Rauschartefakten (z. B. Grammophonrauschen).

3. Wichtige Beiträge

1. Curriculum-Learning für BS-RoFormer: Eine effiziente Anpassungsmethode, die ein 4-Stem-Modell mittels LoRA und Head-Expansion schrittweise auf 8 Stems erweitert, ohne das gesamte Modell neu zu trainieren.
2. Instrumentenspezifische Experten mit Separator-Eingaben: Ein „Mixture-of-Experts"-System, bei dem die Restaurierungsmodelle explizit auf den Ausgaben des Trennmodells trainiert werden. Dies adressiert das Problem, dass reale Trennungsfehler im Testbetrieb oft anders sind als im Training, und verbessert so die Robustheit.
3. Modulare Pipeline: Die explizite Trennung von Entmischung und Restaurierung ermöglicht das Training des Separators auf großen, augmentierten Datensätzen, während die Restaurierungsmodelle spezifisch auf die Inversion von Produktionseffekten und die Unterdrückung von Artefakten unter realistischen Fehlerverteilungen optimiert werden.

4. Ergebnisse

Das System wurde auf dem MSR Challenge 2025 Testset evaluiert:

• Objektive Metriken:
  • MMSNR (Multi-Mel-SNR): 0,8329 (Durchschnitt)
  • Zimtohrli: 0,0189
  • FAD (Fréchet Audio Distance): 0,6223 (Durchschnitt)
• Subjektive Bewertung: Ein System-Level MOS (Mean Opinion Score) von 3,5510.
• MSRBench: Auf dem MSRBench-Datensatz wurden für spätere Iterationen 0,638 FAD und 2,338 MMSNR erreicht.
• Die Ergebnisse zeigen eine wettbewerbsfähige Leistung, wobei Gesang und Bass besonders gute Ergebnisse erzielen, während Orchesterelemente und Percussion aufgrund ihrer Komplexität höhere Fehlerquoten aufweisen.

5. Signifikanz und Limitationen

• Signifikanz: Der Ansatz demonstriert, dass eine getrennte Behandlung von Trennung und Restaurierung, kombiniert mit einem spezialisierten Curriculum-Learning und instrumentenspezifischen Experten, effektiver ist als monolithische Ansätze für komplexe MSR-Aufgaben.
• Limitationen:
  • Empfindlichkeit gegenüber Rauschen: Bei lauten oder historischen Aufnahmen (Live-Mitschnitte) kann der Separator versagen, was die nachgelagerte Restaurierung limitiert.
  • Datensatz-Mismatches: Diskrepanzen in großen Datensätzen (z. B. RawStems) können zu verbleibenden Rauschartefakten führen.
  • Ambiguität des Ziels: Zeitvariable Effekte im Referenzmaterial (z. B. Hall, Chorus) machen es schwierig, ein konsistent „trockenes" (dry) Ziel zu definieren, da das Modell Effekte entfernen soll, die möglicherweise Teil des Referenzsignals sind.
• Zukunftsausblick: Der Fokus liegt künftig auf der Verbesserung der Datenkuratierung, der Validierung der Ausrichtung (Alignment) und der Berücksichtigung von Effekten in der Konditionierung des Modells.

Zusammenfassend stellt dieses Paper einen state-of-the-art Ansatz für die Musikquellenrestaurierung dar, der durch eine geschickte Kombination von modernen Transformer-Architekturen, GAN-basiertem Audio-Generieren und einem durchdachten Trainings-Curriculum neue Maßstäbe setzt.