Multi-Stage Music Source Restoration with BandSplit-RoFormer Separation and HiFi++ GAN

Il rapporto tecnico presenta il sistema del team CP-JKU per la sfida MSR ICASSP 2025, che combina un separatore BandSplit-RoFormer addestrato con un curriculum a tre stadi e un restorer HiFi++ GAN specializzato per il recupero di stem strumentali originali da audio mixati e masterizzati.

L'essenziale

Immagina di avere una vecchia registrazione musicale, piena di rumori, scricchiolii e distorta dal tempo, oppure un brano moderno che è stato "impastato" così bene in studio che non riesci più a sentire chiaramente la voce del cantante o il basso da solo. Il tuo obiettivo è come quello di un restauratore d'arte: vuoi riportare il quadro (la canzone) al suo stato originale, pulito e separato, come se fosse appena uscito dalla bottega dell'artista.

Questo documento descrive il sistema creato dal team dell'Università di Linz (Austria) per una gara mondiale chiamata "ICASSP Challenge 2025", dove l'obiettivo è proprio questo: riparare e separare le fonti musicali.

Ecco come funziona il loro sistema, spiegato con parole semplici e metafore quotidiane:

1. Il Problema: La "Zuppa" Musicale

Nella produzione musicale moderna, gli ingegneri del suono fanno di tutto: aggiungono riverberi, comprimono i suoni, correggono gli errori e applicano effetti speciali. È come se mescolassi tutti gli ingredienti di una zuppa in una pentola e poi cuocessi il tutto insieme.
Il problema è che, una volta cotta, non puoi più "scollegare" la carota dal pomodoro. I metodi vecchi cercavano di separare la zuppa assumendo che gli ingredienti fossero stati solo mescolati, non cotti insieme. Ma qui gli ingredienti sono stati trasformati chimicamente (effetti audio). Serve un approccio nuovo.

2. La Soluzione: Due Passi Fondamentali

Il team ha diviso il lavoro in due fasi distinte, come se avessero due specialisti diversi che lavorano in sequenza.

Fase 1: Il "Divisore di Zuppa" (Separazione)

Immagina un robot super-intelligente chiamato BandSplit-RoFormer.

• Cosa fa: Prende la canzone mista e prova a separarla in 8 "canali" diversi (voce, chitarra, batteria, basso, ecc.) più un cestino per le "cose varie" (rumori di fondo, altri strumenti).
• Il trucco dell'allenamento (Curriculum): Non hanno insegnato tutto subito. Hanno usato un metodo a tre livelli, come un allenatore sportivo:
  1. Livello Principiante: Ha imparato a separare solo 4 strumenti (voce, batteria, basso, altro) con canzoni pulite.
  2. Livello Intermedio: Ha iniziato a lavorare su canzoni "rovinate" (con effetti di mastering), imparando a gestire i suoni distorti.
  3. Livello Esperto: Hanno "espanso" il cervello del robot per gestire tutti gli 8 strumenti. Hanno aggiunto nuovi "occhi" (testine di previsione) per i nuovi strumenti, lasciando intatto ciò che già sapeva fare.
• Il risultato: Il robot non separa perfettamente, ma fa un buon lavoro. Tuttavia, le sue separazioni sono ancora un po' "sporche" o imperfette.

Fase 2: Il "Restauratore Magico" (Riparazione)

Qui entra in gioco il secondo specialista, basato su una tecnologia chiamata HiFi++ GAN.

• Cosa fa: Prende le 8 tracce "sporche" uscite dal primo robot e le pulisce, rimuovendo i rumori, le distorsioni e gli artefatti, rendendole cristalline.
• Il trucco degli Esperti: Invece di avere un solo restauratore per tutto, ne hanno creati 8 diversi, uno per ogni strumento.
  • C'è un esperto per la voce, uno per la batteria, uno per il basso, ecc.
  • Perché? Perché pulire una voce è diverso dal pulire un basso.
• L'allenamento intelligente: Questi esperti non sono stati addestrati su canzoni perfette. Sono stati addestrati guardando proprio gli errori fatti dal primo robot (Fase 1). È come se un restauratore imparasse a riparare i quadri guardando le macchie specifiche che il suo collega aveva appena fatto. Questo li rende perfetti per il lavoro reale.

3. I Risultati

Il sistema ha funzionato molto bene nella gara, ottenendo punteggi alti nella qualità del suono.
Tuttavia, hanno ammesso due limiti principali:

1. Se la zuppa è troppo sporca: Se la canzone originale è piena di rumori fortissimi (come registrazioni dal vivo storiche), il primo robot fa fatica a separare gli strumenti, e il secondo non può fare miracoli su un input troppo confuso.
2. Il dilemma del "Suono Secco": A volte è difficile capire se un effetto (come un riverbero) è un "difetto" da rimuovere o una scelta artistica da mantenere. Il sistema a volte potrebbe rimuovere cose che non avrebbe dovuto.

In Sintesi

Immagina di avere una vecchia foto sbiadita e macchiata.

1. Il primo sistema cerca di ritagliare le persone dalla foto (anche se le ritaglia un po' storte).
2. Il secondo sistema prende ogni persona ritagliata e usa un pennello magico specifico per quel tipo di pelle o vestito per rimuovere le macchie e rendere i colori vividi.

Il team ha vinto (o ottenuto ottimi risultati) perché ha capito che non si può fare tutto in un colpo solo: prima devi separare, poi devi riparare, e devi usare esperti diversi per ogni tipo di strumento musicale.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del documento in italiano, basato sul rapporto tecnico fornito.

Titolo: Restauro Multi-Stadio delle Sorgenti Musicali con Separazione BandSplit-RoFormer e GAN HiFi++

Autore: Team CP-JKU (Istituto di Percezione Computazionale, Università Johannes Kepler di Linz, Austria)
Contesto: Sfida MSR ICASSP 2025 (Music Source Restoration).

---

1. Il Problema: Restauro delle Sorgenti Musicali (MSR)

Il compito di Music Source Restoration (MSR) mira a recuperare le tracce strumentali originali e non elaborate ("stems") partendo da un mix audio completo, masterizzato e distribuito.
A differenza della separazione delle sorgenti tradizionale, che assume una miscelazione lineare di sorgenti pulite, la produzione musicale professionale introduce trasformazioni sistemiche complesse che violano queste ipotesi. Queste includono:

• Equalizzazione, compressione dinamica, riverberazione.
• Saturazione, distorsione, allargamento stereo e limitazione.
• Artefatti di codec e degradazioni aggiuntive (es. rumore di vinile).

L'obiettivo della sfida è recuperare le sorgenti originali per 8 classi strumentali (voci, chitarra, tastiera, sintetizzatore, basso, batteria, percussioni, orchestra) da miscele che contengono sia effetti di produzione che artefatti di distribuzione.

2. Metodologia

Il sistema proposto adotta una strategia modulare a due stadi, separando esplicitamente il problema della "demiscelazione" (separazione) da quello del "demastering" e della rimozione degli artefatti (restauro).

Stadio 1: Separazione delle Sorgenti (BandSplit-RoFormer)

Viene utilizzato un modello BandSplit-RoFormer (BS-RoFormer) per stimare le tracce degradate.

• Architettura: Il modello utilizza un front-end a "band-split" per elaborare diverse regioni di frequenza separatamente e blocchi RoFormer per modellare le dipendenze temporali e inter-banda.
• Output: Predice 8 tracce strumentali target più una traccia ausiliaria "other" (totale 9 maschere).
• Strategia di Addestramento a Tre Stadi (Curriculum):
  1. Fase 1 (4 tracce, mix puliti): Fine-tuning su un checkpoint pubblico BS-RoFormer per separare Voci, Batteria, Basso e "Altro" su mix puliti.
  2. Fase 2 (4 tracce, mix masterizzati): Continuazione del fine-tuning su mix degradati (simulando la pipeline di produzione). L'obiettivo sono le tracce degradate stesse.
  3. Fase 3 (8 tracce): Espansione del modello da 4 a 8 tracce. Gli strati condivisi e le 4 teste originali sono inizializzati dalla Fase 2; le nuove 4 teste sono inizializzate casualmente e addestrate mentre il backbone rimane congelato.
• Tecniche: Utilizzo di LoRA (Low-Rank Adaptation) per il fine-tuning efficiente dei parametri. La funzione di perdita combina SI-SNR mascherato, perdita STFT multi-risoluzione, perdita L1 e una penalità per le basse ampiezze.

Stadio 2: Restauro delle Tracce (HiFi++ GAN)

Ogni traccia stimata dallo stadio di separazione viene passata a un esperto di restauro specifico per strumento.

• Architettura: Un bundle HiFi++ GAN composto da:
  • Front-end SpectralUNet.
  • Fase di upsampling.
  • Rete di raffinamento WaveUNet.
  • SpectralMaskNet per la correzione spettrale residua.
• Strategia di Addestramento (5 Stadi):
  1. Stadi 1-3: Addestramento di un modello "generalista" per ripristinare il contenuto musicale, seguito dall'introduzione del training GAN (feature matching) e metriche percettive musicali.
  2. Stadio 4: Focus sulla soppressione degli artefatti di rumore (incluso rumore di grammofono).
  3. Stadio 5 (Specializzazione): Fine-tuning di 8 esperti specifici per strumento.
• Allineamento Train-Test: Un contributo cruciale è l'uso di input di restauro generati facendo girare il separatore addestrato sui mix di training sintetici. Questo espone i modelli di restauro agli errori reali di separazione, migliorando l'allineamento tra training e test.

3. Contributi Chiave

1. Curriculum di Adattamento BS-RoFormer: Un approccio innovativo per estendere un modello da 4 a 8 tracce utilizzando LoRA e l'espansione delle teste, partendo da checkpoint pubblici e passando attraverso mix puliti e degradati.
2. Sistema "Mixture-of-Experts" per il Restauro: Invece di un unico modello generico, vengono addestrati 8 esperti specializzati per strumento.
3. Allineamento Realistico: L'addestramento degli esperti di restauro avviene su dati generati dal separatore stesso, esponendo il modello agli errori di separazione reali che incontrerà durante l'inferenza, invece di usare solo dati perfetti.

4. Risultati

Il sistema è stato valutato sulla sfida MSR ICASSP 2025 e su MSRBench.

• Prestazioni Oggettive (Media sul Test Set):
  • MMSNR (Multi-Mel-SNR): 0.8329
  • Zimtohrli: 0.0189
  • FAD (Fréchet Audio Distance): 0.6223 (valore medio ponderato, con punteggi specifici per strumento che variano, es. 0.3092 per le Voci e 0.9153 per i Sintetizzatori).
• Prestazioni Soggettive: Un MOS (Mean Opinion Score) a livello di sistema di 3.5510.
• Risultati su MSRBench: FAD di 0.638 e MMSNR di 2.338.

5. Limitazioni e Lavori Futuri

• Sensibilità al Rumore: Il sistema fatica con mix molto rumorosi (registrazioni live o storiche), dove il separatore non riesce a produrre stime fedeli, limitando di conseguenza il restauro a valle.
• Disallineamento dei Dati: Incoerenze nei grandi dataset (es. RawStems) possono introdurre bias nell'addestramento del restauro.
• Ambiguità dell'Obiettivo: Effetti temporali presenti nelle tracce di riferimento (es. riverbero, chorus) rendono ambiguo l'obiettivo di una traccia "asciutta" (dry), poiché il modello potrebbe essere costretto a rimuovere effetti che dovrebbero essere presenti.
• Piani Futuri: Priorità alla cura dei dati (data curation), verifica dell'allineamento e condizionamento consapevole degli effetti.

6. Significato

Questo lavoro dimostra che un approccio modulare e a due stadi è efficace per il complesso problema del MSR, superando i limiti dei metodi di separazione lineare tradizionale. L'uso di un curriculum di addestramento graduale e la specializzazione degli esperti di restauro su errori di separazione reali rappresentano un avanzamento significativo nella capacità di recuperare tracce musicali pulite da mix commerciali complessi, ponendo le basi per futuri sistemi di restauro audio più robusti e adattivi.