Multi-Stage Music Source Restoration with BandSplit-RoFormer Separation and HiFi++ GAN

Este informe técnico presenta el sistema del equipo CP-JKU para el Desafío MSR de ICASSP 2025, que aborda la restauración de fuentes musicales mediante un enfoque de dos etapas: primero, un separador BandSplit-RoFormer que predice ocho stems mediante un entrenamiento curricular en tres fases, y segundo, un restaurador de ondas HiFi++ GAN especializado en expertos específicos para cada instrumento.

Lo esencial

¡Imagina que tienes una canción antigua, grabada en un vinilo rayado, que ha sido masterizada con muchos efectos de estudio y mezclada con otros instrumentos. Tu objetivo es "deshacer" todo eso para recuperar la voz limpia del cantante, el bajo puro, la batería nítida, etc., tal como fueron grabados originalmente. Eso es lo que intenta hacer este equipo de la Universidad Johannes Kepler de Linz (Austria) en su proyecto para el Desafío de Restauración de Fuentes Musicales (MSR) 2025.

Aquí te explico cómo lo hicieron, usando una analogía sencilla: imagina que son dos chefs trabajando en una cocina de alta tecnología.

1. El Problema: La "Sopa" Musical

En la música moderna, no solo mezclan los ingredientes (los instrumentos), sino que también los cocinan con mucha especia (ecualización, compresión, reverberación) y a veces la comida llega un poco quemada o con polvo (artefactos de compresión, ruido).
Los métodos antiguos intentaban separar la sopa de sus ingredientes asumiendo que todo estaba crudo y mezclado simplemente. Pero como la música está "cocinada" y "estragada", esos métodos fallan.

2. La Solución: Dos Chefs, Dos Etapas

El equipo de CP-JKU no intentó hacer todo de una vez. Dividieron el trabajo en dos fases, como si tuvieran dos especialistas:

Chef 1: El Separador (BandSplit-RoFormer)

Su trabajo es separar la sopa en sus ingredientes básicos, aunque estos sigan teniendo un poco de sabor de la cocción.

• La analogía: Imagina que tienes un plato de fideos con salsa, carne y verduras todo mezclado. Este chef usa un colador muy inteligente (llamado BandSplit-RoFormer) para separar los fideos, la carne y las verduras en cuencos distintos.
• El truco especial (Curriculum Learning): No empezaron desde cero. Primero aprendieron a separar solo 4 ingredientes (voz, batería, bajo y "otro") con canciones limpias. Luego, les enseñaron a separar esas mismas 4 cosas, pero en platos "sucios" y masterizados. Finalmente, agregaron nuevos cuencos al colador para separar 8 ingredientes en total (añadiendo guitarra, teclado, sintetizador, etc.).
• La técnica: Usaron una herramienta llamada LoRA, que es como ponerle "gafas de realidad aumentada" al colador para que aprenda rápido sin tener que cambiar todo su mecanismo interno.

Chef 2: El Restaurador (HiFi++ GAN)

Una vez que el Chef 1 separó los ingredientes, estos todavía tienen un poco de sabor de la cocción o están un poco sucios. El Chef 2 es el restaurador de alta fidelidad.

• La analogía: Imagina que el Chef 1 te entregó un trozo de carne que sabe un poco a salsa. El Chef 2 tiene un equipo de limpieza láser y un laboratorio de sabores. Su trabajo es lavar la carne, quitarle el exceso de salsa y devolverle su sabor original y fresco.
• La especialización: En lugar de tener un solo chef que intente limpiar todo, crearon 8 expertos diferentes. Uno es experto en limpiar voces, otro en limpiar guitarras, otro en limpiar baterías, etc.
• El secreto: Para entrenar a estos expertos, no les dieron ingredientes perfectos. Les dieron ingredientes que el Chef 1 había separado (que tenían errores reales). Así, los expertos aprendieron a limpiar exactamente los tipos de "suciedad" que el separador suele dejar, mejorando la alineación entre lo que se entrena y lo que sucede en la realidad.

3. El Entrenamiento: De la Escuela a la Realidad

El proceso de entrenamiento fue como un plan de estudios escolar muy bien estructurado:

1. Primero: Aprendieron lo básico con datos limpios.
2. Segundo: Les pusieron "exámenes difíciles" con música masterizada y degradada.
3. Tercero: Expandieron el modelo para manejar más instrumentos.
4. Cuarto: Les enseñaron a limpiar ruidos específicos, como el crujido de un disco de vinilo antiguo (ruido de gramófono).
5. Quinto: Cada experto se especializó en su instrumento específico usando los errores reales del separador.

4. Los Resultados y los Desafíos

El sistema funcionó muy bien, logrando puntuaciones competitivas en el desafío. Sin embargo, los autores son honestos sobre sus limitaciones:

• El problema del ruido: Si la mezcla original es muy ruidosa (como una grabación en vivo antigua o muy dañada), el Chef 1 (Separador) a veces se confunde y no separa bien los ingredientes. Si el primer paso falla, el segundo (la limpieza) no puede arreglarlo.
• La ambigüedad: A veces es difícil saber qué es "ruido" y qué es un efecto artístico (como un eco que el artista quería). El sistema a veces intenta limpiar cosas que no deberían ser limpiadas.

En Resumen

Este equipo creó un sistema de dos pasos: primero, un colador inteligente que separa los instrumentos de una mezcla compleja y degradada; y segundo, un equipo de expertos que limpia y restaura cada instrumento individualmente.
Es como tener un equipo de cirujanos que primero separan los órganos de un cuerpo mezclado y luego, uno por uno, los limpian y reparan para devolverles su estado original, todo aprendido mediante un entrenamiento progresivo y muy específico.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Restauración de Fuentes Musicales Multi-Etapa con Separación BandSplit-RoFormer y Restauración GAN HiFi++

Autores: Tobias Morocutti, Emmanouil Karystinaios, Jonathan Greif, Gerhard Widmer (Instituto de Percepción Computacional, Universidad Johannes Kepler, Linz, Austria).

---

1. El Problema: Restauración de Fuentes Musicales (MSR)

El objetivo de la Restauración de Fuentes Musicales (MSR) es recuperar las pistas instrumentales originales y sin procesar a partir de mezclas completas y masterizadas. A diferencia de la separación de fuentes tradicional, que asume una mezcla lineal de señales limpias, la producción musical profesional introduce transformaciones sistemáticas que violan estas suposiciones.

Estas transformaciones incluyen:

• Ecualización, compresión de rango dinámico y reverberación.
• Saturación, distorsión y ensanchamiento estéreo.
• Limitación y artefactos de códec.
• Degradaciones adicionales (ruido, etc.).

El desafío consiste en recuperar las fuentes originales para 8 clases de instrumentos (voces, guitarra, teclado, sintetizador, bajo, batería, percusión y orquesta) a partir de estas mezclas complejas y degradadas.

2. Metodología

El equipo CP-JKU propone un sistema modular de dos etapas que separa explícitamente el problema de "desmezcla" (separación) del problema de "desmasterización y eliminación de artefactos" (restauración).

Etapa 1: Separación de Fuentes (BandSplit-RoFormer)

Se utiliza un modelo BandSplit-RoFormer (BS-RoFormer) para estimar 8 pistas objetivo más una pista auxiliar "otro".

• Arquitectura: Utiliza un frontal de división de bandas (band-split) para procesar regiones de frecuencia por separado y bloques RoFormer para modelar dependencias temporales y entre bandas.
• Estrategia de Entrenamiento (Currículo en 3 etapas):
  1. Ajuste fino inicial (4 pistas): Se parte de un checkpoint público de 4 pistas (voces, batería, bajo, otros) en mezclas limpias. Se utiliza LoRA (Low-Rank Adaptation) para ajustar las capas del transformador.
  2. Ajuste fino con degradación (4 pistas): Se continúa el entrenamiento en mezclas masterizadas y degradadas mediante una tubería de degradación en línea. El objetivo son las pistas degradadas (no las limpias), para que el modelo aprenda a predecir lo que el separador encontrará en la realidad.
  3. Extensión a 8 pistas: Se expande el modelo añadiendo nuevas cabezas de estimación de máscaras para las 8 clases instrumentales. Las capas compartidas y las 4 cabezas originales se inicializan desde la Etapa 2 (congeladas), mientras que las nuevas cabezas se inicializan aleatoriamente y se entrenan.

Etapa 2: Restauración de la Forma de Onda (HiFi++ GAN)

Una vez obtenidas las estimaciones degradadas, se aplican redes restauradoras específicas para cada instrumento.

• Arquitectura: Un paquete HiFi++ GAN que incluye un frontal SpectralUNet, una etapa de upsampling, una red de refinamiento WaveUNet y una SpectralMaskNet para corrección espectral residual.
• Estrategia de Entrenamiento (5 etapas):
  1. Generalista: Entrenamiento inicial para restaurar contenido musical general.
  2. GAN: Introducción de entrenamiento adversarial con coincidencia de características.
  3. Métricas perceptuales: Incorporación de métricas de percepción musical.
  4. Supresión de ruido: Entrenamiento específico para suprimir artefactos de ruido (incluyendo ruido de fonógrafo).
  5. Especialización (Expertos): Se afinan 8 expertos específicos por instrumento. Crucialmente, los datos de entrada para este entrenamiento se generan ejecutando el separador entrenado sobre las mezclas sintéticas de entrenamiento. Esto asegura que los restauradores aprendan a corregir los errores reales que comete el separador (train-test alignment).

3. Contribuciones Clave

1. Currículo de Adaptación BS-RoFormer: Una metodología eficiente para adaptar un modelo de 4 pistas a 8 pistas utilizando LoRA y expansión de cabezas, evitando el entrenamiento desde cero y manteniendo la estabilidad.
2. Sistema de Expertos Específicos por Instrumento: En lugar de un modelo restaurador genérico, se entrena un sistema de "mezcla de expertos" donde cada instrumento tiene su propio restaurador.
3. Alineación de Entrenamiento-Prueba: La innovación más significativa es generar los datos de entrada para el entrenamiento de los restauradores utilizando las salidas del propio separador. Esto expone a los restauradores a la distribución real de errores del separador, mejorando la robustez en condiciones de prueba reales.

4. Resultados

El sistema se evaluó en el Desafío MSR ICASSP 2025:

• Rendimiento Objetivo: Logró un MMSNR (Multi-Mel-SNR) promedio de 0.8329, un Zimtohrli de 0.0189 y un FAD (Fréchet Audio Distance) de 0.6223 (promedio no ponderado).
• Calidad Subjetiva: Obtuvo una puntuación MOS (Mean Opinion Score) a nivel de sistema de 3.5510.
• Rendimiento por Instrumento: Los mejores resultados se observaron en Voces (FAD 0.3092) y Bajo (FAD 0.4490), mientras que Sintetizadores y Percusión mostraron mayores desafíos (FAD > 0.8).
• Validación Adicional: En iteraciones posteriores del modelo en el conjunto de datos MSRBench, se alcanzó un FAD de 0.638 y un MMSNR de 2.338.

5. Limitaciones y Significado

Limitaciones:

• Sensibilidad al ruido: El sistema es sensible a mezclas muy ruidosas (grabaciones en vivo o históricas), donde el separador puede fallar en producir estimaciones fieles, limitando la etapa de restauración.
• Desalineación de datos: Diferencias en conjuntos de datos a gran escala (como RawStems) pueden introducir artefactos residuales.
• Ambigüedad del objetivo: Es difícil definir una meta "seca" (sin efectos) cuando las pistas de referencia originales ya contienen efectos como reverberación o delay.

Significado:
Este trabajo es relevante porque aborda la brecha entre la separación de fuentes teórica (mezclas lineales limpias) y la realidad de la producción musical moderna (mezclas masterizadas y transformadas). Al desacoplar la separación de la restauración y utilizar un enfoque de "expertos" entrenados con errores de separación simulados, el sistema ofrece una solución robusta para recuperar la calidad de las pistas originales en escenarios de producción real, estableciendo un nuevo estándar para el desafío MSR de 2025.