Multi-Stage Music Source Restoration with BandSplit-RoFormer Separation and HiFi++ GAN

Este relatório técnico apresenta o sistema da equipe CP-JKU para o Desafio ICASSP 2025 de Restauração de Fontes Musicais, que combina um separador BandSplit-RoFormer treinado com currículo de três estágios para isolar oito stems e um restaurador HiFi++ GAN especializado por instrumento para recuperar a qualidade do áudio original.

O essencial

Imagine que você tem uma gravação antiga de uma banda tocando. O som está abafado, tem chiado de vinil, a voz está misturada com a bateria e o baixo, e parece que tudo foi processado por um estúdio de produção moderno. O seu objetivo? Conseguir "desfazer" tudo isso e pegar cada instrumento (a voz, o baixo, a bateria, etc.) isolado, limpo e original, como se eles estivessem tocando sozinhos em um estúdio silencioso.

Esse é o desafio do Restauração de Fontes Musicais (MSR). O artigo que você enviou descreve como a equipe da Universidade Johannes Kepler (Áustria) resolveu esse problema para uma competição de 2025.

Aqui está a explicação do sistema deles, usando analogias do dia a dia:

1. A Grande Estratégia: "Desmontar antes de Consertar"

A equipe percebeu que tentar consertar e separar tudo de uma vez é como tentar consertar um carro quebrado enquanto ele ainda está sendo desmontado. É muito confuso.

Então, eles dividiram o trabalho em duas etapas claras:

1. A Separação (O Desmontador): Primeiro, eles tentam separar a música misturada em "faixas" (stems) individuais, mesmo que essas faixas ainda estejam um pouco sujas ou imperfeitas.
2. A Restauração (O Polidor): Depois, eles pegam cada uma dessas faixas separadas e passam um "filtro de limpeza" específico para cada instrumento, removendo os defeitos restantes.

---

2. Etapa 1: O "Desmontador" Inteligente (BandSplit-RoFormer)

Pense nessa etapa como um chef de cozinha especialista em separar ingredientes.

• O Problema: A música original foi misturada e "temperada" com muitos efeitos (eco, compressão, distorção). O chef precisa separar o sal, o açúcar e a farinha, mesmo que eles estejam todos misturados em uma massa.
• A Solução: Eles usaram uma inteligência artificial chamada BS-RoFormer.
• O Treinamento (A Curriculo de 3 Níveis):
  • Nível 1 (Aprendiz): O modelo começou aprendendo a separar apenas 4 coisas básicas (Voz, Bateria, Baixo e "Outros") em músicas limpas. Foi como aprender a andar de bicicleta com rodinhas.
  • Nível 2 (Aprimoramento): Eles ensinaram o modelo a lidar com músicas que já tinham "sujeira" e efeitos de estúdio. O modelo aprendeu a separar mesmo quando a música estava "temperada".
  • Nível 3 (Mestre): Eles expandiram o modelo para separar 8 instrumentos diferentes (adicionando guitarra, teclado, sintetizador, percussão, orquestra). Foi como pegar o aprendiz e dar a ele uma nova ferramenta para lidar com ingredientes mais complexos, sem apagar o que ele já aprendeu antes.

O Truque: Eles usaram uma técnica chamada LoRA, que é como dar um "adesivo de atualização" na inteligência artificial. Em vez de reescrever todo o cérebro do robô, eles apenas ajustaram partes específicas para aprender a separar os novos instrumentos, economizando tempo e energia.

---

3. Etapa 2: O "Polidor" Especialista (HiFi++ GAN)

Agora que temos as faixas separadas, elas ainda não estão perfeitas. Elas podem ter um pouco de ruído ou soarem um pouco "artificiais". É aqui que entra a segunda etapa.

• O Problema: Se você tentar limpar a voz com o mesmo filtro que limpa a bateria, a voz vai ficar estranha. A bateria precisa de um tratamento diferente da voz.
• A Solução: Eles criaram um time de 8 especialistas.
  • Imagine que você tem um hospital. Você não trata um paciente com uma queimadura da mesma forma que trata um paciente com uma fratura.
  • Eles treinaram um modelo "generalista" (um médico que sabe um pouco de tudo) e, em seguida, criaram 8 "médicos especialistas": um só para voz, um só para bateria, um só para baixo, etc.
• O Segredo do Treinamento: Para treinar esses especialistas, eles usaram os próprios erros do "Desmontador" (da Etapa 1).
  • Analogia: É como se o "Desmontador" tentasse separar a música e cometesse erros. Os "Polidores" aprenderam a consertar exatamente esses tipos de erros. Assim, quando o sistema for usado no mundo real, os polidores já sabem exatamente o que esperar.

---

4. O Resultado e os Desafios

O sistema funcionou muito bem na competição, conseguindo separar e limpar as músicas com alta qualidade.

Mas nem tudo é perfeito (As Limitações):

• Gravações muito ruins: Se a gravação original estiver muito cheia de chiado (como um rádio antigo ou uma gravação de show ao vivo muito barulhenta), o "Desmontador" pode errar na separação. Se a base estiver errada, o "Polidor" não consegue consertar tudo.
• Efeitos embutidos: Às vezes, é difícil saber se um eco na voz é um defeito que deve ser removido ou um efeito artístico que o cantor queria. O sistema às vezes remove coisas que não deveria, porque o "alvo" (a música perfeita) é ambíguo.

Resumo Final

A equipe criou um sistema de duas mãos:

1. Uma mão separa a música misturada em 8 instrumentos diferentes, aprendendo gradualmente a lidar com músicas complexas.
2. A outra mão limpa cada instrumento com um especialista específico, treinado para corrigir os erros que a primeira mão cometeu.

É como ter uma equipe de restauro de obras de arte: primeiro, eles separam a pintura em camadas (desmontagem), e depois, cada restaurador usa ferramentas específicas para limpar apenas a camada de tinta azul, ou apenas a vermelha, garantindo que a obra final brilhe como nova.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Multi-Stage Music Source Restoration with BandSplit-RoFormer Separation and HiFi++ GAN", apresentado em português:

1. Definição do Problema

A Restauração de Fontes Musicais (MSR) visa recuperar os stems (faixas) originais e não processados de instrumentos a partir de uma mixagem finalizada e masterizada. Diferentemente da separação de fontes tradicional, que assume uma mistura linear de sinais limpos, a produção musical profissional viola essa premissa. As faixas finais sofrem transformações sistemáticas como equalização, compressão dinâmica, reverberação, saturação, distorção, alargamento estéreo e limitação, além de artefatos de codecs.

O desafio do ICASSP 2025 consiste em recuperar as fontes originais para oito classes de instrumentos (vocais, guitarra, teclado, sintetizador, baixo, bateria, percussão e orquestra) a partir dessas mixagens complexas e degradadas.

2. Metodologia

A equipe CP-JKU propõe uma abordagem modular de duas etapas, separando explicitamente o problema de "desmistura" (separação) do problema de "desmasterização/remoção de artefatos" (restauração).

Etapa 1: Separação de Fontes (Separation)

• Arquitetura: Utiliza um modelo BandSplit-RoFormer (BS-RoFormer). Este modelo processa diferentes regiões de frequência separadamente (front-end de divisão de bandas) e utiliza blocos RoFormer para modelar dependências temporais e entre bandas na estimativa de máscaras.
• Saída: Um único modelo prevê 8 stems de instrumentos mais um stem auxiliar "outro".
• Estratégia de Treinamento (Curriculum Learning): O treinamento ocorre em três estágios progressivos:
  1. Estágio 1 (Ajuste Fino): Treinamento em mixagens limpas (sem masterização) para separar 4 stems (vocais, bateria, baixo, outros) usando LoRA (Low-Rank Adaptation) nas camadas do transformador.
  2. Estágio 2 (Masterização): Continuação do ajuste fino em mixagens degradadas (simulando pipeline de produção) para os mesmos 4 stems. O alvo são os stems degradados.
  3. Estágio 3 (Expansão para 8 stems): Expansão do modelo. As camadas compartilhadas e os 4 cabeçotes originais são inicializados a partir do Estágio 2. Novos cabeçotes são inicializados aleatoriamente e treinados, enquanto a "espinha dorsal" (backbone) permanece congelada.

Etapa 2: Restauração (Restoration)

• Arquitetura: Um pacote HiFi++ GAN que inclui um front-end SpectralUNet, uma etapa de upsampling, uma rede de refinamento WaveUNet e uma SpectralMaskNet para correção espectral residual.
• Estratégia de Especialização (Mixture of Experts):
  1. Primeiro, treina-se um modelo "generalista" para restaurar conteúdo musical.
  2. Em seguida, o modelo é especializado em 8 peritos específicos por instrumento.
• Alinhamento Treino-Teste: Para garantir que os modelos de restauração aprendam a corrigir os erros reais do separador, os dados de entrada para o treinamento da restauração são gerados passando as mixagens sintéticas pelo separador treinado. Assim, os peritos aprendem a mapear a saída imperfeita do separador para o stem limpo alvo.
• Estágios de Treinamento da Restauração:
  • Estágios 1-3: Restauração de conteúdo (warm-up), introdução de treinamento GAN com feature matching e métricas perceptivas.
  • Estágio 4: Foco na supressão de ruídos (incluindo ruído de gramofone).
  • Estágio 5: Ajuste fino dos 8 peritos específicos usando pares filtrados por instrumento.

3. Principais Contribuições

1. Curriculum de Adaptação do BS-RoFormer: Uma metodologia eficiente para adaptar um modelo de 4 stems para 8 stems utilizando fine-tuning com LoRA e expansão de cabeçotes, evitando o treinamento do zero e mantendo a estabilidade.
2. Sistema de Peritos Específicos por Instrumento: Em vez de um único modelo de restauração genérico, o sistema utiliza peritos especializados treinados em dados gerados pelo próprio separador. Isso melhora o alinhamento entre as características de erro no momento do teste e o treinamento, resultando em uma restauração mais precisa para cada classe de instrumento.
3. Abordagem Modular: A separação clara entre a estimativa de stems degradados e a correção de artefatos permite otimizar cada etapa independentemente, tratando a complexidade das transformações de produção musical de forma mais eficaz.

4. Resultados

O sistema foi avaliado no desafio oficial MSR ICASSP 2025 e no conjunto de dados MSRBench.

• Desempenho Objetivo (Média Geral):
  • MMSNR (Multi-Mel-SNR): 0.8329
  • Zimtohrli (Zimt): 0.0189
  • FAD (Fréchet Audio Distance): 0.6223 (Nota: O texto menciona 0.3814 na seção de resultados oficiais, mas a tabela mostra 0.6223 como média; o valor 0.3814 parece ser um resultado específico ou de uma iteração diferente, mas a tabela é a referência principal para a média).
• MOS (Mean Opinion Score): O sistema alcançou uma pontuação de 3.5510 em nível de sistema.
• Desempenho por Instrumento: O modelo obteve os melhores resultados em Vocais (FAD 0.3092) e Baixo (MMSNR 1.5486), enquanto instrumentos como Percussão e Sintetizadores apresentaram desafios maiores (FAD mais alto).

5. Significado e Limitações

• Significado: O trabalho demonstra que a combinação de separação baseada em transformadores modernos (RoFormer) com restauração baseada em GANs especializados é uma estratégia viável e eficaz para lidar com a complexidade não linear da produção musical real. A técnica de usar a saída do separador para treinar o restaurador é um avanço crucial para o alinhamento de domínios.
• Limitações:
  • Sensibilidade a Ruído: O pipeline é sensível a mixagens muito ruidosas (gravações ao vivo ou históricas), onde o separador pode falhar em estimar stems fiáveis, limitando a restauração subsequente.
  • Viés de Dados: Inconsistências em grandes conjuntos de dados (como RawStems) podem introduzir artefatos residuais.
  • Ambiguidade do Alvo: Efeitos temporais presentes nos stems de referência (como reverb ou delay) tornam ambíguo o objetivo de uma saída "seca" (dry), pois o modelo pode estar removendo efeitos que deveriam permanecer.

Conclusão: A equipe CP-JKU apresentou um sistema robusto que supera os desafios de separação e restauração através de uma arquitetura em duas etapas e estratégias de treinamento curricular e especializado, estabelecendo um novo patamar para a recuperação de fontes musicais em mixagens masterizadas.