A Visually Guided Sound Source Separation and Localization System for Musical Instrument Videos

Imagine entrar em uma sala lotada onde uma dúzia de diferentes instrumentos musicais estão tocando ao mesmo tempo. Para o ouvido humano, o resultado é uma única e emaranhada parede de som. Se você gravasse esse ruído em um único microfone, a gravação conteria cada nota, cada ritmo e cada instrumento misturados em um fluxo indistinguível. Durante décadas, cientistas lutaram contra um desafio específico: como pegar essa gravação única e bagunçada e extrair os instrumentos individuais, isolando o violino da bateria ou o piano da flauta, sem nunca tê-los ouvido sozinhos antes. Este é o problema da separação de fontes sonoras. Embora os computadores tenham se tornado muito bons nisso quando conseguem ver o vídeo da performance, a maioria dos métodos existentes depende de sistemas complexos e integrados que são difíceis de adaptar a novos ou raros instrumentos.

Uma equipe de pesquisadores da Universidade de Yazd, no Irã, propôs uma abordagem diferente, uma que divide o problema em dois passos distintos para lidar melhor com vídeos do mundo real, incluindo aqueles que apresentam instrumentos musicais tradicionais persas. O trabalho deles, publicado em um estudo recente, foca na criação de um sistema que primeiro "olha" para o vídeo para identificar quais instrumentos estão presentes e onde eles estão localizados, e então usa essa informação visual para guiar o processo de separação do áudio. Em vez de tentar resolver os enigmas visuais e de áudio simultaneamente com um único cérebro massivo, o método deles utiliza um detector visual especializado para dizer a um processador de áudio separado exatamente o que ouvir. Esse design modular permite que o sistema seja mais flexível e eficaz, particularmente para instrumentos que são raramente encontrados em dados de treinamento padrão.

Os pesquisadores começaram construindo um sistema de detecção visual usando um modelo conhecido como YOLOv8, uma ferramenta projetada para reconhecer objetos em imagens de forma rápida e precisa. Eles treinaram este modelo em uma coleção de 358 imagens anotadas apresentando doze tipos diferentes de instrumentos musicais, uma mistura de elementos internacionais comuns como o violão e o piano, e instrumentos tradicionais persas como o Daf, o Kamancheh e o Santur. O objetivo era ensinar o computador a detectar esses instrumentos em quadros de vídeo, desenhando uma caixa ao redor deles e nomeando-os. Como o conjunto de dados era relativamente pequeno, a equipe utilizou uma técnica chamada transferência de aprendizado (transfer learning), que permite que um modelo treinado em uma vasta biblioteca de objetos gerais seja refinado para essas ferramentas musicais específicas. Quando testado em novos quadros de vídeo, o sistema identificou os instrumentos com uma precisão de 75,1 por cento, o que significa que, quando dizia ter visto um instrumento específico, geralmente estava correto. Ele também conseguiu encontrar cerca de 59 por cento de todos os instrumentos realmente presentes nas cenas.

Uma vez que o sistema visual identifica quais instrumentos estão tocando, a segunda parte do processo começa. Os pesquisadores desenvolveram uma rede de processamento de áudio separada para cada um dos doze tipos de instrumentos. Isso significa que, se o detector visual detectar um violão e uma bateria, o sistema não tenta adivinhar como separar ambos do zero. Em vez disso, ele ativa a rede específica do "Violão" e a rede específica da "Beria". Cada uma dessas redes é projetada para analisar a gravação de áudio misturada, que foi convertida em um mapa visual de frequências sonoras ao longo do tempo, conhecido como espectrograma. O trabalho da rede é criar um filtro digital, ou máscara, que destaca as partes do som pertencentes ao seu instrumento específico e silencia o restante.

Os pesquisadores testaram este sistema de dois passos em 420 clipes de vídeo do mundo real. Eles descobriram que, ao usar a detecção visual para guiar a separação do áudio, o sistema poderia isolar efetivamente os sons dos diferentes instrumentos. Em média, a qualidade da separação foi forte, com o sistema alcançando uma pontuação que indica uma distinção clara entre o som alvo e o ruído de fundo. Para alguns instrumentos, como o clarinete e o violão, a separação foi excepcionalmente limpa, enquanto outros com frequências mais complexas ou sobrepostas apresentaram um desafio maior. O estudo também comparou seu método com outras técnicas avançadas e descobriu que sua abordagem produziu resultados superiores na redução da interferência de outros instrumentos, alcançando uma pontuação média de qualidade de separação de 8,75 decibéis.

Uma descoberta fundamental desta pesquisa é que a informação visual atua como um guia poderoso, estreitando as possibilidades para o sistema de áudio. Ao saber exatamente quais instrumentos estão na cena, o sistema não precisa adivinhar ou procurar através de todas as combinações possíveis de sons. Isso é particularmente valioso para instrumentos musicais persas, que são frequentemente sub-representados em conjuntos de dados globais e difíceis de serem reconhecidos por modelos padrão. O estudo demonstra que um sistema modular, onde a detecção visual e a separação de áudio trabalham em conjunto, mas permanecem distintas, é uma maneira prática e eficaz de desembaraçar performances musicais complexas. Embora o sistema atualmente exija um modelo separado para cada tipo de instrumento e ainda não possa aprender a separar um instrumento totalmente novo que nunca viu antes, os resultados mostram um caminho claro para melhorar como as máquinas entendem e isolam o som no mundo real.