A Visually Guided Sound Source Separation and Localization System for Musical Instrument Videos

Imagina que entras en una habitación llena de gente donde una docena de instrumentos musicales diferentes suenan al mismo tiempo. Para el oído humano, el resultado es un muro de sonido único y enredado. Si grabaras ese ruido con un solo micrófono, la grabación contendría cada nota, cada ritmo y cada instrumento mezclados en una corriente indistinguible. Durante décadas, los científicos han luchado con un desafío específico: cómo tomar esa grabación única y desordenada y extraer los instrumentos individuales, aislando el violín de la batería o el piano de la flauta, sin haberlos escuchado solos antes. Este es el problema de la separación de fuentes sonoras. Aunque las computadoras se han vuelto bastante buenas en esto cuando pueden ver el video de la actuación, la mayoría de los métodos existentes dependen de sistemas complejos y todo en uno que son difíciles de adaptar a instrumentos nuevos o poco comunes.

Un equipo de investigadores de la Universidad de Yazd en Irán ha propuesto un enfoque diferente, uno que divide el problema en dos pasos distintos para manejar mejor los videos del mundo real, incluyendo aquellos que presentan instrumentos musicales tradicionales persas. Su trabajo, publicado en un estudio reciente, se centra en la creación de un sistema que primero "mira" el video para identificar qué instrumentos están presentes y dónde se encuentran, y luego utiliza esa información visual para guar la el proceso de separación del audio. En lugar de intentar resolver los acertijos visuales y auditivos simultáneamente con un único cerebro masivo, su método utiliza un detector visual especializado para decirle a un procesador de audio separado exactamente qué debe escuchar. Este diseño modular permite que el sistema sea más flexible y efectivo, particularmente para instrumentos que se encuentran raramente en los datos de entrenamiento estándar.

Los investigadores comenzaron construyendo un sistema de detección visual utilizando un modelo conocido como YOLOv8, una herramienta diseñada para reconocer objetos en imágenes de forma rápida y precisa. Entrenaron este modelo en una colección de 358 imágenes anotadas que presentaban doce tipos diferentes de instrumentos musicales, una mezcla de elementos básicos internacionales como la guitarra y el piano, e instrumentos tradicionales persas como el Daf, el Kamancheh y el Santur. El objetivo era enseñar a la computadora a detectar estos instrumentos en fotogramas de video, dibujando un cuadro alrededor de ellos y nombrándolos. Debido a que el conjunto de datos era relativamente pequeño, el equipo utilizó una técnica llamada aprendizaje por transferencia (transfer learning), que permite que un modelo entrenado en una vasta biblioteca de objetos generales sea ajustado para estas herramientas musicales específicas. Al ser probado en nuevos fotogramas de video, el sistema identificó con éxito los instrumentos con una precisión del 71,5 por ciento, lo que significa que cuando decía que veía un instrumento específico, generalmente estaba en lo cierto. También logró encontrar alrededor del 59 por ciento de todos los instrumentos realmente presentes en las escenas.

Una vez que el sistema visual identifica qué instrumentos están sonando, comienza la segunda parte del proceso. Los investigadores desarrollaron una red de procesamiento de audio separada para cada uno de los doce tipos de instrumentos. Esto significa que si el detector visual detecta una guitarra y una batería, el sistema no intenta adivinar cómo separar ambos desde cero. En su lugar, activa la red específica de "Guitarra" y la red específica de "Batería". Cada una de estas redes está diseñada para observar la grabación de audio mezclada, la cual ha sido convertida en un mapa visual de frecuencias de sonido a lo largo del tiempo, conocido como espectrograma. El trabajo de la red es crear un filtro digital, o máscara, que resalte las partes del sonido pertenecientes a su instrumento específico y silencie el resto.

Los investigadores probaron este sistema de dos pasos en 420 clips de video del mundo real. Descubrieron que, al usar la detección visual para guiar la separación de audio, el sistema podía aislar efectivamente los sonidos de los diferentes instrumentos. En promedio, la calidad de la separación fue sólida, logrando el sistema una puntuación que indica una distinción clara entre el sonido objetivo y el ruido de fondo. Para algunos instrumentos, como el clarinete y la guitarra, la separación fue excepcionalmente limpia, mientras que otros con frecuencias más complejas o superpuestas presentaron un mayor desafío. El estudio también comparó su método con otras técnicas avanzadas y encontró que su enfoque produjo resultados superiores en la reducción de la interferencia de otros instrumentos, logrando una calidad de separación promedio de 8,75 decibelios.

Un hallazgo clave de esta investigación es que la información visual actúa como una guía poderosa, reduciendo las posibilidades para el sistema de audio. Al saber exactamente qué instrumentos están en la escena, el sistema no tiene que adivinar o buscar entre todas las combinaciones posibles de sonidos. Esto es particularmente valioso para los instrumentos musicales persas, que a menudo están subrepresentados en los conjuntos de datos globales y son difíciles de reconocer para los modelos estándar. El estudio demuestra que un sistema modular, donde la detección visual y la separación de audio trabajan en conjunto pero permanecen distintos, es una forma práctica y efectiva de desenredar actuaciones musicales complejas. Si bien el sistema actualmente requiere un modelo separado para cada tipo de instrumento y aún no puede aprender a separar un instrumento completamente nuevo que nunca ha visto, los resultados muestran un camino claro hacia adelante para mejorar la forma en que las máquinas entienden y aíslan el sonido en el mundo real.