A Knowledge-Driven Approach to Music Segmentation, Music Source Separation and Cinematic Audio Source Separation

Título: Un Enfoque Impulsado por Conocimiento para la Segmentación Musical, Separación de Fuentes Musicales y Separación de Fuentes de Audio Cinematográfico

1. El Problema

La segmentación de audio (detectar límites temporales de eventos significativos como instrumentación, tempo o armonía) y la separación de fuentes (aislar pistas individuales de una mezcla) son tareas fundamentales en el procesamiento de audio.

• Limitaciones actuales: Los métodos convencionales de aprendizaje profundo suelen depender de grandes conjuntos de datos anotados con límites de segmentos y categorías de fuentes predefinidas. En la práctica, obtener estos datos anotados es costoso y difícil, especialmente para audio musical continuo o cinematográfico.
• Desafío específico: En la separación de fuentes, a menudo no se dispone de pistas individuales limpias para el entrenamiento debido a restricciones de derechos de autor y grabación. Además, en el audio cinematográfico, la falta de partituras estructuradas (como archivos MIDI) dificulta la aplicación de métodos basados en conocimiento musical tradicional.

2. Metodología

Los autores proponen un marco de trabajo impulsado por el conocimiento (knowledge-driven) que no depende de datos de entrenamiento pre-segmentados, sino que aprende directamente del audio de entrada y sus fuentes de conocimiento asociadas (como partituras musicales).

• A. Detección y Selección de Segmentos Basada en Modelos (HMM):

  • Utilizan Modelos Ocultos de Markov (HMM) para alinear forzosamente (forced alignment) las partituras musicales (conocimiento) con el audio.
  • Este proceso identifica automáticamente los segmentos de instrumentos individuales (ej. solo piano, solo bajo) y sus límites temporales dentro de una grabación mixta.
  • Se utilizan 39 características MFCC y HMMs de 300 estados para lograr una alineación precisa.
  • Generación de "Mezclas Pseudo": Una vez extraídos los segmentos de instrumentos individuales, se recortan, escalan y mezclan aleatoriamente para crear datos de entrenamiento sintéticos ("pseudo mixtures") sin necesidad de pistas reales separadas.

• B. Separación de Fuentes Musicales (MSS):

  • Se entrena el modelo de separación (como BSRNN o HTDemucs) utilizando las "mezclas pseudo" generadas a partir de los segmentos extraídos mediante alineación forzada.
  • Se evalúan dos escenarios: entrenamiento desde cero (from-scratch) y ajuste fino (fine-tuning) de modelos preentrenados.

• C. Separación de Fuentes de Audio Cinematográfico (CASS):

  • Para el audio de películas (diálogo, música, efectos), donde no hay partituras, se utiliza la información de actividad de voz (cuáles fuentes están activas en cada marco) como "conocimiento".
  • Arquitectura de Entrada: Se proyectan los indicadores de actividad de voz (one-hot) en un espacio de baja dimensión y se concatenan con las características del espectrograma (TF) en cada marco antes de ingresar al separador (un Transformer tipo U-Net, SepReformer).
  • Esto permite que el separador sepa explícitamente qué fuentes están presentes en cada momento, mejorando la asignación de energía acústica.

3. Contribuciones Clave

1. Marco de Aprendizaje Autónomo: Propone un sistema que construye modelos de segmentación y separación sin depender de datos de entrenamiento anotados manualmente, utilizando el conocimiento (partituras o etiquetas de actividad) como guía.
2. Validación de la Alineación Forzada en Música: Demuestran que los HMMs pueden detectar con alta precisión los límites de instrumentos individuales en mezclas reales utilizando partituras MIDI, superando los métodos puramente basados en señales.
3. Mejora en Separación Cinematográfica: Introducen la proyección de conocimiento (actividad de fuentes) como entrada directa al modelo de separación, logrando mejoras significativas sobre métodos puramente basados en datos.
4. Eficiencia de Datos: Muestran que un conjunto de datos de entrenamiento más pequeño pero cuidadosamente seleccionado mediante conocimiento (segmentos limpios) puede superar a modelos entrenados con grandes volúmenes de datos no filtrados.

4. Resultados

• Segmentación Musical:
  • El sistema de alineación forzada con HMMs logró un Error Absoluto Medio (MAE) de 9.03 frames (con una resolución de 10 ms) comparado con los límites de referencia.
  • La detección de límites entre silencio y otros segmentos fue muy precisa, mientras que los límites entre mezcla e instrumentos individuales fueron más desafiantes pero manejables.
• Separación de Fuentes Musicales (MSS):
  • En el conjunto de datos Slakh2100, el enfoque de conocimiento (Knowledge-driven) superó consistentemente al entrenamiento previo estándar (Pre-train).
  • Con el modelo BSRNN, el enfoque fine-tune con conocimiento alcanzó 18.52 dB de SDR (Signal-to-Distortion Ratio), superando al pre-train (15.06 dB) y acercándose al límite superior teórico (22.30 dB con alineación perfecta).
  • Esto demuestra que la selección de datos basada en conocimiento es más efectiva que simplemente aumentar la cantidad de datos.
• Separación de Audio Cinematográfico (CASS):
  • En el conjunto de datos DNR-nonverbal, el modelo SepReformer con información de actividad de voz alcanzó 11.03 dB de SDR para voz, superando al estado del arte (BSRNN entrenado en DNR-nonverbal: 9.30 dB).
  • La inclusión de conocimiento mejoró significativamente la separación de efectos de sonido (+4.26 dB) y música, demostrando que el modelo aprende a asignar mejor la energía acústica cuando tiene contexto explícito.
  • La visualización de las proyecciones de conocimiento mostró que el modelo agrupa correctamente las características acústicas de la voz, la música y los efectos de sonido.

5. Significado e Impacto

Este trabajo es significativo porque cambia el paradigma de dependencia de grandes cantidades de datos anotados hacia un enfoque que aprovecha el conocimiento estructural disponible (partituras, etiquetas de actividad) para guiar el aprendizaje.

• Viabilidad en Escenarios Reales: Permite entrenar sistemas de separación de alta calidad incluso cuando no se tienen pistas individuales limpias, un problema común en la industria musical y cinematográfica.
• Interpretabilidad: Al integrar el conocimiento explícitamente en la entrada del modelo, se mejora la capacidad del sistema para manejar escenas complejas con múltiples fuentes superpuestas, algo donde los métodos puramente basados en datos a menudo fallan.
• Futuro: Abre la puerta a la aplicación de estas técnicas en grabaciones continuas del mundo real, sugiriendo que la combinación de modelos probabilísticos (HMM) y redes neuronales profundas es una ruta prometedora para el procesamiento de audio avanzado.