Assessing AI-generated music detection in real-world broadcast monitoring

Resumen Técnico: Evaluación de la detección de música generada por IA en el monitoreo de transmisiones en tiempo real

Planteamiento del problema
La rápida proliferación de la música generada por IA ha creado desafíos urgentes relacionados con la transparencia, la autoría y la compensación justa en la industria de la radiodifusión. Aunque los detectores de música generada por IA existentes logran una precisión casi perfecta en pistas aisladas de alta fidelidad, sufren una degradación significativa del rendimiento cuando se aplican a entornos de transmisión reales. Las evaluaciones actuales se limitan en gran medida a datos sintéticos o entornos de laboratorio controlados, sin tener en cuenta las complejidades acústicas de la radiodifusión televisiva. Estas complejidades incluyen segmentos musicales cortos, voz o efectos de sonido dominantes que enmascaran la música, niveles de volumen variables y restricciones de transmisión de baja tasa de bits (por ejemplo, muestreo de 8 kHz, codificación AAC-LC de 40 kbps). En consecuencia, la fiabilidad de los métodos de detección actuales en el monitoreo de transmisiones reales sigue sin resolverse.

Metodología
Para abordar la brecha entre los puntos de referencia sintéticos y las condiciones del mundo real, los autores introducen BAMM (Broadcast AI-Music Monitoring), un nuevo conjunto de datos y marco de evaluación.

• Construcción del conjunto de datos (BAMM): BAMM consta de 40 horas de grabaciones de televisión del mundo real, equilibradas entre aproximadamente 20 horas de música generada por IA y 20 horas de música creada por humanos. El conjunto de datos fue curado mediante:

  1. Selección de referencias: Creación de un corpus de pistas de referencia limpias. Las pistas creadas por humanos se restringieron a lanzamientos entre 2020 y 2022 (anteriores a modelos generativos avanzados como Suno v3.5). Las pistas generadas por IA se seleccionaron solo si recibían una clasificación positiva unánime de un conjunto de cinco detectores diversos.
  2. Huella digital (Fingerprinting): Uso de huellas digitales de audio para localizar estas pistas de referencia dentro de un archivo de transmisión global (monitoreando más de 4,200 canales) durante sus emisiones entre enero de 2025 y marzo de 2026.
  3. Filtrado: Aplicación de un Detector de Música Profundo (DMD) para aislar clips que contienen música (en primer plano o de fondo) y eliminar efectos de sonido o falsas coincidencias.
  4. Características: Los clips varían de 5 a 60 segundos. El audio es monofónico, muestreado a 8 kHz y codificado a 40 kbps, lo que representa los flujos de transmisión de baja calidad utilizados en el monitoreo industrial.

• Configuración experimental: El estudio evalúa dos variantes de una arquitectura de Red Neuronal Convolucional (CNN) (basada en Afchar et al. [6]) a través de tres escenarios progresivamente desafiantes:

  1. Música en primer plano limpia (CFM): Pistas aisladas de alta calidad (línea de base de control).
  2. Transmisión de TV sintética (STB): Mezclas controladas de música y voz que simulan condiciones de transmisión (usando el conjunto de datos AI-OpenBMAT).
  3. Transmisión de TV real (RTB): El conjunto de datos completo de BAMM que contiene grabaciones de transmisiones auténticas.

Los dos modelos comparados son:
* CNN Clean: Entrenada exclusivamente en música limpia en primer plano.
* CNN Broadcast: Entrenada en una mezcla de música limpia y condiciones de transmisión sintéticas (música mezclada con voz a diferentes relaciones señal-ruido).

Contribuciones clave

1. Conjunto de datos BAMM: La principal contribución es la publicación de un conjunto de datos de transmisión del mundo real de 40 horas, específicamente curado para la detección de música generada por IA. A diferencia de los puntos de referencia anteriores, captura la variabilidad total de los entornos de transmisión, incluyendo música de fondo, efectos de sonido y codificación de baja tasa de bits.
2. Evaluación empírica: El artículo proporciona un riguroso punto de referencia que compara modelos "entrenados en limpio" frente a modelos "entrenados en transmisión" a través de escenarios sintéticos y de transmisión reales.
3. Identificación de brechas de dominio: El estudio cuantifica sistemáticamente la caída de rendimiento al pasar de audio limpio a mezclas sintéticas, y finalmente a contenido de transmisión real, resaltando la insuficiencia de los enfoques de entrenamiento actuales.

Resultados
La evaluación revela una brecha de dominio crítica y una degradación sustancial del rendimiento a medida que los escenarios se vuelven más realistas:

• Música en primer plano limpia (CFM): Ambos modelos logran un rendimiento casi perfecto (F1 > 0.99), confirmando que los artefactos aprendidos de los datos de entrenamiento de baja calidad son detectables en audio de alta calidad.
• Transmisión de TV sintética (STB): El rendimiento se degrada significativamente. El modelo CNN Clean cae a un F1 de 0.342, mientras que el modelo CNN Broadcast mejora a 0.661. Esto indica que, si bien el entrenamiento con datos mixtos ayuda, no resuelve completamente los efectos de enmascaramiento de las condiciones de transmisión.
• Transmisión de TV real (RTB): El rendimiento se deteriora aún más en el conjunto de datos BAMM.
  • CNN Clean: El F1 cae a 0.186.
  • CNN Broadcast: El F1 cae a 0.472.
  • Solapamiento de puntuación: Existe un solapamiento sustancial en las puntuaciones de probabilidad entre la música generada por IA y la creada por humanos, particularmente para la música de fondo. Los modelos tienen más dificultades para rechazar el contenido humano que para identificar el contenido de IA en estas condiciones.
  • Primer plano vs. Fondo: Ambos modelos funcionan mejor con la música en primer plano que con la música de fondo, confirmando que el enmascaramiento es una fuente primaria de degradación. Sin embargo, incluso la detección en primer plano sigue siendo poco fiable debido a la calidad de audio degradada y otros sonidos de la transmisión.

Significancia y afirmaciones
El artículo afirma que los enfoques de entrenamiento actuales para los detectores basados en CNN son insuficientes para una detección fiable de la música generada por IA en el monitoreo de transmisiones. Los resultados exponen una brecha de dominio crítica donde los modelos entrenados en audio limpio o mezclado sintéticamente fallan al generalizarse a la compleja realidad de baja fidelidad de las transmisiones de televisión.

Los autores posicionan a BAMM no como una solución al problema de la detección, sino como un entorno de evaluación de referencia necesario. Al exponer los modos de fallo que no se capturan en los conjuntos de datos de música limpia, BAMM resalta la necesidad de métodos de detección más robustos capaces de modelar la complejidad acústica y contextual de los medios de transmisión reales. El trabajo subraya que la tarea de detectar música generada por IA se vuelve significativamente más difícil cuando la señal musical es menos prominente o está integrada dentro de mezclas de audio complejas, un desafío que las arquitecturas de vanguardia actuales aún no han logrado superar.