How Much AI Is in This Track? Quantifying the Proportion of AI-Generated Stems in Hybrid Music Mixtures

Resumen Técnico: Cuantificación de la Proporción de Stem de IA en Mezclas Musicales Híbridas

Planteamiento del Problema
Los sistemas actuales de detección de música por IA operan bajo un paradigma binario, clasificando las pistas como producidas totalmente por humanos o totalmente generadas por IA. Si bien estos sistemas logran una alta precisión (>99%) en pistas puras al explotar artefactos espectrales (específicamente "fakeprints" o picos periódicos) introducidos por las capas de convolución transpuesta de los decodificadores de códecs de audio neuronal, no logran abordar la realidad de la producción musical moderna. Los productores integran cada vez más mezclas híbridas, combinando stems generados por IA (por ejemplo, baterías o líneas de bajo sintéticas) con instrumentos interpretados por humanos. En tales escenarios, los detectores binarios no están equipados para cuantificar la proporción de contenido de IA, y su comportamiento en señales mixtas permanece sin caracterizar. Este artículo aborda la necesidad de un marco de detección capaz de estimar la proporción continua de energía generada por IA dentro de una pista, alineándose con las obligaciones de transparencia como las del Reglamento de IA de la UE.

Metodología
Los autores proponen una metodología para construir mezclas híbridas controladas con una "relación de energía de IA" conocida ($\alpha \in [0, 1]$), definida como la fracción de la energía acústica total contribuida por los stems generados por IA. El enfoque se basa en tres componentes principales:

1. Reconstrucción de IA mediante Códecs Neuronales: En lugar de utilizar modelos generativos, el estudio reconstruye stems interpretados por humanos utilizando el códec de audio neuronal EnCodec a 3 kbps. Este proceso de codificación-decodificación preserva el contenido musical original mientras imprime los artefactos arquitectónicos específicos (picos espectrales) que los detectores binarios están entrenados para reconocer. Esto aisla el problema de detección a los artefactos del códec, eliminando confusiones relacionadas con diferencias de estilo o contenido musical.
2. Reemplazo Combinatorio de Stems: Utilizando el conjunto de datos de múltiples pistas MoisesDB (240 pistas producidas profesionalmente con 2 a 10 stems), los autores generan todas las configuraciones posibles de $2^n$ de stems reales y reconstruidos por IA para cada pista. Esto asegura un muestreo denso de valores de $\alpha$ a lo largo de todo el rango $[0, 1]$.
3. Formulación de Regresión: La tarea de detección se reformula de clasificación binaria a regresión. El objetivo es predecir el valor continuo $\alpha$ dada una señal de audio mixta $x_{mix}$.

Contribuciones Clave

• Reformulación de la Detección: El artículo cambia el objetivo de detección de clasificación binaria ($y \in \{0, 1\}$) a regresión ($\hat{\alpha} \in [0, 1]$), proporcionando una métrica más informativa para flujos de trabajo híbridos.
• Generación de Conjunto de Datos Controlado: Se publica una biblioteca de Python reproducible (ARIA) para generar mezclas híbridas a partir de cualquier conjunto de datos de múltiples pistas utilizando cualquier códec neuronal, lo que permite un estudio sistemático de la detección de contenido mixto.
• Caracterización de Detectores Binarios: Los autores analizan el comportamiento de un detector binario de vanguardia (basado en Afchar et al.) cuando se aplica a mezclas híbridas.
• Línea Base de Regresión: Se entrena un modelo de regresión basado en CNN específicamente para estimar $\alpha$, estableciendo una línea base de rendimiento para la detección proporcional.

Resultos Experimentales
El estudio evalúa tanto un detector binario reproducido como un modelo de regresión con la misma arquitectura (backbone) de CNN en mezclas de prueba no vistas:

• Comportamiento del Detector Binario: Cuando se aplica a contenido mixto, la puntuación de salida del detector binario aumenta con $\alpha$, pero actúa como un estimador ruidoso y mal calibrado. Permanece cerca de 0 para $\alpha < 0.5$ y salta a $\sim0.97$ solo cuando $\alpha > 0.9$, subestimando significativamente el contenido de IA en el rango medio.
• Sensibilidad de los Instrumentos: La sensibilidad de detección depende altamente del tipo de instrumento y su contenido de frecuencia. Las baterías y las guitarras, que portan firmas de artefactos de códec fuertes en las frecuencias altas, son detectadas de manera fiable. En contraste, las voces y el bajo son menos detectables; su energía espectral se solapa con los artefactos de forma menos distintiva, causando un solapamiento de distribución significativo entre las condiciones reales y de IA en la clasificación binaria. Sin embargo, el modelo de regresión puede extraer información proporcional de estas señales más débiles donde el detector binario falla.
• Rendimiento de la Regresión: El modelo de regresión entrenado directamente en $\alpha$ logra un Error Absoluto Medio (MAE) de 0.076 y un $R^2$ de 0.85 en mezclas de prueba (usando ventanas de 5 segundos). En comparación, usar la probabilidad bruta del detector binario como una estimación implícita de $\alpha$ arroja un MAE de 0.289 y un $R^2$ negativo, indicando que funciona peor que predecir la media.
• Longitud de la Ventana: El modelo de regresión se beneficia de ventanas de análisis más largas (5s frente a 1s), logrando estimaciones más estables, mientras que la correlación incidental del detector binario con $\alpha$ se degrada con ventanas más largas.

Significado y Reivindicaciones
El artículo afirma que la formulación de regresión representa un "paso inicial prometedor" hacia la detección de música por IA en flujos de trabajo de producción realistas. Los autores enfatizan que sus hallazgos se basan en reconstrucciones de códecs en lugar de salidas directas de generadores, lo que significa que los resultados miden específicamente la proporción de energía generada por el códec bajo condiciones controladas.

El estudio concluye que:

1. Las mezclas híbridas contienen información proporcional sobre el contenido de IA que los clasificadores binarios capturan incidentalmente pero no logran utilizar eficazmente.
2. Un enfoque de regresión dedicado supera significativamente a los detectores binarios reutilizados para cuantificar las relaciones de energía de IA.
3. La sensibilidad de detección no es uniforme entre los instrumentos; está arraigada en la distribución de frecuencia de los artefactos del códec en relación con el contenido espectral del instrumento.

Los autores posicionan este trabajo como una base metodológica más que como una herramienta lista para su despliegue. Señalan que el trabajo futuro requiere conjuntos de datos que emparejen stems humanos con salidas reales de generadores comerciales (por ejemplo, Suno, Udio) y que tengan en cuenta el post-procesamiento profesional (EQ, compresión) que puede alterar las firmas de los artefactos. La metodología y la biblioteca propuestas están diseñadas para ser agnósticas al códec y al corpus, facilitando la investigación futura a medida que estos datos estén disponibles.