How Much AI Is in This Track? Quantifying the Proportion of AI-Generated Stems in Hybrid Music Mixtures

Resumo Técnico: Quantificando a Proporção de Stems Gerados por IA em Misturas Musicais Híbridas

Definição do Problema
Os atuais sistemas de detecção de música por IA operam sob um paradigma binário, classificando faixas como totalmente produzidas por humanos ou totalmente geradas por IA. Embora esses sistemas alcancem alta precisão (>99%) em faixas puras ao explorar artefatos espectrais (especificamente "fakeprints" ou picos periódicos) introduzidos pelas camadas de convolução transposta nos decodificadores de codecs de áudio neural, eles falham em abordar a realidade da produção musical moderna. Produtores integram cada vez mais misturas híbridas, incorporando stems gerados por IA (como baterias ou linhas de baixo sintéticas) ao lado de instrumentos tocados por humanos. Em tais cenários, os detectores binários são mal equipados para quantificar a proporção de conteúdo de IA, e seu comportamento em sinais mistos permanece não caracterizado. Este artigo aborda a necessidade de um framework de detecção capaz de estimar a proporção contínua de energia gerada por IA em uma faixa, alinhando-se com obrigações de transparência, como as do EU AI Act.

Metodologia
Os autores propõem uma metodologia para construir misturas híbridas controladas com uma "razão de energia de IA" conhecida ($\alpha \in [0, 1]$), definida como a fração da energia acústica total contribuída por stems gerados por IA. A abordagem baseia-se em três componentes principais:

1. Reconstrução de IA via Codecs Neurais: Em vez de usar modelos generativos, o estudo reconstrói stems executados por humanos usando o codec de áudio neural EnCodec a 3 kbps. Este processo de codificação-decodificação preserva o conteúdo musical original enquanto imprime os artefatos arquiteturais específicos (picos espectrais) que os detectores binários são treinados para reconhecer. Isso isola o problema de detecção aos artefatos do codec, removendo confusões relacionadas a diferenças de estilo ou conteúdo musical.
2. Substituição Combinatória de Stems: Utilizando o dataset multi-track MoisesDB (240 faixas produzidas profissionalmente com 2 a 10 stems), os autores geram todas as $2^n$ configurações possíveis de stems reais e reconstruídos por IA para cada faixa. Isso garante uma amostragem densa de valores de $\alpha$ em todo o intervalo $[0, 1]$.
3. Formulação de Regressão: A tarefa de detecção é reformulada de classificação binária para regressão. O objetivo é prever o valor contínuo $\alpha$ dada uma mistura de sinal de áudio $x_{mix}$.

Principais Contribuições

• Reformulação da Detecção: O artigo altera o objetivo da detecção de classificação binária ($y \in \{0, 1\}$) para regressão ($\hat{\alpha} \in [0, 1]$), fornecendo uma métrica mais informativa para fluxos de trabalho híbridos.
• Geração de Dataset Controlado: Uma biblioteca Python reproduzível (ARIA) é lançada para gerar misturas híbridas a partir de qualquer dataset multi-track usando qualquer codec neural, permitendo o estudo sistemático da detecção de conteúdo misto.
• Caracterização de Detectores Binários: Os autores analisam o comportamento de um detector binário de última geração (baseado em Afchar et al.) quando aplicado a misturas híbridas.
• Baseline de Regressão: Um modelo de regressão baseado em CNN é treinado especificamente para estimar $\alpha$, estabelecendo um baseline de desempenho para detecção proporcional.

Resultados Experimentais
O estudo avalia tanto um detector binário reproduzido quanto um modelo de regressão com a mesma arquitetura (backbone) de CNN em misturas de teste não vistas:

• Comportamento do Detector Binário: Quando aplicado a conteúdo misto, o escore de saída do detector binário aumenta com $\alpha$, mas atua como um estimador ruidoso e mal calibrado. Ele permanece próximo de 0 para $\alpha < 0,5$ e salta para $\sim0,97$ apenas quando $\alpha > 0,9$, subestimando significativamente o conteúdo de IA na faixa intermediária.
• Sensibilidade de Instrumentos: A sensibilidade da detecção é altamente dependente do tipo de instrumento e seu conteúdo de frequência. Baterias e guitarras, que carregam assinaturas fortes de artefatos de codec nas frequências mais altas, são detectadas de forma confiável. Em contraste, vocais e baixos são menos detectáveis; sua energia espectral sobrepõe-se menos distintamente aos artefatos, causando uma sobreposição significativa de distribuição entre as condições reais e de IA na classificação binária. No entanto, o modelo de regressão consegue extrair informações proporcionais desses sinais mais fracos onde o detector binário falha.
• Desempenho de Regressão: O modelo de regressão treinado diretamente em $\alpha$ alcança um Erro Médio Absoluto (MAE) de 0,076 e um $R^2$ de 0,85 em misturas de teste (usando janelas de 5 segundos). Em comparação, usar a probabilidade bruta do detector binário como uma estimativa implícita de $\alpha$ resulta em um MAE de 0,289 e um $R^2$ negativo, indicando que ele performa pior do que prever a média.
• Comprimento da Janela: O modelo de regressão beneficia-se de janelas de análise mais longas (5s vs. 1s), alcançando estimativas mais estáveis, enquanto a correlação incidental do detector binário com $\alpha$ degrada-se com janelas mais longas.

Significância e Alegações
O artigo alega que a formulação de regressão representa um "passo inicial promissor" em direção à detecção de música por IA em fluxos de trabalho de produção realistas. Os autores enfatizam que suas descobertas baseiam-se em reconstruções de codec, e não em saídas diretas de geradores, o que significa que os resultados medem especificamente a proporção de energia gerada pelo codec sob condições controladas.

O estudo conclui que:

1. Misturas híbridas contêm informações proporcionais sobre o conteúdo de IA que os classificadores binários capturam incidentalmente, mas falham em utilizar efetivamente.
2. Uma abordagem dedicada de regressão supera significativamente detectores binários reaproveitados para quantificar razões de energia de IA.
3. A sensibilidade da detecção não é uniforme entre os instrumentos; ela está enraizada na distribuição de frequência dos artefatos do codec em relação ao conteúdo espectral do instrumento.

Os autores posicionam este trabalho como uma fundação metodológica, e não como uma ferramenta pronta para implantação. Eles observam que trabalhos futuros exigirão datasets que pareiem stems humanos com saídas reais de geradores comerciais (ex: Suno, Udio) e que considerem o pós-processamento profissional (EQ, compressão), que pode alterar as assinaturas de artefatos. A metodologia e a biblioteca propostas são projetadas para serem agnósticas a codecs e corpora, facilitando pesquisas futuras conforme esses dados se tornem disponíveis.