How Much AI Is in This Track? Quantifying the Proportion of AI-Generated Stems in Hybrid Music Mixtures

Technische Samenvatting: Kwantificering van het aandeel AI-gegenereerde stems in hybride muziekmengsels

Probleemstelling
Huidige AI-muziekdetectiesystemen opereren onder een binair paradigma, waarbij tracks worden geclassificeerd als ofwel volledig door mensen geproduceerd, ofwel volledig door AI gegenereerd. Hoewel deze systemen een hoge nauwkeurigheid (>99%) bereiken op zuivere tracks door gebruik te maken van spectrale artefacten (specifiek "fakeprints" of periodieke pieken) die worden geïntroduceerd door de getransponeerde convolutielagen van neurale audio-codec decoders, adresseren zij niet de realiteit van moderne muziekproductie. Producenten integreren steeds vaker hybride mengsels, waarbij AI-gegenereerde stems (bijv. synthetische drums of baslijnen) worden gecombineerd met door mensen uitgevoerde instrumenten. In dergelijke scenario's zijn binaire detectoren niet in staat om de proportie AI-inhoud te kwantificeren, en blijft hun gedrag op gemengde signalen onkarakteristiek. Dit artikel adresseert de behoefte aan een detectiekader dat in staat is om de continue proportie van AI-gegenereerde energie binnen een track te schatten, wat aansluit bij transparantieverplichtingen zoals die in de EU AI Act.

Methodologie
De auteurs stellen een methodologie voor om gecontroleerde hybride mengsels te construeren met een bekende "AI-energieverhouding" ($\alpha \in [0, 1]$), gedefinieerd als het deel van de totale akoestische energie dat wordt bijgedragen door AI-gegenereerde stems. De aanpak rust op drie kerncomponenten:

1. AI-reconstructie via neurale codecs: In plaats van generatieve modellen te gebruiken, reconstrueren de auteurs door mensen uitgevoerde stems met behulp van de EnCodec neurale audio-codec op 3 kbps. Dit encode-decode proces behoudt de oorspronkelijke muzikale inhoud terwijl het de specifieke architecturale artefacten (spectrale pieken) impregneert die binaire detectoren zijn getraind om te herkennen. Dit isoleert het detectieprobleem tot codec-artefacten, waardoor verwarring door verschillen in muzikale stijl of inhoud wordt geëlimineerd.
2. Combinatorische stemvervanging: Gebruikmakend van de MoisesDB multi-track dataset (240 professioneel geproduceerde tracks met 2–10 stems), genereren de auteurs alle mogelijke $2^n$ configuraties van echte en AI-gereconstrueerde stems voor elk track. Dit zorgt voor een dichte bemonstering van $\alpha$-waarden over het volledige bereik van $[0, 1]$.
3. Regressieformulering: De detectie taak wordt geherformuleerd van binaire classificatie naar regressie. Het doel is om de continue waarde $\alpha$ te voorspellen op basis van een gemengd audiosignaal $x_{mix}$.

Belangrijkste Bijdragen

• Herformulering van Detectie: Het artikel verschuift het detectiedoel van binaire classificatie ($y \in \{0, 1\}$) naar regressie ($\hat{\alpha} \in [0, 1]$), wat een meer informatieve metriek biedt voor hybride workflows.
• Gecontroleerde Datasetgeneratie: Een reproduceerbare Python-bibliotheek (ARIA) wordt vrijgegeven om hybride mengsels te genereren uit elke multi-track dataset met gebruik van elke neurale codec, wat een systematische studie van mixed-content detectie mogelijk maakt.
• Karakterisering van Binaire Detectoren: De auteurs analyseren het gedrag van een state-of-the-art binaire detector (gebaseerd op Afchar et al.) wanneer deze wordt toegepast op hybride mengsels.
• Regressie Baseline: Een CNN-gebaseerd regressiemodel wordt specifiek getraind om $\alpha$ te schatten, waarmee een prestatiebaseline voor proportionele detectie wordt vastgesteld.

Experimentele Resultaten
De studie evalueert zowel een gereproduceerde binaire detector als een regressiemodel met dezelfde CNN-backbone op uit de dataset gehouden test-mengsels:

• Gedrag van de Binaire Detector: Wanneer toegepast op gemengde inhoud, stijgt de outputscore van de binaire detector met $\alpha$, maar fungeert deze als een ruisgevoelige en slecht gekalibreerde estimator. De score blijft nabij 0 voor $\alpha < 0,5$ en springt pas naar $\sim0,97$ wanneer $\alpha > 0,9$, waardoor de AI-inhoud in het middensegment aanzienlijk wordt onderschat.
• Instrumentgevoeligheid: De detectiesensitiviteit is sterk afhankelijk van het type instrument en de frequentieinhoud ervan. Drums en gitaren, die sterke codec-artefact signaturen in de hogere frequenties dragen, worden betrouwbaar gedetecteerd. In contrast hiermee zijn vocals en bas minder detecteerbaar; hun spectrale energie overlapt minder duidelijk met de artefacten, wat zorgt voor een significante distributie-overlap tussen de echte en AI-condities in binaire classificatie. Echter, het regressiemodel kan proportionele informatie extraheren uit deze zwakkere signalen waar de binaire detector faalt.
• Regressieprestaties: Het regressiemodel dat direct op $\alpha$ is getraind, bereikt een Mean Absolute Error (MAE) van 0,076 en een $R^2$ van 0,85 op de uit de dataset gehouden mengsels (met behulp van 5-seconden vensters). Ter vergelijking: het gebruik van de ruwe waarschijnlijkheid van de binaire detector als impliciete $\alpha$-schatting levert een MAE op van 0,289 en een negatieve $R^2$, wat aangeeft dat het slechter presteert dan het voorspellen van het gemiddelde.
• Vensterlengte: Het regressiemodel profiteert van langere analysevensters (5s vs. 1s), wat leidt tot stabielere schattingen, terwijl de incidentele correlatie van de binaire detector met $\alpha$ verslechtert bij langere vensters.

Betekenis en Claims
Het artikel claimt dat de regressieformulering een "eerste veelbelovende stap" vormt richting AI-muziekdetectie in realistische productie-workflows. De auteurs benadrukken dat hun bevindingen gebaseerd zijn op codec-reconstructies in plaats van directe generator-outputs, wat betekent dat de resultaten specifiek de proportie van codec-gegenereerde energie onder gecontroleerde omstandigheden meten.

De studie concludeert dat:

1. Hybride mengsels proportionele informatie bevatten over AI-inhoud die binaire classifiers incidenteel opvangen maar niet effectief kunnen benutten.
2. Een toegewijd regressie-aanpak aanzienlijk beter presteert dan hergebruikte binaire detectoren voor het kwantificeren van AI-energieverhoudingen.
3. Detectiesensitiviteit niet uniform is over instrumenten; het is geworteld in de frequentieverdeling van codec-artefacten relatief aan de spectrale inhoud van het instrument.

De auteurs positioneren dit werk als een methodologisch fundament in plaats van een klaar voor gebruik zijnde tool. Zij merken op dat toekomstig werk datasets vereist die menselijke stems koppelen aan daadwerkelijke commerciële generator-outputs (bijv. Suno, Udio) en rekening houdt met professionele post-processing (EQ, compressie) die de artefact-signaturen kan wijzigen. De voorgestelde methodologie en bibliotheek zijn ontworpen om codec- en corpus-agnostisch te zijn, om toekomstig onderzoek te faciliteren naarmate dergelijke data beschikbaar komt.