Assessing AI-generated music detection in real-world broadcast monitoring

Technische Samenvatting: Beoordeling van AI-gegenereerde Muziekdetectie in Real-World Broadcast Monitoring

Probleemstelling
De snelle proliferatie van AI-gegenereerde muziek heeft urgente uitdagingen gecreëerd met betrekking tot transparantie, auteurschap en eerlijke compensatie in de broadcastsector. Hoewel bestaande detectoren voor AI-gegenereerde muziek een bijna perfecte nauwkeurigheid bereiken op geïsoleerde, hoogwaardige tracks, lijden ze aan significante prestatiedegradatie wanneer ze worden toegepast in real-world broadcastomgevingen. Huidige evaluaties zijn grotendeels beperkt tot synthetische data of gecontroleerde laboratoriumsettings, waarbij ze geen rekening houden met de akoestische complexiteit van televisie-uitzendingen. Deze complexiteiten omvatten korte muzieksegmenten, dominante spraak of geluidseffecten die de muziek maskeren, variabele luidheid en transmissiebeperkingen door lage bitrates (bijv. 8 kHz bemonsteringsfrequentie, 40 kbps AAC-LC codering). Bijgevolg blijft de betrouwbaarheid van huidige detectiemethoden in werkelijke broadcastmonitoring onopgelost.

Methodologie
Om de kloof tussen synthetische benchmarks en real-world condities te overbruggen, introduceren de auteurs BAMM (Broadcast AI-Music Monitoring), een nieuwe dataset en evaluatiekader.

• Dataset Constructie (BAMM): BAMM bestaat uit 40 uur aan real-world televisieopnames, gebalanceerd tussen ongeveer 20 uur AI-gegenereerde muziek en 20 uur door mensen gemaakte muziek. De dataset werd samengesteld door:

  1. Referentie Selectie: Het creëren van een corpus van schone referentietracks. Menselijke tracks werden beperkt tot releases tussen 2020–2022 (voorafgaand aan geavanceerde generatieve modellen zoals Suno v3.5). AI-gegenereerde tracks werden alleen geselecteerd als ze een unanieme positieve classificatie ontvingen van een ensemble van vijf diverse detectoren.
  2. Fingerprinting: Het gebruik van audio-fingerprinting om deze referentietracks te lokaliseren binnen een globaal broadcast-archief (waarbij 4.200+ kanalen werden gemonitord) voor uitzendingen tussen januari gens 2025 en maart 2026.
  3. Filtering: Het toepassen van een Deep Music Detector (DMD) om clips te isoleren die muziek bevatten (voorgrond of achtergrond) en het verwijderen van geluidseffecten of foutieve matches.
  4. Kenmerken: Clips variëren van 5 tot ago 60 seconden. De audio is monofoon, gesampled op 8 kHz en gecodeerd op 40 kbps, wat de laagwaardige proxy-streams vertegenwoordigt die worden gebruikt in industriële monitoring.

• Experimentele Opstelling: De studie evalueert twee varianten van een Convolutional Neural Network (CNN) architectuur (gebaseerd op Afchar et al. [6]) over drie progressief uitdagendere scenario's:

  1. Clean Foreground Music (CFM): Hoogwaardige, geïsoleerde tracks (controle-baseline).
  2. Synthetic TV Broadcast (STB): Gecontroleerde mengsels van muziek en spraak die broadcastcondities simuleren (gebruikmakend van de AI-OpenBMAT dataset).
  3. Real TV Broadcast (RTB): De volledige BAMM-dataset die authentieke broadcast-opnames bevat.

  De twee vergeleken modellen zijn:

  • CNN Clean: Uitsluitend getraind op schone, voorgrondmuziek.
  • CNN Broadcast: Getraind op een mix van schone muziek en synthetische broadcastcondities (muziek gemengd met spraak bij variërende Signal-to-Noise Ratios).

Belangrijkste Bijdragen

1. BAMM Dataset: De primaire bijdrage is de release van een 40-urige, real-world broadcast-dataset die specifiek is samengesteld voor de detectie van AI-gegenereerde muziek. In tegen tegenstelling tot eerdere benchmarks, vangt BAMM de volledige variabiliteit van broadcastomgevingen op, inclusclusief achtergrondmuziek, geluidseffecten en laagwaardige bitrate-codering.
2. Empirische Evaluatie: Het paper biedt een rigoureuze benchmark die "clean-getrainde" versus "broadcast-getrainde" modellen vergelijkt over synthetische en echte broadcastscenario's.
3. Identificatie van Domeinkloven: De studie kwantificeert systematisch de prestatiedaling wanneer men overgaat van schone audio naar synthetische mengsels, en vervolgens naar echte broadcast-content, wat de ontoereikendheid van huidige trainingsbenaderingen onderstreept.

Resultaten
De evaluatie onthult een kritieke domeinkloof en een substantiële prestatiedegradatie naarmate de scenario's realistischer worden:

• Clean Foreground Music (CFM): Beide modellen behalen bijna perfecte prestaties (F1 > 0.99), wat bevestigt dat de geleerde artefacten van laagwaardige trainingsdata detecteerbaar zijn in hoogwaardige audio.
• Synthetic TV Broadcast (STB): De prestaties nemen aanzienlijk af. Het CNN Clean model daalt naar een F1 van 0.342, terwijl het CNN Broadcast model verbeterde naar 0.661. Dit geeft aan dat hoewel trainen op gemengde data helpt, het de maskeringseffecten van broadcastcondities niet volledig oplost.
• Real TV Broadcast (RTB): De prestaties verslechteren verder op de BAMM-dataset.
  • CNN Clean: F1 daalt naar 0.186.
  • CNN Broadcast: F1 daalt naar 0.472.
  • Score Overlap: Er is een substantiële overlap in waarschijnlijkheidsscores tussen AI-gegenereerde en door mensen gemaakte muziek, met name bij achtergrondmuziek. De modellen hebben meer moeite met het verwerpen van menselijke content dan met het identificeren van AI-content onder deze condities.
  • Voorgrond vs. Achtergrond: Beide modellen presteren beter op voorgrondmuziek dan op achtergrondmuziek, wat bevestigt dat maskering een primaire bron van degradatie is. Echter, zelfs detectie in de voorgrond blijft onbetrouwbaar door gedegradeerde audiokwaliteit en andere broadcast-geluiden.

Betekenis en Claims
Het paper claimt dat huidige trainingsbenaderingen voor CNN-gebaseerde detectoren onvoldoende zijn voor betrouwbare AI-gegenereerde muziekdetectie in broadcastmonitoring. De resultaten leggen een kritieke domeinkloof bloot waarbij modellen getraind op schone of synthetisch gemengde data falen in het generaliseren naar de complexe, laagwaardige realiteit van televisie-uitzendingen.

De auteurs positioneren BAMM niet als een oplossing voor het detectieprobleem, maar als een noodzakelijke referentie-evaluatie-setting. Door de faalmodi bloot te leggen die niet door clean-music datasets worden gevangen, benadrukt BAMM de noodzaak voor robuustere detectiemethoden die in staat zijn de akoestische en contextuele complexiteit van real-world broadcast media te modelleren. Het werk onderstreept dat de taak van het detecteren van AI-gegenereerde muziek aanzienlijk moeilijker wordt wanneer het muzikale signaal minder prominent aanwezig is of ingebed is in complexe audiomengsels, een uitdaging waar huidige state-of-the-art architecturen nog niet tegen bestand zijn.