Assessing AI-generated music detection in real-world broadcast monitoring

Technische Zusammenfassung: Bewertung der Erkennung KI-generierter Musik im realen Rundfunkmonitoring

Problemstellung
Die rasante Verbreitung von KI-generierter Musik hat dringende Herausforderungen hinsichtlich Transparenz, Urheberschaft und fairer Vergütung in der Rundfunkbranche geschaffen. Während bestehende Detektoren für KI-generierte Musik eine nahezu perfekte Genauigkeit bei isolierten, hochqualitativen Tracks erreichen, leiden sie unter einer signifikanten Leistungsdegradation, wenn sie auf reale Rundfunkumgebungen angewendet werden. Aktuelle Evaluierungen beschränken sich weitgehend auf synthetische Daten oder kontrollierte Laborumgebungen und berücksichtigen nicht die akustischen Komplexitäten des Fernsehrundfunks. Diese Komplexitäten umfassen kurze Musiksegmente, dominantes Sprache oder Soundeffekte, die die Musik maskieren, variable Lautstärkeniveaus und Beschränkungen durch niedrige Bitraten bei der Übertragung (z. B. 8 kHz Abtastrate, 40 kbps AAC-LC Kodierung). Infolgedessen bleibt die Zuverlässigkeit aktueller Detektionsmethoden im tatsächlichen Rundfunkmonitoring ungeklärt.

Methodik
Um die Lücke zwischen synthetischen Benchmarks und realen Bedingungen zu schließen, führen die Autoren BAMM (Broadcast AI-Music Monitoring) ein, ein neuartiges Datensatz- und Evaluierungsframework.

• Datensatzkonstruktion (BAMM): BAMM besteht aus 40 Stunden realer Fernsehaufzeichnungen, die ausgewogen zwischen etwa 20 Stunden KI-generierter Musik und 20 Stunden menschengemachter Musik verteilt sind. Der Datensatz wurde wie folgt kuratiert:

  1. Referenzauswahl: Erstellung eines Korpus aus sauberen Referenztracks. Menschengemachte Tracks wurden auf Veröffentlichungen zwischen 2020–2022 beschränkt (vor den fortgeschrittenen generativen Modellen wie Suno v3.5). KI-generierte Tracks wurden nur ausgewählt, wenn sie eine einstimmige positive Klassifizierung durch ein Ensemble aus fünf diversen Detektoren erhielten.
  2. Fingerprinting: Verwendung von Audio-Fingerprinting, um diese Referenztracks innerhalb eines globalen Rundfunkarchivs (Überwachung von über 4.200 Kanälen) für Ausstrahlungen zwischen Januar 2025 und März 2026 zu lokalisieren.
  3. Filterung: Anwendung eines Deep Music Detectors (DMD), um Clips zu isolieren, die Musik enthalten (Vordergrund oder Hintergrund), und um Soundeffekte oder Fehltreffer zu entfernen.
  4. Charakteristika: Die Clips reichen von 5 bis 60 Sekunden. Das Audio ist monophon, mit 8 kHz abgetastet und mit 40 kbps kodiert, was die minderwertigen Proxy-Streams repräsentiert, die im industriellen Monitoring verwendet werden.

• Experimentelles Setup: Die Studie evaluiert zwei Varianten einer Convolutional Neural Network (CNN)-Architektur (basierend auf Afchar et al. [6]) über drei progressiv anspruchsvollere Szenarien hinweg:

  1. Clean Foreground Music (CFM): Hochqualitative, isolierte Tracks (Kontroll-Baseline).
  2. Synthetic TV Broadcast (STB): Kontrollierte Mischungen aus Musik und Sprache, die Rundfunkbedingungen simulieren (unter Verwendung des AI-OpenBMAT-Datensatzes).
  3. Real TV Broadcast (RTB): Der vollständige BAMM-Datensatz, der authentische Rundfunkaufzeichnungen enthält.

  Die zwei verglichenen Modelle sind:

  • CNN Clean: Trainiert ausschließlich auf sauberer Vordergrundmusik.
  • CNN Broadcast: Trainiert auf einer Mischung aus sauberer Musik und synthetischen Rundfunkbedingungen (Musik gemischt mit Sprache bei variierenden Signal-Rausch-Verhältnissen).

• Hauptbeiträge

1. BAMM-Datensatz: Der primäre Beitrag ist die Veröffentlichung eines 40-stündigen, realen Rundfunk-Datensatzes, der speziell für die Erkennung KI-generierter Musik kuratiert wurde. Im Gegensatz zu bisherigen Benchmarks erfasst BAMM die volle Variabilität von Rundfunkumgebungen, einschließlich Hintergrundmusik, Soundeffekten und niedriger Bitraten-Kodierung.
2. Empirische Evaluierung: Die Arbeit bietet einen rigorosen Benchmark, der „sauber trainierte“ gegenüber „rundfunk-trainierten“ Modellen über synthetische und reale Rundfunk-Szenarien hinweg vergleicht.
3. Identifizierung von Domänenlücken: Die Studie quantifiziert systematisch den Leistungsabfall beim Übergang von sauberem Audio zu synthetischen Mischungen und schließlich zu realen Rundfunkinhalten, was die Unzulänglichkeit aktueller Trainingsansätze aufzeigt.

Ergebnisse
Die Evaluierung offenbart eine kritische Domänenlücke und eine erhebliche Leistungsdegradation, wenn die Szenarien realistischer werden:

• Clean Foreground Music (CFM): Beide Modelle erreichen eine nahezu perfekte Leistung (F1 > 0,99), was bestätigt, dass die aus minderwertigen Trainingsdaten gelernten Artefakte in qualitativ hochwertigem Audio detektierbar sind.
• Synthetic TV Broadcast (STB): Die Leistung sinkt signifikant. Das CNN Clean Modell fällt auf einen F1-Wert von 0,342, während das CNN Broadcast Modell auf 0,661 steigt. Dies deutet darauf darauf hin, dass das Training mit gemischten Daten zwar hilft, die Maskierungseffekte der Rundfunkbedingungen jedoch nicht vollständig auflösen kann.
• Real TV Broadcast (RTB): Die Leistung verschlechtert sich auf dem BAMM-Datensatz weiter.
  • CNN Clean: F1 sinkt auf 0,186.
  • CNN Broadcast: F1 sinkt auf 0,472.
  • Score-Überlappung: Es gibt eine erhebliche Überlappung der Wahrscheinlichkeitswerte zwischen KI-generierter und menschengemachter Musik, insbesondere bei Hintergrundmusik. Die Modelle haben größere Schwierigkeiten, menschliche Inhalte abzulehnen, als KI-Inhalte unter diesen Bedingungen zu identifizieren.
  • Vordergrund vs. Hintergrund: Beide Modelle schneiden bei Vordergrundmusik besser ab als bei Hintergrundmusik, was bestätigt, dass Maskierung eine primäre Quelle der Degradation ist. Dennoch bleibt selbst die Vordergrund-Detektion aufgrund der degradierten Audioqualität und anderer Rundfunkgeräusche unzuverlässig.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass aktuelle Trainingsansätze für CNN-basierte Detektoren unzureichend für eine zuverlässige Erkennung KI-generierter Musik im Rundfunkmonitoring sind. Die Ergebnisse legen eine kritische Domänenlücke offen, bei der Modelle, die auf sauberen oder synthetisch gemischten Daten trainiert wurden, bei der komplexen, niedrig-qualitativen Realität des Fernsehrundfunks versagen.

Die Autoren positionieren BAMM nicht als Lösung des Detektionsproblems, sondern als notwendige Referenzevaluierung. Indem BAMM die Ausfallmodi aufzeigt, die in reinen Musik-Datensätzen nicht erfasst werden, verdeutlicht es die Notwendigkeit robusterer Detektionsmethoden, die in der Lage sind, die akustische und kontextuelle Komplexität realer Rundfunkmedien zu modellieren. Die Arbeit unterstreicht, dass die Aufgabe der Erkennung KI-generierter Musik signifikant schwieriger wird, wenn das musikalische Signal weniger präsent oder in komplexe Audiomischungen eingebettet ist – eine Herausforderung, der aktuelle State-of-the-Art-Architekturen bisher nicht gewachsen sind.