Assessing AI-generated music detection in real-world broadcast monitoring

Résumé Technique : Évaluation de la détection de musique générée par IA dans la surveillance de la diffusion en conditions réelles

Énoncé du problème
La prolifération rapide de la musique générée par l'IA crée des défis urgents concernant la transparence, l'auteur et la rémunération équitable dans l'industrie de la diffusion. Bien que les détecteurs de musique générée par IA existants atteignent une précision quasi parfaite sur des pistes isolées de haute fidélité, ils souffrent d'une dégradation significative des performances lorsqu'ils sont appliqués aux environnements de diffusion réels. Les évaluations actuelles sont largement limitées aux données synthétiques ou aux environnements de laboratoire contrôlés, ne tenant pas compte des complexités acoustiques de la diffusion télévisuelle. Ces complexités incluent des segments musicaux courts, une parole ou des effets sonores dominants masquant la musique, des niveaux de son variables et des contraintes de transmission à faible débit (par exemple, un échantillonnage de 8 kHz, un codage AAC-LC de 40 kbps). Par conséquent, la fiabilité des méthodes de détection actuelles dans la surveillance réelle de la diffusion reste non résolue.

Méthodologie
Pour combler l'écart entre les bancs d'essai synthétiques et les conditions réelles, les auteurs introduisent le BAMM (Broadcast AI-Music Monitoring), un nouveau jeu de données et un cadre d'évaluation.

• Construction du jeu de données (BAMM) : Le BAMM est constitué de 40 heures d'enregistrements de télévision réels, équilibrés entre environ 20 heures de musique générée par l'IA et 20 heures de musique humaine. Le jeu de données a été organisé de la manière suivante :

  1. Sélection des références : Création d'un corpus de pistes de référence propres. Les pistes humaines ont été limitées aux sorties entre 2020 et 2022 (antérieures aux modèles génératifs avancés comme Suno v3.5). Les pistes générées par l'IA n'ont été sélectionnées que si elles recevaient une classification positive unanime d'un ensemble de cinq détecteurs diversifiés.
  2. Empreinte numérique (Fingerprinting) : Utilisation de l'empreinte audio pour localiser ces pistes de référence au sein d'une archive de diffusion mondiale (surveillant plus de 4 200 chaînes) pour des diffusions entre janvier 2025 et mars 2026.
  3. Filtrage : Application d'un détecteur de musique profond (Deep Music Detector - DMD) pour isoler les clips contenant de la musique (premier plan ou arrière-plan) et supprimer les effets sonores ou les fausses correspondances.
  4. Caractéristiques : Les clips varient de 5 à 60 secondes. L'audio est mono, échantillonné à 8 kHz et encodé à 40 kbps, représentant les flux de substitution de faible qualité utilisés dans la surveillance industrielle.

• Configuration expérimentale : L'étude évalue deux variantes d'une architecture de réseau de neurones convolutifs (CNN) (basée sur Afchar et al. [6]) à travers trois scénarios de difficulté croissante :

  1. Musique de premier plan propre (CFM - Clean Foreground Music) : Pistes isolées de haute qualité (base de contrôle).
  2. Diffusion TV synthétique (STB - Synthetic TV Broadcast) : Mélanges contrôlés de musique et de parole simulant les conditions de diffusion (en utilisant le jeu de données AI-OpenBMAT).
  3. Diffusion TV réelle (RTB - Real TV Broadcast) : Le jeu de données complet BAMM contenant des enregistrements de diffusion authentiques.

  Les deux modèles comparés sont :

  • CNN Clean : Entraîné exclusivement sur de la musique de premier plan propre.
  • CNN Broadcast : Entraîné sur un mélange de musique propre et de conditions de diffusion synthétiques (musique mélangée à de la parole à différents rapports signal/bruit).

Principales contributions

1. Jeu de données BAMM : La principale contribution est la publication d'un jeu de données de diffusion réel de 40 heures spécifiquement organisé pour la détection de musique générée par l'IA. Contrairement aux bancs d'essai précédents, il capture toute la variabilité des environnements de diffusion, y compris la musique d'arrière-plan, les effets sonores et l'encodage à faible débit.
2. Évaluation empirique : L'article fournit un benchmark rigoureux comparant les modèles « entraînés sur du propre » (clean-trained) par rapport aux modèles « entraînés sur la diffusion » (broadcast-trained) à travers des scénarios de diffusion synthétiques et réels.
3. Identification des lacunes de domaine : L'étude quantifie systématiquement la chute de performance lors du passage de l'audio propre aux mélanges synthétiques, puis aux contenus de diffusion réels, soulignant l'insuffisance des approches d'entraînement actuelles.

Résultats
L'évaluation révèle un écart de domaine critique et une dégradation substantielle des performances à mesure que les scénarios deviennent plus réalistes :

• Musique de premier plan propre (CFM) : Les deux modèles atteignent une performance quasi parfaite (F1 > 0,99), confirmant que les artefacts appris à partir de données d'entraînement de faible qualité sont détectables dans l'audio de haute qualité.
• Diffusion TV synthétique (STB) : La performance se dégrade considérablement. Le modèle CNN Clean chute à un F1 de 0,342, tandis que le modèle CNN Broadcast s'améliore à 0,661. Cela indique que, bien que l'entraînement sur des données mixtes aide, il ne résout pas totalement les effets de masquage des conditions de diffusion.
• Diffusion TV réelle (RTB) : La performance se détériore davantage sur le jeu de données BAMM.
  • CNN Clean : Le F1 chute à 0,186.
  • CNN Broadcast : Le F1 chute à 0,472.
  • Chevauchement des scores : Il existe un chevauchement substantiel dans les scores de probabilité entre la musique générée par l'IA et la musique humaine, particulièrement pour la musique d'arrière-plan. Les modèles éprouvent plus de difficultés à rejeter le contenu humain qu'à identifier le contenu IA dans ces conditions.
  • Premier plan vs Arrière-plan : Les deux modèles sont plus performants sur la musique de premier plan que sur la musique d'arrière-plan, confirmant que le masquage est une source primaire de dégradation. Cependant, même la détection de premier plan reste peu fiable en raison de la dégradation de la qualité audio et des autres sons de diffusion.

Signification et affirmations
L'article affirme que les approches d'entraînement actuelles pour les détecteurs basés sur les CNN sont insuffisantes pour une détection fiable de la musique générée par l'IA dans la surveillance de la diffusion. Les résultats exposent un écart de domaine critique où les modèles entraînés sur des données propres ou synthétiquement mélangées ne parviennent pas à se généraliser à la réalité complexe et de faible fidélité des diffusions télévisuelles.

Les auteurs positionnent le BAMM non pas comme une solution au problème de détection, mais comme un cadre d'évaluation de référence nécessaire. En exposant les modes de défaillance non capturés par les jeux de données de musique propre, le BAMM souligne la nécessité de méthodes de détection plus robustes, capables de modéliser la complexité acoustique et contextuelle des médias de diffusion réels. Ce travail souligne que la tâche de détection de la musique générée par l'IA devient nettement plus difficile lorsque le signal musical est moins saillant ou intégré dans des mélanges audio complexes, un défi que les architectures de pointe actuelles n'ont pas encore surmonté.