⚡ electrical engineering

Semi-Supervised Sound Event Detection with Conditional Mixup and Embedding-Level Contrastive Loss

Cet article propose un cadre de détection d'événements sonores semi-supervisé qui intègre le mixup conditionnel avec une perte contrastive au niveau de l'encodage pour exploiter efficacement les données non étiquetées abondantes, atteignant des performances de pointe sur le jeu de données DESED.

Auteurs originaux : Nian Shao, Xian Li, Xiaofei Li

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nian Shao, Xian Li, Xiaofei Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à reconnaître différents sons dans une cuisine animée : le vrombissement d'un mixeur, l'aboiement d'un chien ou l'eau qui coule. Cette tâche est appelée Détection d'Événements Sonores (SED - Sound Event Detection).

Le problème est qu'enseigner cela à un robot revient à essayer d'apprendre à un enfant à parler en ne lui montrant que quelques flashcards. Vous disposez de nombreuses enregistrements de sons de cuisine (données non étiquetées), mais vous n'avez qu'un nombre infime d'enregistrements où quelqu'un a soigneusement écrit précisément quand le mixeur a commencé et s'est arrêté (données étiquetées). Sans ces notes précises, le robot s'embrouille.

Cet article présente une nouvelle façon d'entraîner le robot en utilisant à la fois ces quelques exemples avec « notes » et la montagne d'exemples « sans notes ». Voici comment ils ont procédé, expliqué simplement :

1. Le point de départ : l'« Enseignant » et l'« Étudiant »

Les chercheurs sont partis d'un robot intelligent qui avait déjà beaucoup appris sur le son grâce à une immense bibliothèque audio (un modèle pré-entraîné appelé ATST-Frame). Considérez ce robot comme un Étudiant qui est déjà doué pour l'audition, mais qui doit apprendre à repérer des événements spécifiques.

Pour enseigner à l'Étudiant à utiliser les enregistrements « sans notes », ils ont utilisé un Enseignant. L'Enseignant est une copie de l'Étudiant qui est légèrement plus stable. L'Enseignant devine quels sons se trouvent dans les enregistrements non étiquetés, et l'Étudiant essaie de correspondre à ces suppositions. C'est ce qu'on appelle le « pseudo-étiquetage » (pseudo-labeling).

2. Le problème : Mal mélanger les ingrédients

Pour rendre l'entraînement encore plus efficace, les chercheurs ont utilisé une technique appelée Mixup. Imaginez que vous avez deux clips audio : l'un d'un chien qui aboie et l'autre d'un mixeur.

L'ancienne méthode : Ils mélangeaient ces deux sons ensemble.
- S'ils mélangeaient les deux à 50/50, ils disaient au robot : « Ceci est un nouveau son où un chien et un mixeur se produisent en même temps. » (C'est la Composition).
- S'ils mélangeaient à 90/10 (principalement un chien, un tout petit peu de mixeur), ils disaient au robot : « C'est juste un chien, mais le mixeur est un léger bruit de fond. » (C'est la Perturbation).

Le problème était que l'ancien système d'entraînement utilisait la même règle de mélange pour tout. Mais l'« Enseignant » (pseudo-étiquetage) avait besoin du mélange 50/50 pour apprendre les événements simultanés, tandis que l'« Auto-vérification » (apprentissage contrastif) avait besoin du mélange 90/10 pour apprendre que le son ne doit pas trop changer. Utiliser le mauvais mélange confondait le robot.

3. La solution : Le « Mixup Conditionnel »

Les auteurs ont inventé un commutateur intelligent appelé Mixup Conditionnel.

Le commutateur : Ils regardent le ratio de mélange (la valeur « lambda »).
Si le mélange est équilibré (50/50) : Le système le traite comme une Composition. Il dit au robot : « Hé, les deux sons sont réels ici ! Apprends à les détecter ensemble. »
Si le mélange est déséquilibré (90/10) : Le système le traite comme une Perturbation. Il dit au robot : « Le son principal est toujours le chien ; le mixeur n'est qu'un petit incident. Ne te laisse pas distraire. »

En utilisant ce commutateur, le robot reçoit la bonne instruction pour chaque clip audio mélangé.

4. La recette secrète : La « Perte Contrastive au niveau de l'Embedding »

Habituellement, les robots sont enseignés à faire correspondre leur réponse finale (par exemple, « Est-ce un chien ? Oui/Non »). Cet article ajoute une seconde couche d'entraînement qui se déroule à l'intérieur du cerveau du robot (dans les « embeddings »).

Voyez cela comme ceci :

Entraînement standard : L'enseignant dit : « C'est un chien. »
Nouvel entraînement contrastif : L'enseignant dit : « Même si tu ajoutes un peu de bruit de mixeur à l'aboiement du chien, la sensation du son dans ton cerveau doit toujours être celle d'un chien. »

Cela force le robot à construire une compréhension interne très forte de ce qu'est réellement un « son de chien », indépendamment des bruits de fond mineurs. Cela aide le robot à utiliser les données non étiquetées de manière beaucoup plus efficace.

Les résultats

En combinant ces deux idées — le Mixup Conditionnel (le commutateur intelligent) et l'Apprentissage Contrastif d'Embedding (la vérification de la sensation interne) — le robot est devenu bien meilleur dans sa tâche.

Sur le test standard (l'ensemble de validation DESED), ce nouveau système (appelé ATST-SEDv2) a atteint les scores les plus élevés jamais enregistrés pour cette tâche spécifique :

0,645 sur un score appelé PSDS1 (mesurant la stabilité et la précision du timing).
0,822 sur un score appelé PSDS2 (mesurant la capacité à identifier les types de sons).

En résumé, l'article n'a pas seulement donné plus de données au robot ; il a appris au robot à interpréter ces données plus intelligemment en utilisant la bonne « recette de mélange » pour chaque situation.

Résumé Technique : Détection d'Événements Sonores Semi-Supervisée avec Mixup Conditionnel et Perte Contrastive au Niveau de l'Embedding

Énoncé du Problème

La détection d'événements sonores (SED - Sound Event Detection) est une composante critique de l'analyse environnementale acoustique, mais elle fait face à des défis importants dus à la rareté des données étiquetées au niveau de la trame. Bien que les avancées récentes exploitent des modèles de fond audio pré-entraînés à grande échelle (ex. : ATST-Frame, BEATs, AST) pour fournir des représentations robustes, le réglage fin (fine-tuning) efficace de ces modèles reste difficile. Les approches semi-supervisées existantes reposent souvent sur la régularisation de cohérence (ex. : Mean Teacher) et le pseudo-étiquetage. Cependant, ces méthodes peuvent être insuffisantes pour les encodeurs pré-entraînés de grande taille, car les objectifs de cohérence sont souvent plus faibles que les tâches de pré-entraînement auto-supervisées originales. De plus, un décalage technique spécifique existe dans l'application du Mixup :

L'apprentissage par pseudo-étiquettes traite le Mixup comme une composition, où les échantillons mélangés préservent le contenu des deux clips sources.
L'apprentissage contrastif traite le Mixup comme une perturbation, où l'échantillon auxiliaire sert uniquement à perturber l'entrée.
Les cadres actuels peinent à unifier ces visions conflictuelles au sein d'un même pipeline semi-supervisé.

Méthodologie

Le travail proposé, ATST-SEDv2, étend la base ATST-SED en intégrant un objectif contrastif auto-supervisé au niveau de l'embedding dans le cadre de réglage fin semi-supervisé. L'architecture se compose d'un encodeur ATST-SED (combinant un CRNN et un modèle pré-entraîné ATST-Frame) et d'un classificateur SED non linéaire.

1. Mixup Conditionnel

Pour résoudre le décalage sémantique entre les vues de composition et de perturbation du Mixup, les auteurs proposent le Mixup Conditionnel. Le coefficient d'interpolation $\lambda$ (tiré d'une distribution Bêta) détermine le mode de mixup basé sur un seuil $\tau$ :

Mode Composition ( $0.5 \le \lambda \le \tau$ ) : Le signal auxiliaire est traité comme co-occurrent avec l'entrée. L'échantillon mélangé est formé par interpolation linéaire, mais la cible est le "OU" logique des étiquettes sources (pour le supervisé) ou la somme des pseudo-étiquettes (plafonnée à 1 pour le semi-supervisé).
Mode Perturbation ( $\tau < \lambda \le 1$ ) : Le signal auxiliaire est traité comme une perturbation. L'échantillon mélangé est formé de manière similaire, mais l'étiquette cible reste celle de l'échantillon d'origine.

2. Fonctions de Perte

L'objectif d'entraînement combine trois composantes :

Perte Supervisée : Entropie Croisée Binaire (BCE) sur les données étiquetées.
Perte de Pseudo-Étiquette : Une perte unifiée ( $L_{cp-psd}$ ) qui applique la fonction de perte appropriée (composition ou perturbation) selon le mode de Mixup conditionnel. Cela inclut la perte Mean Teacher pour les données non augmentées.
Perte Contrastive au Niveau de l'Embedding ( $L_{con}$ ) : Inspirée par le pré-entraînement d'ATST-Frame, cette perte aligne les embeddings des vues augmentées.
- Pour les paires de Perturbation, l'objectif maximise la similitude entre l'entrée et la vue perturbée.
- Pour les paires de Composition, l'objectif maximise la similitude entre la vue mélangée et la moyenne des embeddings du "teacher" des deux échantillons sources.
  Un projecteur et un prédicteur sont attachés à l'encodeur pendant l'entraînement pour faciliter cet apprentissage contrastif et éviter l'effondrement de la représentation.

La perte totale est une somme pondérée de la BCE, des pertes de pseudo-étiquettes et de la perte contrastive.

Principales Contributions

Mixup Conditionnel : Une stratégie novatrice qui unifie le Mixup de composition et de perturbation au sein d'un même cadre semi-supervisé en sélectionnant dynamiquement la vue sémantique basée sur le coefficient d'interpolation.
Conception de Perte Unifiée : La conception de pertes de pseudo-étiquettes et de perte contrastive au niveau de l'embedding correspondantes qui permettent aux supervisions au niveau de la décision et au niveau de l'embedding de se compléter mutuellement lors du réglage fin.
Performance de l'État de l'Art : La méthode atteint de nouveaux meilleurs résultats sur l'ensemble de validation DESED sans modifier l'architecture d'inférence.

Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données DESED, utilisant des données fortement étiquetées, faiblement étiquetées et non étiquetées.

Comparaison avec la Base : La méthode proposée (ATST-SEDv2) a amélioré la base ATST-SED (sans la méthode proposée) de 0,583 à 0,607 en PSDS1 et de 0,810 à 0,817 en PSDS2.
Modèles Légers : Appliquée à une base CRNN, la méthode a également produit des améliorations (PSDS1 : 0,384 $\to$ 0,403), démontrant son efficacité à travers différentes capacités de modèles.
Études d'Ablation :
- L'utilisation de la seule perte contrastive a amélioré les performances par rapport au modèle de l'étape 1 gelé, mais s'est révélée moins efficace que la combinaison avec les pertes de pseudo-étiquettes.
- Les branches de composition seule et de perturbation seule étaient toutes deux efficaces individuellement, mais la combinaison de tous les composants a donné les meilleurs résultats.
État de l'Art (SOTA) : Avec le post-traitement cSEBB, ATST-SEDv2 a atteint 0,645 PSDS1 et 0,822 PSDS2, surpassant les méthodes SOTA précédentes incluant ATST-SED, MAT-SED et PMAMiter2.

Signification

L'article affirme que l'approche proposée exploite efficacement les données non étiquetées en traitant le décalage sémantique dans les stratégies de Mixup. En introduisant un objectif contrastif au niveau de l'embedding aux côtés du pseudo-étiquetage, la méthode améliore le réglage fin semi-supervisé des modèles SED légers et basés sur des pré-entraînements. Les résultats établissent un nouvel état de l'art sur le benchmark DESED, démontant que la supervision au niveau de la décision et au niveau de l'embedding peut être intégrée avec succès pour améliorer la stabilité temporelle et la précision du marquage dans des scènes audio polyphoniques complexes.