🤖 AI

A Multi-Branch Hierarchy-Aware Framework for Heterogeneous Audio Classification

Cet article présente un cadre hiérarchique multi-branches sensible à la hiérarchie pour le défi DCASE 2026 qui exploite des représentations basées sur CLAP, des données d'entraînement augmentées et un post-traitement basé sur KNN pour atteindre des scores F1 hiérarchiques de l'état de l'art sur des tâches de classification audio hétérogènes.

Auteurs originaux : Beile Ning, Jiayi Yu, Zitong Wang, Yufei Hu, Wenjun Xu, Yuanhang Qian, Zhongxin Bai, Gongping Huang

Publié 2026-07-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Beile Ning, Jiayi Yu, Zitong Wang, Yufei Hu, Wenjun Xu, Yuanhang Qian, Zhongxin Bai, Gongping Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous marchiez dans une ville trépidante. Vos oreilles sont bombardées d'un mélange chaotique de sons : une sirène, un chien qui aboie, la pluie frappant une fenêtre et une foule qui acclame. Votre cerveau ne se contente pas d'entendre du « bruit » ; il trie instantanément ces sons dans un classeur mental. Il sait qu'une sirène est un « Véhicule d'urgence » (Niveau Supérieur) et plus précisément une « Voiture de police » (Second Niveau).

Le défi DCASE 2026 a demandé à des ordinateurs de faire exactement cela : écouter des enregistrements audio réels et désordonnés et les classer dans une « Taxonomie Large des Sons » (BST) spécifique. Le piège ? L'ordinateur devait trouver le son spécifique exact et s'assurer qu'il appartenait à la bonne grande catégorie. S'il devinait « Voiture de police », il ne pouvait pas accidentellement l'appeler « Oiseau ».

Voici comment l'équipe de l'Université de Wuhan a construit son « super-auditeur » pour remporter ce défi, expliqué à travers des analogies simples.

1. Le Cerveau Central : Le traducteur « CLAP »

Au cœur de leur système se trouve une IA pré-entraînée appelée CLAP. Considérez CLAP comme un traducteur polyglotte qui a lu des millions de livres et écouté des millions de chansons. Il comprend la signification du son (par exemple, « cela ressemble à une fête ») en reliant l'audio au texte.

Cependant, CLAP est comme un généraliste ; il est excellent pour les grandes idées mais manque parfois de précision sur les petits détails nécessaires pour distinguer deux sons très similaires. L'équipe devait donner à ce généraliste un ensemble d'outils spécialisés.

2. Les Outils Spécialisés : Trois « Oreilles » Différentes

Pour aider CLAP à entendre les détails, l'équipe a ajouté trois « branches acoustiques » spécialisées. Imaginez donner à votre cerveau principal trois paires d'oreilles supplémentaires, chacune réglée sur une fréquence différente :

L'Oreille Log-Mel : Cette oreille est comme un musicien écoutant la hauteur tonale et le timbre d'un instrument. Elle est excellente pour reconnaître la « forme » du son.
L'Oreille MFCC : Cette oreille est comme un linguiste analysant la structure de la parole. Elle décompose le son en ses blocs de construction.
L'Oreille Log-STFT : Cette oreille est comme une caméra haute vitesse prenant des clichés de l'onde sonore. Elle capture les changements rapides du son au fil du temps.

La Magie : L'équipe n'a pas seulement choisi une seule option. Ils ont laissé ces trois « oreilles » écouter le son, puis ont combiné leurs opinions avec le « cerveau » de CLAP. L'oreille Log-STFT s'est avérée être l'auditeur le plus sensible sur sa propre échelle, jouant le rôle de l'élément vedette.

3. Le Terrain d'Entraînement : Une Bibliothèque Plus Grande et Plus Propre

Pour enseigner au système, ils avaient besoin d'une immense bibliothèque d'exemples sonores.

Le Problème : Leur bibliothèque originale (BSD10k) était bonne, mais un peu petite. Ils ont trouvé une seconde bibliothèque, plus grande (BSD35k), mais elle était désordonnée — comme une bibliothèque où certains livres auraient le mauvais titre ou seraient écrits par des auteurs peu fiables.
La Solution : Ils ont créé une nouvelle bibliothèque appelée BSD-Grand. Ils ont agi comme des bibliothécaires stricts :
- Ils ont vérifié l'« auteur » (téléchargeur) pour s'assurer qu'il ne spammait pas le même son 1 000 fois.
- Ils ont utilisé un « modèle enseignant » pour revérifier les étiquettes, jetant les livres avec de mauvais titres.
- Résultat : Un ensemble d'entraînement plus propre, plus grand et plus diversifié qui a aidé l'IA à apprendre sans être confondue par de mauvaises données.

4. Le Code de Conduite : Une Pensée Hiérarchique

Le défi exigeait que l'IA respecte l'« arbre généalogique » des sons.

L'Approche Plate : Imaginez un étudiant qui mémorise simplement 23 réponses spécifiques sans connaître les catégories. Il pourrait deviner « Voiture de police » correctement mais échouer à réaliser qu'elle appartient aux « Véhicules d'urgence ».
L'Approche Hiérarchique : L'équipe a intégré un « Code de conduite » dans l'IA. Ils ont utilisé deux stratégies :
1. Classificateur Global : L'IA apprend les grandes catégories (5 groupes) et les petites catégories (23 groupes) en même temps, comme un étudiant étudiant à la fois les titres de chapitres et les paragraphes spécifiques.
2. Classificateur Local (LCL) : L'IA décide d'abord de la grande catégorie, puis zoome pour choisir le son spécifique. Si elle pense que la grande catégorie est « Nature », elle ne considérera même pas les sons de « Trafic ». Cela évite les erreurs stupides.

5. Le Polissage Final : La Surveillance de Quartier « KNN »

Même après l'entraînement, l'IA hésitait parfois. Pour corriger cela, l'équipe a ajouté une étape de post-traitement KNN (K-Nearest Neighbors).

L'Analogie : Imaginez que l'IA hésite entre un « Chat » ou un « Chien ». Au lieu de deviner aveuglément, elle consulte sa « banque de mémoire » de sons d'entraînement. Elle trouve les 10 sons qui ressemblent le plus au son actuel. Si 9 de ces voisins étaient des « Chats », l'IA met à jour sa supposition en « Chat ».
Distillation de Connaissances : Ils ont également utilisé cette logique de « surveillance de quartier » pour enseigner à l'IA pendant l'entraînement, lui disant essentiellement : « Regarde ce que tes voisins pensent, et essaie de t'aligner sur eux. »

Les Résultats : Comment ont-ils réussi ?

L'équipe a soumis quatre versions différentes de leur système, allant d'un modèle unique à un « comité » de modèles votant ensemble.

La Référence (Baseline) : Le point de départ (sans leurs améliorations) a obtenu 78,45 %.
Le Meilleur Modèle Unique : En utilisant l'« oreille Log-STFT » et la « Surveillance de Quartier », ils sont passés à 80,84 %.
L'Ensemble (Le Comité) : Leur meilleur système combinait l'oreille Log-STFT, l'oreille Log-Mel, le classificateur plat et le classificateur local en une seule super-équipe. En faisant la moyenne de leurs votes, ils ont atteint un score de 81,25 %.

En Résumé :
L'équipe n'a pas inventé un nouveau type d'audition ; elle a construit un système plus intelligent en donnant à une IA générale (CLAP) des oreilles spécialisées, en nettoyant sa bibliothèque d'entraînement, en la forçant à suivre un arbre généalogique logique des sons, et en la laissant consulter ses « voisins » avant de prendre une décision finale. Cette combinaison leur a permis de trier les sons chaotiques du monde avec une grande précision.

Résumé Technique : Un Cadre Hiérarchique Multi-Branches Sensible à la Hiérarchie pour la Classification d'Audio Hétérogène

1. Définition du Problème

Ce travail traite de la Tâche 1 du Challenge DCASE 2026, qui se concentre sur la détection et la classification d'enregistrements audio hétérogènes selon la Taxonomie Sonore Large (Broad Sound Taxonomy - BST). Le défi consiste à reconnaître des événements sonores et des scènes acoustiques à partir d'enregistrements réels caractérisés par une diversité de contenus, de conditions d'enregistrement et de qualité de métadonnées.

La tâche de classification est structurée de manière hiérarchique :

Niveau supérieur : 5 classes larges.
Deuxième niveau : 23 catégories spécifiques regroupées sous les classes de niveau supérieur.

La métrique d'évaluation principale est le F1 hiérarchique (Hier. F1). Par conséquent, un système performant doit non seulement prédire avec précision la classe spécifique du deuxième niveau, mais aussi maintenir la cohérence avec la catégorie correspondante du niveau supérieur.

2. Méthodologie

Le système proposé s'appuie sur les représentations audio-texte de CLAP (Contrastive Language-Audio Pretraining), en les améliorant grâce à trois stratégies fondamentales : l'expansion du jeu de données, la modélisation acoustique multi-branches et l'affinement de la prédiction sensible à la hiérarchie.

2.1. Expansion du Jeu de Données : BSD-Grand

Pour améliorer la diversité des données et atténuer le bruit des étiquettes, les auteurs ont construit un ensemble d'entraînement étendu nommé BSD-Grand. Ce jeu de données combine les données d'entraînement officielles de BSD10k-v1.2 avec un sous-ensemble filtré de BSD35k.

Stratégie de Filtrage : Le sous-ensemble BSD35k a subi un nettoyage des métadonnées par catégorie (suppression des modèles spécifiques aux téléchargeurs et des descriptions bruitées), un filtrage par modèle enseignant utilisant les modèles de BSD10k-v1.2, et des contraintes au niveau du téléchargeur (limitation à 200 échantillons par téléchargeur) pour réduire le biais.
Résultat : Le manifeste d'entraînement final de BSD-Grand contient 20 529 échantillons (10 956 issus de BSD10k-v1.2 et 9 573 issus de BSD35k).

2.2. Cadre Acoustique Multi-Branches

L'architecture étend le modèle CLAP standard en introduisant des branches acoustiques spécifiques aux caractéristiques pour compléter l'information sémantique de haut niveau capturée par CLAP.

Branches Acoustiques : Trois branches distinctes traitent différentes caractéristiques acoustiques, chacune encodant l'entrée en un embedding compact fusionné avec les embeddings audio de CLAP via un module de fusion résiduelle à porte (gated residual fusion) :
- Branche log-Mel : Utilise un encodeur de Convolution Dynamique de Fréquence Multi-Dilatée (MDFD) avec un pooling d'attention.
- Branche MFCC : Utilise un réseau de neurones à délai temporel (TDNN) résiduel avec un pooling moyenne-maximum.
- Branche log-STFT : Utilise un Transformer à 6 couches avec un pooling temporel.
Adaptation Textuelle : Un Adaptateur de Porte Autoroutière (Highway Gate Adapter) est appliqué spécifiquement à la branche log-STFT. Il génère une représentation résiduelle spécifique à la tâche ( $\Delta t$ ) à partir de l'embedding de texte de CLAP, contrôlée par une porte autoroutière apprenable pour affiner l'adaptation de la représentation textuelle tout en préservant la sémantique pré-entraînée.

2.3. Têtes de Prédiction Sensibles à la Hiérarchie

Pour exploiter la relation hiérarchique entre les 5 classes de niveau supérieur et les 23 catégories de deuxième niveau, le système étudie trois variantes de têtes de classification :

Tête Plate (Flat Head) : Projette les représentations fusionnées directement vers 23 classes, ignorant la taxonomie de niveau supérieur.
Tête de Classificateur Global (GC) Head : Une approche d'apprentissage multi-tâche produisant des prédictions pour les catégories de niveau supérieur et de deuxième niveau simultanément, optimisée via une somme pondérée de pertes de cross-entropie.
Tête de Classificateur Local par Niveau (LCL) Head : Entraîne des classificateurs séparés pour chaque niveau mais emploie un mécanisme de correction descendante (top-down) lors de l'inférence (par exemple, multiplication de probabilités) pour imposer la cohérence hiérarchique et empêcher la propagation des erreurs du niveau supérieur vers les niveaux inférieurs.

2.4. Post-traitement par KNN et Distillation

Le système utilise une stratégie de K-Plus Proches Voisins (KNN) pour affiner les prédictions :

Post-traitement : Une banque d'embeddings d'entraînement est construite en utilisant les représentations de caractéristiques concaténées du modèle log-STFT entraîné et des embeddings CLAP originaux. Pour les échantillons d'évaluation, la prédiction finale est une combinaison pondérée de la sortie du modèle et d'un a priori de voisinage dérivé des $k$ -plus proches voisins dans la banque.
Distillation de Connaissances : L'a priori de voisinage basé sur KNN est également utilisé comme supervision douce (soft supervision) pendant l'entraînement. Un modèle étudiant est optimisé en utilisant à la fois les étiquettes de vérité terrain et la distribution cible basée sur KNN générée par un modèle enseignant.

3. Résultats Expérimentaux

Les expériences ont été menées via une validation croisée à 5 plis (5-fold cross-validation) sur le jeu de données BSD10k-v1.2.

3.1. Analyse des Composants

Impact du Jeu de Données : Le passage de la ligne de base (BSD10k-v1.2) à BSD-Grand a amélioré le Hier. F1 de 78,45 % à 79,64 %.
Branches de Caractéristiques : Parmi les branches acoustiques, la branche log-STFT a produit la meilleure performance de modèle unique (80,54 % de Hier. F1), surpassant log-Mel (79,95 %) et MFCC (80,13 %).
Têtes de Prédiction : La tête Plate (Flat) a atteint la meilleure performance parmi les variantes à tête unique (80,57 %), suivie de LCL (80,20 %) et GC (80,01 %).
Post-traitement : L'application du post-traitement basé sur KNN au modèle log-STFT a encore augmenté la performance à 80,84 % de Hier. F1.

3.2. Performance des Systèmes Soumis

Les auteurs ont soumis quatre systèmes, dont les meilleurs résultats sont résumés ci-dessous :

Système 1 (Modèle Unique) : Architecture log-STFT avec post-traitement KNN. A atteint 80,84 % de Hier. F1.
Système 3 (Ensemble, CV à 5 plis) : Un ensemble de modèles KD-log-STFT, log-Mel, Flat et LCL entraînés avec une validation croisée à 5 plis. Ce système a atteint la meilleure performance globale de 81,25 % de Hier. F1.
Système 4 (Ensemble Étendu) : Un ensemble étendu incorporant les têtes MFCC et GC. A atteint 81,18 % de Hier. F1.

Tous les systèmes soumis ont nettement dépassé la ligne de base de 78,45 %.

4. Signification et Revendications

L'article affirme que le cadre proposé démontre des améliorations constantes par rapport à la ligne de base basée sur CLAP grâce à :

Expansion du Jeu de Données : La construction de BSD-Grand réduit efficacement le bruit des étiquettes et le biais des téléchargeurs tout en augmentant la diversité des données.
Diversification des Caractéristiques : L'intégration de branches acoustiques spécifiques aux caractéristiques (particulièrement log-STFT) complète la richesse sémantique de CLAP, répondant aux limites de la dépendance exclusive à l'alignement texte-audio.
Cohérence Hiérarchique : L'utilisation de têtes sensibles à la hiérarchie (spécifiquement LCL avec correction descendante) et l'affinement par KNN garantissent que les prédictions respectent la structure de la taxonomie BST.
Synergie d'Ensemble : Les meilleurs résultats sont obtenus en combinant des modèles dotés de caractéristiques acoustiques et de stratégies de classification complémentaires, soulignant les bénéfices de l'apprentissage d'ensemble pour la classification d'audio hétérogène.

Les auteurs concluent que leur meilleur système d'ensemble (Système 3) atteint un Hier. F1 de 81,25 %, validant l'efficacité de la modélisation acoustique multi-branches et de l'affinement sensible à la hiérarchie pour le challenge DCASE 2026 Tâche 1.