🤖 AI

A Multi-Branch Hierarchy-Aware Framework for Heterogeneous Audio Classification

Dit artikel presenteert een multi-branch hiërarchie-bewust framework voor de DCASE 2026 Challenge dat gebruikmaakt van CLAP-gebaseerde representaties, uitgebreide trainingsdata en KNN-gebaseerde post-processing om state-of-the-art hiërarchische F1-scores te behalen op heterogene audio-classificatietaken.

Oorspronkelijke auteurs: Beile Ning, Jiayi Yu, Zitong Wang, Yufei Hu, Wenjun Xu, Yuanhang Qian, Zhongxin Bai, Gongping Huang

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Beile Ning, Jiayi Yu, Zitong Wang, Yufei Hu, Wenjun Xu, Yuanhang Qian, Zhongxin Bai, Gongping Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je door een bruisende stad loopt. Je oren worden overspoeld door een chaotische mix van geluiden: een sirene, een blaffende hond, regen die tegen een raam tikt en een juichende menigte. Je brein hoort niet alleen maar "lawaai"; het sorteert deze geluiden direct in een mentaal archiefkastje. Het weet dat een sirene een "Emergency Vehicle" is (Topniveau) en specifiek een "Police Car" (Tweede niveau).

De DCASE 2026 Challenge vroeg computers om precies dit te doen: rommelige, realistische audio-opnames beluisteren en deze sorteren in een specifieke "Broad Sound Taxonomy" (BST). De crux was dat de computer het specifieke geluid juist moest identificeren én ervoor moest zorgen dat het in de juiste grote categorie paste. Als de computer "Police Car" raadde, mocht het niet per ongeluk een "Bird" noemen.

Hier is hoe het team van de Wuhan University hun "super-luisteraar" bouwde om deze uitdaging te winnen, uitgelegd via eenvoudige analogieën.

1. De Kern van het Brein: De "CLAP" Vertaler

In het hart van hun systeem zit een vooraf getrainde AI genaamd CLAP. Zie CLAP als een polyglot vertaler die miljoenen boeken heeft gelezen en naar miljoenen liedjes heeft geluisterd. Het begrijpt de betekenis van geluid (bijv. "dit klinkt als een feestje") door audio te verbinden aan tekst.

CLAP is echter een generalist; het is goed in grote ideeën, maar mist soms de kleine, specifieke details die nodig zijn om tussen twee zeer vergelijkbare geluiden te onderscheiden. Het team had CLAP een set gespecialiseerde instrumenten moeten geven.

2. De Gespecialiseerde Instrumenten: Drie Verschillende "Oren"

Om CLAP te helpen details te horen, voegde het team drie gespecialiseerde "akoestische takken" toe. Stel je voor dat je het hoofdbrein drie extra paar oren geeft, elk afgestemd op een andere frequentie:

Het Log-Mel Oor: Dit oor is als een muzikant die luistert naar de toonhoogte en klankkleur van een instrument. Het is erg goed in het herkennen van de "vorm" van het geluid.
Het MFCC Oor: Dit oor is als een taalkundige die de structuur van spraak analyseert. Het breekt het geluid af in de bouwstenen ervan.
Het Log-STFT Oor: Dit oor is als een hogesnelheidscamera die snapshots maakt van de geluidsgolf. Het legt de snelle veranderingen in het geluid over de tijd vast.

De Magie: Het team koos niet zomaar één; ze lieten alle drie de "oren" naar het geluid luisteren en combineerden vervolgens hun meningen met de "hersenen" van CLAP. Het Log-STFT oor bleek op zichzelf de meest gevoelige luisteraar te zijn en fungeerde als de ster van de show.

3. De Trainingsgrond: Een Grotere, Schonere Bibliotheek

Om het systeem te onderwijzen, hadden ze een enorme bibliotheek met geluidvoorbeelden nodig.

Het Probleem: Hun oorspronkelijke bibliotheek (BSD10k) was goed, maar een beetje klein. Ze vonden een tweede, grotere bibliotheek (BSD35k), maar die was rommelig—als een bibliotheek waar sommige boeken de verkeerde titels hadden of geschreven waren door onbetrouwbare auteurs.
De Oplossing: Ze creëerden een nieuwe bibliotheek genaamd BSD-Grand. Ze traden op als strikte bibliothecarissen:
- Ze controleerden de "auteur" (uploader) om te zorgen dat er niet duizend keer hetzelfde geluid werd gespamd.
- Ze gebruikten een "teacher model" om de labels te controlen en gooiden de boeken met de verkeerde titels weg.
- Resultaat: Een schonere, grotere en diversere trainingsset die de AI hielp leren zonder in de war te raken door slechte data.

4. Het Regelboek: Hiërarchisch Denken

De uitdaging vereiste dat de AI de "stamboom" van geluiden respecteerde.

De Platte Benadering: Stel je een student voor die gewoon 23 specifieke antwoorden uit het hoofd leert zonder de categorieën te kennen. Die kan misschien "Police Car" correct raden, maar beseft niet dat het bij "Emergency Vehicles" hoort.
De Hiërarchische Benadering: Het team bouwde een "Regelboek" in de AI. Ze gebruikten twee strategieën:
1. Global Classifier: De AI leert de grote categorieën (5 groepen) en de kleine categorieën (23 groepen) tegelijkertijd, zoals een student die zowel de hoofdstuktitels als de specifieke paragrafen bestudeert.
2. Local Classifier (LCL): De AI bepaalt eerst de grote categorie en zoomt dan in om het specifieke geluid te kiezen. Als de AI denkt dat de grote categorie "Nature" is, zal hij geen "Traffic" geluiden overwegen. Dit voorkomt domme fouten.

5. De Laatste Afwerking: De "KNN" Buurtwacht

Zelfs na de training aarzelde de AI soms. Om dit op te lossen, voegde het team een KNN (K-Nearest Neighbors) post-processing stap toe.

De Analogie: Stel je voor dat de AI onzeker is of een geluid een "Kat" of een "Hond" is. In plaats van blind te gokken, kijkt hij in zijn "geheugenbank" van trainingsgeluiden. Hij vindt de 10 geluiden die het meest lijken op het huidige geluid. Als 9 van die buren "Katten" waren, past de AI zijn gok aan naar "Kat".
Knowledge Distillation: Ze gebruikten deze "buurtwacht"-logica ook om de AI tijdens de training te onderwijzen, wat in feite betekent: "Kijk naar wat je buren denken en probeer je daarop af te stemmen."

De Resultaten: Hoe hebben ze het gedaan?

Het team diende vier verschillende versies van hun systeem in, variërend van een enkel model tot een "comité" van modellen die samen stemmen.

De Baseline: Het startpunt (zonder hun verbeteringen) scoorde 78.45%.
Het Beste Enkele Model: Door het gebruik van het "Log-STFT oor" en de "Buurtwacht", sprongen ze naar 80.84%.
De Ensemble (Het Comité): Hun beste systeem combineerde het Log-STFT oor, het Log-Mel oor, de Flat classifier en de Local Classifier tot één superteam. Door hun stemmen te middelen, bereikten ze een score van 81.25%.

Samenvattend:
Het team heeft niet een nieuw type gehoor uitgevonden; ze bouwden een slimmer systeem door een algemene AI (CLAP) te voorzien van gespecialiseerde oren, hun trainingsbibliotheek op te schonen, de AI te dwingen een logische stamboom van geluiden te volgen, en de AI te laten overleggen met zijn "buren" voordat er een definitieve beslissing wordt genomen. Deze combinatie stelde hen in staat om de chaotische geluiden van de wereld met een hoge nauwkeurigheid te sorteren.

Technisch overzicht: Een Multi-Branch Hiërarchie-bewust Framework voor Heterogene Audio Classificatie

1. Probleemdefinitie

Dit werk richt zich op Taak 1 van de DCASE 2026 Challenge, die zich concentreert op de detectie en classificatie van heterogene audio-opnames volgens de Broad Sound Taxonomy (BST). De uitdaging omvat het herkennen van geluidsevenementen en akoestische scènes uit real-world opnames die worden gekenmerkt door diverse inhoud, opnamecondities en metadata-kwaliteit.

De classificatietaak is hiërarchisch gestructureerd:

Topniveau: 5 brede klassen.
Tweede niveau: 23 specifieke categorieën gegroepeerd onder de top-level klassen.

De primaire evaluatiemetriek is de Hiërarchische F1-score (Hier. F1). Bij een succesvol systeem moet daarom niet alleen de specifieke klasse op het tweede niveau nauwkeurig worden voorspeld, maar moet deze ook consistent zijn met de bijbehorende top-level categorie.

2. Methodologie

Het voorgestelde systeem bouwt voort op CLAP (Contrastive Language-Audio Pretraining) audio-tekst representaties en verbetert deze via drie kernstrategieën: dataset-expansie, multi-branch akoestische modellering en hiërarchie-bewuste voorspellingsverfijning.

2.1. Dataset-expansie: BSD-Grand

Om de datadiversiteit te verbeteren en labelruis te verminderen, hebben de auteurs een uitgebreide trainingsset geconstrueerd genaamd BSD-Grand. Deze dataset combineert de officiële BSD10k-v1.2 trainingsdata met een gefilterde subset van BSD35k.

Filterstrategie: De BSD35k-subset onderging categorie-bewuste metadata-reiniging (het verwijderen van uploader-specifieke templates en ruisgevoelige beschrijvingen), filtering via een teacher-model met BSD10k-v1.2 modellen, en uploader-niveau beperkingen (het afkappen van samples per uploader naar 200) om bias te verminderen.
Resultaat: Het uiteindelijke BSD-Grand trainingsmanifest bevat 20.529 samples (10.956 van BSD10k-v1.2 en 9.573 van BSD35k).

2.2. Multi-Branch Akoestisch Framework

De architectuur breidt het standaard CLAP-model uit door feature-specifieke akoestische branches te introduceren om de hoogwaardige semantische informatie die door CLAP wordt vastgelegd, aan te vullen.

Akoestische Branches: Drie verschillende branches verwerken verschillende akoestische features, waarbij elke branch de input codeert in een compacte embedding die via een gated residual fusion module wordt samengevoegd met de CLAP audio-embeddings:
- log-Mel Branch: Gebruikt een Multi-Dilated Frequency Dynamic Convolution (MDFD) encoder met attention pooling.
- MFCC Branch: Gebruikt een residual Time Delay Neural Network (TDNN) met mean-max pooling.
- log-STFT Branch: Gebruikt een 6-laagse Transformer met temporal pooling.
Tekst Adaptatie: Een Highway Gate Adapter wordt specifiek toegepast op de log-STFT branch. Deze genereert een taakspecifieke residuele representatie ( $\Delta t$ ) vanuit de CLAP tekst-embedding, gecontroleerd door een leerbare highway gate om de tekstrepresentatie adaptief te verfijnen terwijl de pre-trained semantiek behouden blijft.

2.3. Hiërarchie-bewuste Voorspellingskoppen

Om de hiërarchische relatie tussen de 5 top-level en 23 second-level categorieën te benutten, onderzoekt het systeem drie varianten van classificatiekoppen:

Flat Head: Projecteert gefuseerde representaties direct naar 23 klassen, waarbij het top-level niveau wordt genegeerd.
Global Classifier (GC) Head: Een multi-task learning aanpak die gelijktijdig voorspellingen genereert voor zowel top-level als second-level categorieën, geoptimaliseerd via een gewogen som van cross-entropy losses.
Local Classifier per Level (LCL) Head: Traint aparte classifiers voor elk niveau, maar gebruikt een top-down correctiemechanisme tijdens inferentie (bijv. probabiliteitsvermenigvuldiging) om hiërarchische consistentie af te dwingen en te voorkomen dat fouten op top-niveau doorvloeien naar lagere niveaus.

2.4. KNN-gebaseerde Post-processing en Distillatie

Het systeem maakt gebruik van een K-Nearest Neighbors (KNN) strategie om voorspellingen te verfijnen:

Post-processing: Een training embedding bank wordt geconstrueerd met behulp van geconcateneerde feature representaties van het getrainde log-STFT model en de originele CLAP embeddings. Voor evaluatie samples is de uiteindelijke voorspelling een gewogen combinatie van de output van het model en een buur-prior afgeleid van de $k$ -dichtstbijzijnde buren in de bank.
Knowledge Distillation: De KNN-gebaseerde buur-prior wordt ook gebruikt als soft supervisie tijdens de training. Een student-model wordt geoptimaliseerd met zowel ground-truth labels als de KNN-gebaseerde doelverdeling gegenereerd door een teacher-model.

3. Experimentele Resultaten

Experimenten werden uitgevoerd met 5-voudige cross-validatie op de BSD10k-v1.2 dataset.

3.1. Componentanalyse

Impact van Dataset: De overstap van de baseline (BSD10k-v1.2) naar BSD-Grand verbeterde de Hier. F1 van 78,45% naar 79,64%.
Feature Branches: Onder de akoestische branches leverde de log-STFT branch de sterkste single-model prestatie (80,54% Hier. F1), wat beter is dan log-Mel (79,95%) en MFCC (80,13%).
Voorspellingskoppen: De Flat head behaalde de hoogste prestatie onder de single-head varianten (80,57%), gevolgd door LCL (80,20%) en GC (80,01%).
Post-processing: Het toepassen van KNN-gebaseerde post-processing op het log-STFT model verhoogde de prestatie verder naar 80,84% Hier. F1.

3.2. Prestaties van Ingediende Systemen

De auteurs hebben vier systemen ingediend, waarvan de beste resultaten hieronder worden samengevat:

Systeem 1 (Single Model): log-STFT architectuur met KNN post-processing. Behaalde 80,84% Hier. F1.
Systeem 3 (Ensemble, 5-fold CV): Een ensemble van KD-log-STFT, log-Mel, Flat en LCL modellen getraind met 5-voudige cross-validatie. Dit systeem behaalde de beste algehele prestatie van 81,25% Hier. F1.
Systeem 4 (Extended Ensemble): Een uitgebreid ensemble inclusief MFCC en GC heads. Behaalde 81,18% Hier. F1.

Alle ingediende systemen overtroffen de baseline van 78,45% aanzienlijk.

4. Betekenis en Claims

Het artikel claimt dat het voorgestelde framework consistente verbeteringen laat zien ten opzichte van de CLAP-gebaseerde baseline door:

Dataset-expansie: De constructie van BSD-Grand vermindert effectief labelruis en uploader-bias terwijl de datadiversiteit toeneemt.
Feature Diversificatie: De integratie van feature-specifieke akoestische branches (met name log-STFT) vult de semantische rijkdom van CLAP aan en adresseert de beperkingen van het uitsluitend vertrouwen op tekst-audio alignment.
Hiërarchische Consistentie: Het gebruik van hiërarchie-bewuste koppen (met name LCL met top-down correctie) en KNN-gebaseerde verfijning zorgt ervoor dat voorspellingen de BST-taxonomie structuur respecteren.
Ensemble Synergie: De beste resultaten worden bereikt door modellen te combineren met complementaire akoestische features en classificatiestrategieën, wat de voordelen van ensemble learning voor heterogene audio classificatie benadrukt.

De auteurs concluderen dat hun beste ensemble-systeem (Systeem 3) een Hier. F1 van 81,25% bereikt, wat de effectiviteit van multi-branch akoestische modellering en hiërarchie-bewuste verfijning voor de DCASE 2026 Taak 1 challenge valideert.