Soundscapes in Spectrograms: Pioneering Multilabel Classification for South Asian Sounds

Deze studie introduceert een spectrogram-gebaseerde CNN-methode die MFCC-technieken overtreft bij het uitvoeren van multilabel-classificatie van complexe Zuid-Aziatische geluiden, zoals aangetoond op de SAS-KIIT- en UrbanSound8K-datasets.

De kern

De Geluidssymfonie van Zuid-Azië: Een Simpele Uitleg

Stel je voor dat je in een drukke markt in Zuid-Azië staat. Het is er een chaos van geluiden: een olifant die brult, een trein die passeert, een fluit die speelt, en honderden mensen die praten, allemaal tegelijk. Voor een mens is het lastig om te zeggen: "Ah, daar is de trein!" en "Oh, en daar de fluit!" tegelijk. Voor een computer is dit echter een nachtmerrie.

Dit wetenschappelijke artikel vertelt het verhaal van een nieuwe manier om computers te leren luisteren naar deze complexe geluidsmengsels. Hier is hoe ze het deden, vertaald naar alledaags taalgebruik.

1. Het Probleem: De "Luie" Computer

Vroeger probeerden computers geluid te begrijpen door te kijken naar de "vingerafdrukken" van de geluidsgolven (een techniek genaamd MFCC). Maar dit was alsof je probeert een schilderij te reconstrueren door alleen naar de kleuren te kijken, zonder naar de vormen te kijken. Als er veel geluiden door elkaar heen gaan (zoals in Zuid-Azië), raken die vingerafdrukken door elkaar en raakt de computer in de war.

2. De Oplossing: Een Foto van het Geluid

De onderzoekers bedachten een slimme truc: in plaats van alleen naar de "vingerafdruk" te kijken, maken ze een foto van het geluid.

• De Analogie: Stel je voor dat je een geluidsopname in een microfoon doet. De computer maakt daar een spectrogram van. Dit is een soort "sonische foto" of een heat-map.
  • De horizontale lijn is de tijd (zoals een filmrol).
  • De verticale lijn is de hoogte van het geluid (zoals de toonhoogte van een piano).
  • De kleuren tonen hoe hard het geluid is.

Door naar deze foto te kijken, kan de computer patronen zien die het menselijk oor ook ziet: "Oh, die rechte lijn is een trein, en die gekrulde lijn is een fluit." Zelfs als ze overlappen, blijven de vormen herkenbaar.

3. De "Oog" van de Computer (CNN)

Om deze foto's te lezen, gebruikten ze een Convolutional Neural Network (CNN).

• De Analogie: Denk aan een zeer oplettende detective die duizenden foto's van geluiden heeft gezien. Deze detective (de AI) kijkt niet naar één pixel, maar naar kleine stukjes van de foto tegelijk. Hij leert: "Als ik die specifieke vorm van een 'Dhak'-trommel zie, en die vorm van een 'Azan'-roep, dan weet ik dat beide geluiden in deze foto aanwezig zijn."
• Het is alsof je een puzzel oplost: de detective herkent de randstukken van de puzzel (de geluiden) en legt ze perfect in elkaar, zelfs als de puzzelstukken door elkaar liggen.

4. De Oefening: Twee Soorten "Geluidspotten"

Om te testen of hun detective echt goed was, gebruikten ze twee soorten oefeningen:

1. De Zuid-Aziatische Pot (SAS-KIIT): Een verzameling geluiden uit landen als India en Bangladesh. Denk aan traditionele muziek, olifanten, en stormen. Dit is erg lastig omdat de geluiden heel specifiek en vaak door elkaar gaan.
2. De Stedelijke Pot (UrbanSound8K): Een bekende verzameling van stadsgeruis, zoals sirenes, honden die blaffen en boormachines.

Ze maakten "mixes": ze namen 1 tot 4 geluiden en draaiden ze tegelijk af, zodat de computer moest raden welke geluiden erin zaten.

5. Het Resultaat: De Winnaar

Het resultaat was duidelijk:

• De oude methode (alleen de "vingerafdrukken") gaf vaak de verkeerde antwoorden, vooral bij de complexe Zuid-Aziatische geluiden.
• De nieuwe methode (de "spectrogram-foto's" + de detective) was veel beter.
  • Bij de Zuid-Aziatische geluiden haalde hij 96% correctie.
  • Bij de stedelijke geluiden haalde hij 85% correctie.

Zelfs als ze vergeleken met andere super-slimme, complexe systemen (zoals FACE en PANNs), deed hun simpele "foto-methode" het beter of net zo goed, maar dan veel sneller en met minder rekenkracht.

Waarom is dit belangrijk?

Dit onderzoek is als het geven van een nieuw paar brillen aan computers.

• Voor steden: Het helpt om lawaai te monitoren of gevaarlijke situaties (zoals schoten of ongevallen) te detecteren.
• Voor cultuur: Het helpt om de unieke geluiden van Zuid-Azië (zoals specifieke instrumenten of gebeden) vast te leggen en te bewaren, zelfs als ze in een drukke straat worden opgenomen.

Kortom: Door geluid om te zetten in een visuele foto en een slimme detective te laten kijken, kunnen computers nu eindelijk goed luisteren naar de prachtige, maar chaotische symfonie van Zuid-Azië.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Soundscapes in Spectrograms: Pioneering Multilabel Classification for South Asian Sounds", geschreven in het Nederlands.

Probleemstelling

Het classificeren van omgevingsgeluiden (Environmental Sound Classification - ESC) is cruciaal voor stedelijk toezicht, openbare veiligheid en het behoud van culturele klanklandschappen. De auteurs benadrukken dat dit in Zuid-Azië een unieke uitdaging vormt vanwege de rijke en dynamische auditieve omgeving. In deze regio overlappen natuurlijke, menselijke en culturele geluiden vaak, wat leidt tot complexe geluidsmixes.

Traditionele methoden, die vaak vertrouwen op Blind Source Separation (BSS) technieken (zoals ICA en PCA) of Mel-Frequency Cepstral Coefficients (MFCC), blijken ontoereikend voor deze scenario's:

• BSS-methoden vereisen vaak vooraf kennis van het aantal bronnen of schone voorbeelden van geluidsklassen, wat in realistische, dynamische omgevingen niet beschikbaar is.
• MFCC-methoden worstelen vaak met het vastleggen van fijne tijds- en frequentievariaties die nodig zijn om overlappende geluiden te onderscheiden.
• Bestaande oplossingen zijn vaak getraind op beperkte datasets en richten zich op single-label taken, terwijl real-world scenario's multilabel classificatie vereisen.

Methodologie

De auteurs stellen een nieuwe, spectrogram-gebaseerde diepe leerbenadering voor om multilabel en multiclass classificatie van gemengde audiosamples op te lossen.

1. Dataverzameling en Voorbereiding:

• SAS-KIIT Dataset: Een uitgebreide dataset met 21 geluidsklassen specifiek voor Zuid-Azië (bijv. traditionele instrumenten zoals Tanpura en Dhak, religieuze geluiden, en stedelijke geluiden). De dataset bevat 9.450 segmenten van 4 seconden.
• UrbanSound8K Dataset: Een benchmark-dataset met 10 klassen van stedelijke geluiden, gebruikt voor validatie en vergelijking.
• Audio Mixing: Om realistische scenario's na te bootsen, werden 8.000 gemengde audiosamples gegenereerd door 1 tot 4 individuele geluidssegmenten te combineren.
• Feature Extractie:
  • Mel-Spectrogrammen: De audio wordt omgezet in tijd-frequentie representaties (PNG-afbeeldingen) met behulp van de Short-Time Fourier Transform (STFT) en een Mel-filterschaal. Dit behoudt de structurele informatie van het geluid.
  • MFCC: Als vergelijkingsbasis worden ook MFCC-features (40 coëfficiënten) berekend.

2. Model Architectuur (CNN):
Het voorgestelde model is een Convolutional Neural Network (CNN) dat direct ingaat op de spectrogram-afbeeldingen:

• Convolutielagen: Start met 64 filters en schaal op naar 128, 256 en 512 filters (3x3 kernels, ReLU activatie) om diepere features te extraheren.
• Pooling: Max-pooling lagen verminderen de ruimtelijke dimensies (van 128x128 naar 32x32) om overfitting te minimaliseren.
• Volledig verbonden lagen: Een laag met 128 neuronen gevolgd door een outputlaag met $C$ neuronen (aantal klassen).
• Verliesfunctie: Voor multilabel classificatie wordt BCEWithLogitsLoss (Binary Cross-Entropy met Logits) gebruikt in combinatie met een Sigmoid-activatie. Dit behandelt elke label onafhankelijk, wat essentieel is voor het detecteren van meerdere geluiden tegelijk.

3. Training:
Het model wordt getraind over 100 epochs met een batchgrootte van 16, geoptimaliseerd met de Adam-algoritme (learning rate 0.001). De data is opgesplitst in 70% training, 20% validatie en 10% test.

Kernbijdragen

• Spectrogram-gedreven Multilabel Classificatie: In plaats van complexe bronseparatie of MFCC's, gebruikt het model spectrogrammen als directe input voor een CNN, wat het mogelijk maakt om complexe, overlappende patronen te leren zonder expliciete bronseparatie.
• Zuid-Aziatische Focus: De introductie en evaluatie op de SAS-KIIT dataset, die specifiek is samengesteld voor de culturele en natuurlijke geluiden van Zuid-Azië (21 klassen), vult een gat in de huidige literatuur die vaak westerse of algemene datasets gebruikt.
• Robuustheid in Gemengde Scenarios: Het model is getest op zowel vaste (3 bronnen) als variabele (1-4 bronnen) gemengde datasets, wat de toepasbaarheid in real-world omgevingen onderstreept.
• Efficiëntie: Het model biedt een eenvoudige architectuur die prestaties levert die concurreren met of beter zijn dan complexere state-of-the-art modellen, wat het geschikt maakt voor implementatie op middelen-beperkte apparaten.

Resultaten

De prestaties werden gemeten aan de hand van precisie (P), recall (R), F1-score en nauwkeurigheid (Acc.) op beide datasets.

Vaste mix (3 bronnen):

• SAS-KIIT: Spectrogram (95,42% nauwkeurigheid) vs. MFCC (93,91%).
• UrbanSound8K: Spectrogram (86,36%) vs. MFCC (84,16%).

Variabele mix (1-4 bronnen):

• SAS-KIIT: Spectrogram bereikte 96,37% nauwkeurigheid (F1-score 0,84), significant beter dan MFCC (94,63%).
• UrbanSound8K: Spectrogram behaalde 85,26% nauwkeurigheid, opnieuw superieur aan MFCC (83,94%).

Vergelijking met State-of-the-Art (SOTA):
Op de variabele mix-dataset werd het voorgestelde model vergeleken met FACE en PANNs (Pretrained Audio Neural Networks):

• Op SAS-KIIT overtrof het voorgestelde model (96,37%) zowel FACE (95,22%) als PANNs (92,51%).
• Op UrbanSound8K presteerde het model (85,26%) beter dan FACE (84,54%) en PANNs (83,26%).
• Het model boekt deze verbeteringen met een aanzienlijk eenvoudigere architectuur en lagere rekenkosten.

Betekenis en Conclusie

Dit onderzoek demonstreert dat spectrogram-gebaseerde deep learning-methoden superieur zijn aan traditionele MFCC-methoden voor het classificeren van complexe, overlappende geluiden in Zuid-Azië. De voorgestelde CNN-architectuur biedt een robuuste, nauwkeurige en computerefficiënte oplossing voor multilabel ESC.

De implicaties zijn breed:

1. Stedelijk Toezicht: Betere detectie van anomalieën en real-time monitoring in drukke steden.
2. Cultureel Behoud: Het vermogen om specifieke culturele geluiden (zoals religieuze ceremonies of traditionele muziek) te identificeren en documenteren.
3. Toekomstige Toepassingen: De eenvoud van het model maakt het ideaal voor deploy op randapparatuur (edge devices) voor real-time analyse in gebieden met beperkte rekenkracht.

De auteurs suggereren als toekomstig werk het integreren van attention-mechanismen of temporele sequentiemodellering om contextuele afhankelijkheden nog beter vast te leggen en het uitbreiden naar multi-modale data-invoer.