Embedding-Space Diffusion for Zero-Shot Environmental Sound Classification

Technische Samenvatting: Embedding-Ruimte Diffusie voor Zero-Shot Omgevingsgeluidclassificatie

Probleemstelling
Zero-shot learning (ZSL) streeft ernaar modellen in staat te stellen om ongeziene klassen te classificeren door gebruik te maken van semantische informatie, waarbij de kloof tussen trainings- en testsets met disjuncte klassensets wordt overbrugd. Hoewel ZSL aanzienlijk onderzoek heeft gezien in computer vision, blijft de toepassing ervan op omgevingsaudio onderbelicht en levert het matige prestaties op in bestaande studies. Huidige generatieve benaderingen voor omgevingsaudio in ZSL vertrouwen grotendeels op niet-generatieve methoden (bijv. compatibiliteitsnetwerken) of maken geen gebruik van het succes van generatieve modellen dat in visuele taken wordt waargenomen. Bovendien zijn bestaande generatieve benaderingen in ZSL vaak afhankelijk van grote, vooraf getrainde modellen (zoals Stable Diffusion) die gebonden zijn aan specifieke modaliteiten (beelden en tekst), wat de toepasbaarheid beperkt in domeinen waar dergelijke vooraf getrainde fundamenten mogelijk niet bestaan of waar feature-data tijdens de pre-training niet zichtbaar mag zijn.

Methodologie
Het artikel stelt ZeroDiffusion voor, een nieuwe generatieve methode voor zero-shot omgevingsgeluidclassificatie die volledig binnen de embedding-ruimte opereert, waardoor de noodzaak voor vooraf getrainde generatieve modellen wordt vermeden. De methodologie bestaat uit drie primaire fasen:

1. Embedding Generatie:

   • Klasse-embeddings ($\sigma(z)$): Klasse-labels worden omgezet in 300-dimensionale vectoren met behulp van een vooraf getraind Word2Vec-model. Om deze embeddings te verrijken, zijn synoniemen toegevoegd voor de meeste datasets (behalve ARCA23K-FSD en GTZAN vanwege omvang of genrebeperkingen).
   • Audio-embeddings ($\tau(w)$): Een aangepast YAMNet-model wordt getraind op geziene klassen om 128-dimensionale audio-embeddings te extraheren uit log Mel-spectrogrammen. Dit zorgt ervoor dat de feature-extractor de ongeziene klassen niet onbedoeld "ziet" tijdens de pre-training.

2. Training van het Diffusiemodel:

   • Een lichtgewicht, volledig verbonden neuraal netwerk wordt getraind als een diffusiemodel, geconditioneerd op klasse-auxiliële data.
   • Input: Het model neemt een met ruis geïnjecteerde audio-embedding ($\tilde{\tau}(w)$) geconcateneerd met een gejitterde klasse-embedding ($\tilde{\sigma}(z)$).
   • Doel: Het model leert de originele audio-embedding te reconstrueren vanuit de ruizige input, geconditioneerd op de klasse-embedding.
   • Verliesfunctie: Het trainingsdoel combineert vijf componenten: Mean Squared Error (reconstructie), Maximum Mean Discrepancy (distributie-uitlijning), variatieverlies (diversiteit), globale centroid-uitlijning en cosine similarity loss (directionele uitlijning).
   • Generatie: Eenmaal getraind, genereert het model synthetische audio-embeddings voor ongeziene klassen door hun bijbehorende klasse-embeddings met willekeurige ruis te voeden.

3. Classifier Training:

   • Een niet-lineair compatibiliteitsnetwerk (gebaseerd op Attribute Label Embedding, ALE) wordt getraind met een combinatie van echte audio-embeddings van geziene klassen en de synthetische embeddings gegenereerd voor ongeziene klassen.
   • De classifier leert een gelijkenisfunctie $f(w, z)$ om feature-data naar klasse-labels te mappen zonder ooit de werkelijke audio-samples van de ongeziene klassen te hebben gezien.

Experimentele Opzet
De studie evalueert vier methoden over zes datasets: ESC-50, ARCA23K-FSD, FSC22, UrbanSound8k, TAU Urban Acoustics 2019 en GTZAN.

• Baselines:
  • Niet-lineaire ALE: Een state-of-the-art niet-generatieve baseline voor omgevingsaudio.
  • CADA-VAE: Een cross-gealigneerde en distributie-gealigneerde Variational Autoencoder aangepast van computer vision.
  • LisGAN: Een Leveraging Invariant Side Generative Adversarial Network, aangepast aan de inductieve setting (verwijdering van transductieve componenten).
• Protocol: Experimenten werden tien keer herhaald met verschillende willekeurige seeds. Standaard niet-lineaire ALE-partities werden gebruikt voor ESC-50, terwijl nieuwe willekeurige partities werden gecreëerd voor de andere datasets.

Belangrijkste Resultaten

• Prestaties: ZeroDiffusion behaalde de hoogste gemiddelde nauwkeurigheid over alle zes de datasets (34,86%), waarmee het de niet-lineaire ALE-baseline (32,27%), CADA-VAE (31,37%) en LisGAN (29,36%) overtrof.
• Dataset-specifieke details:
  • ZeroDiffusion vertoonde significante verbeteringen op ARCA23K-FSD en TAU Urban Acoustics 2019.
  • Het presteerde competitief met de baselines op UrbanSound8k en GTZAN.
  • Op ESC-50 en FSC22 waren de resultaten gemengd; ZeroDiffusion presteerde niet consistent beter dan alle methoden in elke fold, en de prestaties waren opvallend instabiel op de FSC22 testsets.
• Stabiliteit: Generatieve methoden (inclusief ZeroDiffusion) vertoonden hogere standaarddeviaties over runs vergeleken met de niet-generatieve ALE-baseline. Bijvoorbeeld, CADA-VAE vertoonde tot 8,08% standaarddeviatie op UrbanSound8k, terwijl ALE rond de 1% bleef.
• Data-afhankelijkheid: De auteurs observeerden dat de prestaties van ZeroDiffusion correleerden met de datasetgrootte. Datasets met meer samples per klasse (bijv. TAU 2019 met 1.440 samples/klasse) leverden betere resultaten op, terwijl kleinere datasets (ESC-50 met 40 samples/klasse) instabiliteit vertoonden.

Bijdragen en Betekenis
Het artikel claimt de volgende bijdragen:

1. Eerste Embedding-Ruimte Diffusie voor ZSL: Introduceert de eerste diffusie-gebaseerde methode voor zero-shot learning die in de embedding-ruimte opereert zonder afhankelijk te zijn van vooraf getrainde generatieve modellen (zoals Stable Diffusion), waardoor het modaliteit-agnostisch is.
2. Nieuwe State-of-the-Art: Vestigt een nieuwe state-of-the-art voor zero-shot omgevingsgeluidclassificatie, waarbij het bestaande methoden over zes diverse audio-datasets evenaart of overtreft.
3. Nieuwe Benchmarks: Levert de eerste zero-shot learning benchmarks voor FSC22, ARCA23K-FSD en TAU Urban Acoustics 2019.
4. Uitgebreide Vergelijking: Biedt de eerste directe vergelijking van GANs (LisGAN), VAEs (CADA-VAE) en Diffusiemodellen voor zero-shot omgevingsgeluidclassificatie.

Betekenis en Beperkingen
De auteurs positioneren dit werk als een fundering die diffusiemodellen als een veelbelovende aanpak voor zero-shot learning vestigt, wat een basis biedt voor toekomstig onderzoek. Echter, het artikel is bescheiden over de betrouwbaarheid van generatieve methoden. Het erkent expliciet dat hoewel ZeroDiffusion de nauwkeurigheid verbetert, het lijdt onder hogere variantie en instabiliteit vergeleken met niet-generatieve baselines, met name op kleinere datasets. De auteurs suggereren dat het gebrek aan theoretische garanties in zero-shot learning en de afhankelijkheid van datasetgrootte kritieke gebieden zijn voor toekomstig begrip. Het werk beweert niet de instabiliteit van generatieve modellen op te lossen, maar demonstreert eerder hun potentieel voor hogere nauwkeurigheid wanneer er voldoende data beschikbaar is.