Device Invariance using Domain Adaptation on Acoustic Scene Classification

Stel je voor dat je een robot leert om de geluiden van de wereld te herkennen. Je wilt dat hij het verschil weet tussen een drukke stadstraat, een rustig park en een luidruchtig metrostation. Dit vakgebied wordt Acoustic Scene Classification genoemd. Lange tijd hebben wetenschappers deep learning gebruikt—computersystemen die leren door middel van voorbeelden—om robots deze geluiden te leren. Ze gebruiken hiervoor twee hoofdtypen "hersenen": één die naar geluid kijs als een afbeelding (een CNN, of Convolutional Neural Network) en één die tegelijkertijd aandacht besteedt aan het hele verhaal (een Transformer).

Echter, er is een lastig probleem. Als je je robot traint met een hoogwaardige microfoon uit een laboratorium, kan hij in de war raken wanneer je hem naar buiten neemt met een goedkope telefoonmicrofoon. Het geluid is hetzelfde "scenario", maar het registratieapparaat verandert de "smaak" van het audiofragment. Dit wordt een "domain shift" genoemd. Het is alsof je iemand leert autorijden op een zonnige dag in een sedan, en dan verwacht dat hij perfect kan rijden in een sneeuwstorm in een vrachtwagen. Om dit op te lossen, gebruiken wetenschappers "Domain Adaptation", een reeks technieken die ontworpen zijn om de robot te helpen de verschillen in de microfoon te negeren en zich alleen te concentreren op het eigenlijke scenario. Maar hier komt de grote vraag: werkt dezelfde oplossing voor elk type robotbrein?

Dit artikel, geschreven door onderzoekers van IIT Mandi, duikt precies in die vraag. Ze hebben twee populaire "fix-it"-methoden getest op verschillende robotbreinen om te zien welke combinatie het beste werkt. Ze ontdekten dat terwijl de ene methode een betrouwbare allrounder is, de andere een kieskeurige eter is die alleen werkt met specifieke soorten breinen.

De Opstelling: Een Geluidsdichte Lab met Veel Microfoons

Om hun ideeën te testen, gebruikten de auteurs een enorme collectie geluidsopnames genaamd de DCASE 2020 dataset. Stel je een gigantische bibliotheek voor van audiofragmenten met 10 verschillende soorten scenario's, zoals een bus, een metrostation of een park. De onderzoekers verdeelden deze opnames op basis van het apparaat waarmee ze zijn opgenomen. Ze hadden "echte" apparaten (zoals echte microfoons) en "gesimuleerde" apparaten (computergegenereerde versies van microfoons).

Ze stelden een uitdaging op: Train de robot met alleen opnames van Apparaat A (de bron). Test de robot vervolgens op opnames van Apparaat B, C, S1, S2 en S3 (de doelwitten). Omdat de robot nooit op deze andere apparaten is getraind, vertegenwoordigt dit een scenario uit de echte wereld waarin de trainings- en testomstandigheden niet overeenkomen.

Ze testten drie verschillende "hersenen" (feature extractors):

1. PaSST: Een moderne Transformer-gebaseerde model (denk aan een verfijnde, globale denker).
2. DcaseNet: Een CNN-gebaseerd model dat getraind is op veel verschillende geluidstaken (een ervaren expert).
3. Custom CNN: Een eenvoudige, twee-laagse CNN gebouwd vanaf nul (een beginnerstudent).

De Twee "Fix-It" Methoden

De onderzoekers probeerden twee specifie recente domain adaptation technieken uit om de robot te helpen generaliseren:

1. DANN (Domain Adversarial Neural Network): Stel je een spel van "Verstoppertje" voor. De robot probeert geluidskenmerken te creëren die zo vergelijkbaar zijn tussen de bron- en de doelapparaten dat een "detective" (de domain discriminator) het verschil niet kan zien. Het doel is om de kenmerken "device-agnostic" (apparaat-onafhankelijk) te maken.
2. CDAN (Conditional Domain Adversarial Network): Dit is een geavanceerdere versie van het spel. In plaats van alleen het apparaat te verbergen, moet de robot ook zijn gok over het scenario verbergen. Het probeert de detective onmogelijk te maken om het verschil tussen de bron en het doel te zien op basis van zowel de geluidskenmerken als de voorspelde label van de robot.

De Resultaten: Eén maat past niet voor iedereen

De experimenten toonden enkele verrassende en specifieke resultaten aan.

De All-Rounder: DANN
De DANN-methode was de betrouwbare held van het verhaal. Het werkte over de hele linie goed.

• Voor de Custom CNN (de beginner) verhoogde DANN de nauwkeurigheid aanzienlijk. Bijvoorbeeld, bij de overgang van Apparaat A naar Apparaat B, steeg de nauwkeurigheid van een lage 0,243 naar 0,386.
• Voor DcaseNet hielp het ook, waarbij de nauwkeurigheid in hetzelfde scenario verbeterde van 0,58 naar 0,711.
• Zelfs voor de chique PaSST Transformer bood DANN een solide lift, met een gemiddelde toename in nauwkeurigheid van ongeveer 8,5%.

De Kieskeurige Eter: CDAN
CDAN was echter veel selectiever.

• Het werkte geweldig voor de CNN-gebaseerde modellen. Voor de Custom CNN verbeterde het de nauwkeurigheid van 0,243 naar 0,33 (en zelfs hoger in andere scenario's zoals Apparaat C, van 0,246 naar 0,48).
• Maar toen ze probeerden CDAN te gebruiken op de PaSST Transformer, faalde het volledig. Het model kon zelfs niet convergeren (het kon het leren niet voltooien). De auteurs merkten op dat de kenmerken van de Transformer te dynamisch en globaal waren, waardoor de "detective" in het CDAN-spel in de war raakte en de training instortte.

Het "Waarom": Een Verhaal van Twee Breinen

Waarom faalde CDAN op de Transformer? De auteurs suggereren dat dit komt door de manier waarop deze breinen informatie verwerken.

• CNN's (zoals de Custom CNN en DcaseNet) richten zich op lokale details en hebben een "Gaussische aard" (een gladde, voorspelbare spreiding van data). Dit maakt ze stabiel wanneer CDAN probeert de training te conditioneren op de voorspellingen van de robot.
• Transformers (zoals PaSST) kijken naar het hele plaatje tegelijk met een "globale inductieve bias". Hun kenmerken zijn dynamischer en gevarieerder. Toen CDAN probeerde de voorspellingen van de robot te gebruiken om de training te sturen, waren de voorspellingen van de Transformer te grillig, waardoor het systeem instortte.

De Conclusie

De belangrijkste les van deze studie is dat je niet zomaar een domain adaptation tool kunt pakken en deze op elk deep learning model kunt toepassen. Het artikel suggereert dat DANN een robuust, algemeen instrument is dat goed werkt, of je nu een simpele CNN of een complexe Transformer gebruikt. Echter, CDAN is een gespecialiseerd instrument dat uitblinkt bij CNN's, maar rampzalig kan zijn voor Transformers.

In de wereld van de akoestische scèneclassificatie, als je een Transformer-gebaseerd model gebruikt, is het vasthouden aan DANN de veiligere keuze. Als je een CNN gebruikt, kun je met CDAN zelfs nog betere resultaten behalen. De onderzoekers concluderen dat toekomstig werk dieper moet graven in de statistische eigenschappen van deze kenmerken om precies te begrijpen waarom deze methoden zo verschillend reageren, om er zeker van te zijn dat het juiste gereedschap altijd voor de juiste klus wordt gekozen.