Detection and Classification of Cetacean Echolocation Clicks using Image-based Object Detection Methods applied to Advanced Wavelet-based Transformations

Deze thesis toont aan dat de CLICK-SPOT-methode, die diepe neurale netwerken combineert met wavelet-transformaties in plaats van traditionele spectrogrammen, effectief is voor het automatisch detecteren en classificeren van echolocatieklikken van Noorse orka's in complexe mariene omgevingen.

De kern

De Missie: De Toverkracht van de Dolfijn (Tandwalvis) ontcijferen

Stel je voor dat je in een donkere, modderige oceaan zit. Je kunt de dieren niet zien, maar je kunt ze wel horen. De orka (een soort tandwalvis) is een meester in het gebruik van echolocatie. Ze schieten razendsnelle geluidspulsen (klikken) uit, net als een sonar. Deze klikken botsen tegen vis, rotsen of het wateroppervlak en komen als een echo terug.

Het probleem:
Voor biologen is het cruciaal om te weten: Is dit een echte klik die de walvis zelf heeft gemaakt, of is het een echo?

• Als je alleen de klikken telt, kun je begrijpen of de walvis aan het jagen is (veel klikken) of aan het socialiseren.
• Maar het is ontzettend lastig om dit te horen. De echo's lijken vaak precies op de klikken, alleen iets later en soms wat vervormd.

De menselijke uitdaging:
Een bioloog (Dr. Heike Vester) heeft duizenden uren aan opnames. Om dit handmatig te labelen (elk geluidje apart markeren als 'klik' of 'echo'), zou het haar team jaren kosten. Het is als proberen een heel boek te lezen door letter voor letter te schrijven. Ze hebben een robot nodig die dit voor hen doet.

---

De Oplossing: CLICK-SPOT (De Slimme Camera)

De auteur van dit verslag, Christopher, heeft een nieuw systeem bedacht genaamd CLICK-SPOT. Hij heeft dit niet gebouwd als een gewone geluidscomputer, maar als een beeldherkenningsprogramma.

Hij heeft een slimme truc bedacht: Geluid omzetten in plaatjes.

1. Van Geluid naar Foto's:
   In plaats van naar de golflijnen te kijken, verandert het systeem het geluid in drie verschillende soorten "foto's":

   • De Golflijn: Het geluid zoals je het ziet in een muziekprogramma.
   • Het Spectrogram: Een plaatje dat laat zien welke tonen er op welk moment klinken (zoals een regenboog van geluid).
   • Het Scalogram: Een speciale foto gemaakt met een wiskundige techniek (golfjes) die heel goed is om korte, scherpe geluiden te zien.
   • De analogie: Het is alsof je een geluid niet alleen hoort, maar het ook als een kleurenplaatje bekijkt. De klikken en echo's zien er op deze plaatjes heel anders uit dan ruis of andere geluiden.

2. De Camera (YOLO):
   Christopher gebruikt een AI-model dat YOLO heet (wat staat voor You Only Look Once).

   • De vergelijking: Stel je voor dat YOLO een heel snelle bewakingscamera is die door een foto loopt. Waar hij een "klik" ziet, plakt hij direct een doosje (een kader) om het.
   • Eerst was de camera een beetje slordig: soms plakte hij één groot doosje om een klik én de echo tegelijk.

3. De Slijper (FOD):
   Om de doosjes precies te maken, gebruikt hij een techniek genaamd FOD (First Order Detection).

   • De analogie: Stel je voor dat de AI een ruwe steen heeft gevonden. FOD is de slijpmachine die de steen scherp maakt. Het zoekt naar de allersteilste piek in het geluid (het punt waar de klik echt begint) en snijdt het grote doosje in tweeën. Nu heeft hij een doosje voor de klik en een apart doosje voor de echo.

4. De Detective (Random Forest):
   Nu heeft de camera de klikken en echo's gevonden, maar hij weet nog niet zeker welke welke is. Soms lijken ze op elkaar.

   • De analogie: Hier komt de Random Forest (een beslissingsboom) als een slimme detective. Deze kijkt niet alleen naar één geluidje, maar naar de context.
   • De detective vraagt zich af: "Komt dit geluidje net na een andere klik? Is het iets zwakker? Is de richting van de golf omgekeerd?"
   • Door naar de rij van geluiden te kijken (net als een bioloog dat doet), kan de computer met 96% zekerheid zeggen: "Dit is de klik, en dat daar is de echo."

---

Wat hebben ze bereikt?

Christopher heeft dit systeem getest op opnames van orka's in Noorwegen.

• De oude methoden: Gewone computers (zoals PAMGuard) waren als een slechte luisteraar. Ze misten veel klikken of dachten dat ruis een klik was. Hun score was ongeveer 40%.
• De nieuwe methode (CLICK-SPOT): Door de plaatjes te gebruiken en de "detective" toe te voegen, is de score gestegen naar 82%.
  • Het systeem mist bijna geen enkele klik (96% van de echte klikken worden gevonden).
  • Het maakt weinig fouten door ruis als klik te zien.

De enige minpunt:
Het systeem is nu nog niet snel genoeg om live in het veld te gebruiken. Het duurt 25 minuten om 1 minuut geluid te analyseren.

• De analogie: Het is alsof je een super-slimme detective hebt die een moordzaak oplost, maar hij heeft 25 uur nodig om één getuige te verhoren. Voor nu is het geweldig om oude archieven te doorzoeken, maar voor live jacht is hij nog te traag.

Conclusie

Dit onderzoek toont aan dat je geluid kunt "zien" en dat AI, als je het slim instrueert (met plaatjes en context), een enorme stap voorwaarts is voor het bestuderen van dieren.

In de toekomst hoopt Christopher dat dit systeem:

1. Sneller wordt (voor live gebruik).
2. Aanpasbaar is voor andere dieren (zoals dolfijnen of potvissen), omdat hun klikken op dezelfde manier werken.
3. Zelfs kan helpen om te begrijpen waarom de dieren klikken: jagen ze, of praten ze met elkaar?

Het is een prachtige combinatie van wiskunde, kunstmatige intelligentie en de liefde voor de natuur, die helpt om de stilte van de oceaan te doorbreken.

Technische samenvatting

Probleemstelling

In de bioakoestiek is het detecteren en labelen van dierlijke signalen (zoals geluiden, fluitjes en klikken) essentieel voor gedragsstudies, maar handmatige annotatie is extreem tijdrovend en niet schaalbaar voor grote datasets. Specifiek voor de orka (Orcinus orca) vormt het onderscheid tussen echolocatieklikken en hun echo's een groot probleem.

• Complexiteit: Klikken en echo's lijken sterk op elkaar in vorm (Dirac-achtige impulsen) en kunnen door reverberatie en frequentieverschuivingen zelfs een hogere piekenergie hebben dan de oorspronkelijke klik.
• Beperkingen van bestaande methoden: Traditionele, op drempelwaarden gebaseerde detectoren (zoals PAMGuard) presteren slecht in omgevingen met een lage signaal-ruisverhouding (SNR) en kunnen klikken niet betrouwbaar van echo's onderscheiden zonder menselijke correctie.
• Tijdsinvestering: Handmatig labelen kan wel 12 uur per minuut aan data kosten, wat onhoudbaar is voor grondige analyses.

Methodologie

De auteur ontwikkelde een geautomatiseerde toolchain genaamd CLICK-SPOT, die diep leren (Deep Learning) combineert met geavanceerde signaalverwerking en contextuele classificatie. De aanpak verloopt in drie hoofdfasen:

1. Data Representatie en Preprocessing
In plaats van alleen spectrogrammen te gebruiken (die beperkt zijn door het onzekerheidsprincipe van Fourier), werden drie audio-representaties gecombineerd tot één kleurafbeelding (960x960 pixels, RGB-kanaal):

• Rood: Golfvorm (Waveform).
• Groen: Continue Wavelet-transformatie (CWT) met een 'Mexican Hat' wavelet. Dit biedt betere tijdsresolutie voor hoge frequenties en helpt bij het visualiseren van Dirac-impulsen.
• Blauw: Spectrogram.
  Deze combinatie (SCWTSPEC) wordt gebruikt als input voor de objectdetectiemodellen.

2. Gebeurtenisdetectie met YOLO
Het model YOLOv8 (You Only Look Once) werd gebruikt als objectdetector.

• De audio wordt opgesplitst in vensters van 5 ms (960 samples).
• YOLO detecteert de locatie (bounding boxes) van klikken en echo's binnen deze vensters.
• Post-processing met FOD (First Order Detection): Omdat YOLO soms meerdere gebeurtenissen in één grote bounding box samenvoegt, wordt een FOD-algoritme toegepast. Dit berekent de eerste orde gradiënt van het signaal om de pieken binnen de YOLO-bounding box te vinden. Hierdoor kunnen samengevoegde boxes worden opgesplitst in individuele klik- en echo-gebeurtenissen.

3. Contextuele Classificatie met Random Forest
YOLO behandelt elke venster onafhankelijk en kan daarom geen onderscheid maken tussen een klik en een echo op basis van isolatie. Om dit op te lossen, wordt een Random Forest-classificator gebruikt als tweede stap:

• Input: De classifier kijkt niet alleen naar het huidige gebeurtenisvenster, maar naar een context van vijf gebeurtenissen (het huidige en vier voorgaande).
• Features: Gebruikte kenmerken zijn onder andere inter-arrival tijd, energiedichtheid, piekenergie, startfase en het aantal FOD-pieken.
• Doel: Het model leert patronen in de opeenvolging van gebeurtenissen (bijv. een klik gevolgd door een echo op een specifieke tijdsafstand) om zo nauwkeurig te classificeren.

Belangrijkste Bijdragen

1. CLICK-SPOT Toolchain: Een nieuw geïntegreerd systeem dat YOLO, FOD en Random Forest combineert voor de automatische detectie en classificatie van orka-klikken en echo's.
2. Multi-modale Input: Het succesvol toepassen van een combinatie van golfvorm, CWT en spectrogram als RGB-kanalen voor objectdetectie, wat superieur bleek aan het gebruik van alleen spectrogrammen.
3. Contextuele Differentiatie: Het bewijzen dat het onderscheid tussen klik en echo niet alleen mogelijk is door signaalanalyse, maar vereist contextuele informatie (tijdsintervallen en patronen), wat effectief wordt opgelost met een ensemble-leermethode (Random Forest).
4. Validatie: Uitgebreide experimenten met handmatig gelabelde data van Noorse orka-populaties, inclusief vergelijkingen met bestaande tools zoals PAMGuard en ANIMAL-SPOT.

Resultaten

De experimenten toonden een duidelijke verbetering ten opzichte van bestaande methoden:

• PAMGuard: Bereikte slechts 39,7% algehele nauwkeurigheid.
• FOD (alleen): Bereikte 53,1% nauwkeurigheid.
• ANIMAL-SPOT: Bereikte 63,9% nauwkeurigheid, maar had moeite met het isoleren van individuele gebeurtenissen door te grote venstergroottes.
• CLICK-SPOT (Eindversie):
  • Klik-detectie precisie: 86,32%.
  • Klik-label recall: 95,93% (zeer goed in het vinden van echte klikken).
  • Algehele klik-classificatie nauwkeurigheid: 82,56%.
  • Correlatie: De gedetecteerde klikfrequenties correleren voor 98,01% met de handmatige annotaties, wat cruciaal is voor gedragsstudies waarbij de rate (frequentie) belangrijker is dan elke individuele detectie.

Betekenis en Toekomstperspectief

De studie toont aan dat diep leren, gecombineerd met geavanceerde signaaltransformaties (wavelets) en contextuele classificatie, een haalbare oplossing biedt voor de complexe uitdaging van bioakoestische data-analyse.

• Efficiëntie: Hoewel de huidige tool nog niet in real-time werkt (factor 25:1, d.w.z. 25 minuten verwerkingstijd voor 1 minuut data), is het een enorme verbetering ten opzichte van handmatig labelen. Door parallelle verwerking kan grote datasets efficiënt worden verwerkt.
• Toepasbaarheid: De methode is niet beperkt tot orka's. De auteur toonde aan dat het model (met aanpassingen) ook klikken van andere walvisachtigen (zoals spermwalvissen en pilotwalvissen) kan detecteren.
• Toekomst: Verdere optimalisatie voor real-time gebruik in het veld, integratie van recurrente netwerken (RNN) voor betere contextbewaking, en het automatiseren van het onderscheid tussen frequentiebanden (LF, HF, US) worden als volgende stappen voorgesteld.

Samenvattend biedt CLICK-SPOT een robuust, geautomatiseerd alternatief voor handmatige annotatie, waardoor biologen in staat worden gesteld om grootschalige gedragsstudies van mariene zoogdieren uit te voeren die voorheen onmogelijk waren.