Detection and Classification of Cetacean Echolocation Clicks using Image-based Object Detection Methods applied to Advanced Wavelet-based Transformations

Diese Arbeit demonstriert die Wirksamkeit des auf Wavelet-Transformationen und Bilderkennung basierenden Deep-Learning-Modells CLICK-SPOT zur automatisierten Detektion und Klassifizierung von Echolokationsklicks bei Norwegischen Schwertwalen, um die zeitaufwändige manuelle Analyse von Bioakustikdaten zu überwinden.

Das Wesentliche

Das große Rätsel: Wer macht das Geräusch?

Stell dir vor, du bist in einem riesigen, dunklen Schwimmbad. Über dir schwimmen Killerwale. Sie kommunizieren nicht nur mit Gesang, sondern nutzen auch ein biologisches Sonar: Sie stoßen kurze, laute Klicks aus, wie ein Taschenlampenblitz im Dunkeln, um zu sehen, wo ihre Beute ist oder um sich zu orientieren.

Das Problem für die Forscher ist: Das Wasser ist laut. Es gibt Wellen, andere Tiere, Schiffe und vor allem Echos. Wenn ein Wal einen Klick macht, prallt dieser gegen den Meeresboden oder die Wasseroberfläche und kommt als Echo zurück.

Für einen menschlichen Forscher ist es wie ein riesiges Puzzle, bei dem man tausende von Klicks und Echos auf einer Audio-Spur finden muss.

• Die Aufgabe: Einen Klick vom Echo unterscheiden.
• Das Problem: Ein Klick und sein Echo sehen sich oft extrem ähnlich. Ein Echo ist wie ein Spiegelbild des Klicks. Manchmal ist das Echo sogar lauter als der Original-Klick, weil es an einer bestimmten Stelle im Wasser "aufgefangen" wird.
• Der Aufwand: Ein Experte braucht etwa eine Stunde, um nur eine Sekunde an Audiomaterial korrekt zu markieren. Das ist unmöglich, wenn man Tausende von Stunden aufnehmen will.

Die Lösung: Ein digitaler Detektiv mit super-Augen

Christopher Hauer hat einen automatischen Helfer entwickelt, den er CLICK-SPOT nennt. Stell dir CLICK-SPOT wie einen hochintelligenten Detektiv vor, der nicht mit dem Ohr, sondern mit "Augen" arbeitet.

Hier ist, wie er funktioniert, Schritt für Schritt:

1. Die Brille: Vom Gehör zum Bild

Computer verstehen Audio-Wellen oft schlecht, wenn sie so komplex sind. Also verwandelt CLICK-SPOT den Sound in Bilder.

• Das normale Bild (Spektrogramm): Das ist wie ein Musik-Notenblatt, das zeigt, welche Töne wann laut sind. Aber das hat einen Nachteil: Es ist wie ein unscharfes Foto. Entweder sieht man den Zeitpunkt genau oder die Höhe des Tons, aber nicht beides gleichzeitig (wie bei einer unscharfen Kamera).
• Die Super-Brille (Wavelet-Transformation): Hauer nutzt eine spezielle Technik, die wie eine Zoom-Brille funktioniert. Bei hohen Tönen (den schnellen Klicks) zoomt sie stark in die Zeit hinein, damit man den genauen Moment sieht. Bei tiefen Tönen zoomt sie eher auf die Frequenz.
• Das Ergebnis: Der Computer sieht den Klick nicht als Welle, sondern als ein scharfes, dreidimensionales "Kegel"-Muster auf einem Bild. Das macht es für den Computer viel einfacher, den Klick vom Echo zu unterscheiden.

2. Der Sucher: YOLO (You Only Look Once)

Um diese Klicks-Bilder zu finden, nutzt er ein System namens YOLO.

• Die Analogie: Stell dir vor, du hast ein riesiges Foto von einem Wald voller Vögel. YOLO ist wie ein sehr schneller Vogelbeobachter, der das Bild in kleine Kacheln teilt. In jeder Kachel schaut er sofort: "Ist da ein Vogel? Ja? Dann male ich einen Kasten drumherum."
• In diesem Fall sucht YOLO nach den Klick-Kegeln auf den Bildern. Er markiert sie mit einem grünen Kasten.
• Das Problem: Manchmal markiert er zu große Kästen, die sowohl den Klick als auch das Echo umfassen, oder er macht mehrere Kästen für einen einzigen Klick.

3. Der Feinschliff: Der "Gradienten-Messer" (FOD)

Um die ungenauen Kästen zu korrigieren, kommt ein zweiter Helfer ins Spiel, der FOD (First Order Detection).

• Die Analogie: Stell dir vor, du hast einen Berg (den Klick) und ein Tal (das Echo). Der FOD ist wie ein sehr empfindlicher Höhenmesser, der genau den höchsten Punkt des Berges und den tiefsten Punkt des Tals findet.
• Er schneidet die großen, ungenauen Kästen von YOLO auf und teilt sie genau dort auf, wo der Klick aufhört und das Echo beginnt.

4. Der Kontext-Experte: Der Wald der Entscheidungsbäume (Random Forest)

Jetzt hat der Computer zwar viele Klicks und Echos gefunden, aber er weiß immer noch nicht sicher: "Ist das hier der Original-Klick oder nur das Echo?"

• Die Analogie: Ein einzelner Klick ist wie ein einzelnes Wort in einer Sprache. Man weiß nicht, was es bedeutet, ohne den Satz zu hören.
• Der Random Forest ist wie ein Team von Experten, die sich die Umgebung ansehen. Sie fragen sich:
  • "Wie weit ist der nächste Klick entfernt?" (Killerwale machen Klicks in einem bestimmten Rhythmus).
  • "Wie stark ist das Echo im Vergleich zum Klick?"
  • "Wie ist die Phase (die Richtung der Welle)?"
• Basierend auf diesen Mustern entscheidet der Algorithmus: "Aha, das hier ist der Klick, das da ist das Echo."

Das Ergebnis: Ein Game-Changer

Vor CLICK-SPOT mussten Menschen stundenlang arbeiten.

• Der alte Weg (PAMGuard): Ein einfacher Zähler, der alles zählt, was laut ist. Er macht viele Fehler (wie ein lauter Hund, der bei jedem Blattgeräusch bellt).
• Der neue Weg (CLICK-SPOT): Er findet fast alle Klicks (zu 96 % korrekt) und unterscheidet sie sehr gut von Echos.

Aber: Der Computer ist noch nicht schnell genug für den "Live-Einsatz" im Meer. Er braucht 25 Minuten, um 1 Minute Audio zu analysieren. Das ist wie ein sehr langsamer Übersetzer, der aber eine perfekte Übersetzung liefert. Für die Forschung ist das aber super, weil man damit riesige Datenmengen bearbeiten kann, die vorher unmöglich waren.

Warum ist das wichtig?

Wenn wir wissen, wann Wale klicken und wann sie nur Echos hören, können wir herausfinden:

• Wann jagen sie? (Viele schnelle Klicks = Jagd).
• Wann reden sie? (Klicks in sozialen Situationen).
• Wie verstehen sie sich?

CLICK-SPOT ist also wie ein automatischer Dolmetscher, der uns hilft, die geheime Sprache der Wale zu entschlüsseln, indem er den Lärm des Ozeans filtert und die wichtigen Signale herausfiltert. Und das Beste: Diese Technik kann man auch auf Delfine oder andere Wale übertragen, sobald man ihnen ein paar Beispiele zeigt.

Technische Zusammenfassung

Titel:

Erkennung und Klassifizierung von Wal-Echolokations-Klicks mittels bildbasierter Objekterkennungsmethoden, angewendet auf fortschrittliche wavelet-basierte Transformationen.

1. Problemstellung

Die Analyse bioakustischer Daten, insbesondere von Walen (hier: Schwertwale / Orcas), ist für das Verständnis ihres Sozialverhaltens und ihrer Kommunikation essenziell. Ein zentrales Problem ist die manuelle Kennzeichnung (Annotation) von Klicks und deren Echos in großen Audiodatensätzen.

• Zeitlicher Aufwand: Die manuelle Markierung ist extrem zeitaufwendig (ca. 12 Stunden für eine Minute Daten), was eine umfassende Analyse unmöglich macht.
• Schwierigkeiten bei der Trennung: Klicks und ihre Echos sind sich physikalisch sehr ähnlich. Echos entstehen durch Reflexionen an Oberflächen (Wasseroberfläche, Meeresboden) und teilen Merkmale wie Frequenz und Dauer mit dem Originalklick.
• Limitationen bestehender Methoden:
  • Schwellenwert-basierte Detektoren (z. B. PAMGuard): Scheitern oft bei niedrigem Signal-Rausch-Verhältnis (SNR) und können Klicks nicht zuverlässig von Echos unterscheiden.
  • Spektrogramme: Basierend auf der Kurzzeit-Fourier-Transformation (STFT) unterliegen sie dem Unsicherheitsprinzip, was einen Trade-off zwischen Zeit- und Frequenzauflösung erzwingt. Für kurze, breitbandige Klick-Impulse ist dies oft suboptimal.
  • Bestehende Deep-Learning-Modelle (z. B. ANIMAL-SPOT): Diese nutzen oft überlappende Fenster, die bei sehr kurzen Ereignissen (Klicks im Millisekundenbereich) dazu neigen, mehrere Ereignisse in einem einzigen Block zu gruppieren, was eine präzise Einzelereignis-Detektion verhindert.

2. Methodik

Die Arbeit stellt eine neue Toolchain namens CLICK-SPOT vor, die Deep Learning mit signalverarbeitenden Nachbearbeitungsschritten kombiniert. Der Ansatz gliedert sich in drei Hauptphasen:

A. Datenaufbereitung und Bildrepräsentation

• Daten: 3 Minuten 12 Sekunden handmarkierter Trainingsdaten (Norwegische Schwertwale, 192 kHz Samplingrate) und ein Evaluierungsdatensatz.
• Bildgenerierung: Anstelle reiner Spektrogramme werden drei Darstellungen kombiniert, um die Stärken verschiedener Transformationen zu nutzen:
  1. Waveform (Zeitsignal): Direkte Darstellung des Signals.
  2. Spektrogramm (STFT): Frequenzanalyse über die Zeit.
  3. Skalogramm (CWT): Kontinuierliche Wavelet-Transformation (mit "Mexican Hat" Wavelet). Dies bietet eine bessere Zeitauflösung für hohe Frequenzen und eine bessere Frequenzauflösung für tiefe Frequenzen und wirkt rauschreduzierend.
• Eingabeformat: Diese drei Kanäle werden zu einem 960x960x3 Farbbild (RGB) kodiert, wobei Rot=Waveform, Grün=CWT und Blau=Spektrogramm ist.

B. Objekterkennung mit YOLO

• Modell: Es wird YOLOv8 (You Only Look Once) verwendet, ein CNN-basiertes Objekterkennungsnetzwerk.
• Ansatz: Das Audio wird in 5 ms Fenster (960 Samples) unterteilt und als Bild an YOLO übergeben. YOLO detektiert Bounding Boxes für Klicks und Echos.
• Nachteil: YOLO behandelt jedes Fenster isoliert und kann aufgrund der Ähnlichkeit von Klicks und Echos diese nicht zuverlässig unterscheiden. Zudem entstehen durch die Fensterung oft überlappende oder gesplitzte Bounding Boxes.

C. Nachbearbeitung und Kontext-Klassifikation

Um die Grenzen von YOLO zu überwinden, wurden zwei Nachbearbeitungsschritte eingeführt:

1. First Order Detection (FOD) Post-Processing:
   • Da Klicks und Echos steile Gradienten aufweisen, wird eine First-Order-Gradienten-Transformation angewendet.
   • Dies dient dazu, innerhalb der von YOLO gefundenen Bounding Boxes die genauen Spitzen (Peaks) von Klicks und Echos zu identifizieren.
   • Ziel: Überlappende Bounding Boxes werden präzise aufgeteilt ("Box Slicing"), um einzelne Ereignisse zu isolieren.
2. Random Forest Klassifikator:
   • Da YOLO allein keine Unterscheidung zwischen Klick und Echo trifft, wird ein Random Forest als Kontext-Klassifikator eingesetzt.
   • Eingabe-Features: Der Klassifikator nutzt nicht nur das einzelne Ereignis, sondern den Kontext (Nachbarn): Inter-Arrival-Zeiten (Zeitabstand zwischen Ereignissen), Energieunterschiede, Phaseninformationen (Startphase), Anzahl der FOD-Peaks und Konfidenzwerte.
   • Strategie: Ein Klick wird oft als Teil einer "Burst"-Sequenz erkannt, während Echos verzögert folgen. Der Random Forest nutzt diese zeitlichen Muster, um die Klasse (Klick vs. Echo vs. Rauschen) zuzuweisen.

3. Wichtige Beiträge

• CLICK-SPOT Toolchain: Entwicklung eines vollständigen Pipelines von der Rohdaten-Bildkonvertierung über die Objekterkennung bis zur kontextbasierten Klassifikation.
• Multimodale Bildrepräsentation (SCWTSPEC): Erfolgreiche Kombination von Waveform, Spektrogramm und Skalogramm in einem einzigen RGB-Bild für Deep-Learning-Eingaben.
• Hybrider Ansatz: Die Kombination von YOLO (für die Detektion) mit FOD (für die präzise Lokalisierung) und Random Forest (für die kontextuelle Klassifikation) übertrifft reine Deep-Learning- oder reine mathematische Ansätze.
• Automatisierte Differenzierung: Lösung des Problems der Unterscheidung von Klicks und Echos ohne menschliches Eingreifen, basierend auf zeitlichen Mustern und Phasen.

4. Ergebnisse

Die Leistung wurde auf einem Evaluierungsdatensatz mit 5.322 annotierten Ereignissen getestet:

• Vergleich bestehender Methoden:
  • PAMGuard: Nur ~39,7% Genauigkeit (zu viele False Positives/Negatives).
  • FOD (allein): ~53,1% Genauigkeit.
  • ANIMAL-SPOT: ~63,9% Genauigkeit (Problem: Fenster-Gruppierung).
• CLICK-SPOT (Final):
  • Klick-Erkennungsgenauigkeit (Precision): 86,32%.
  • Klick-Erkennungs-Recall: 95,93% (sehr hohe Trefferquote).
  • Gesamtgenauigkeit der Klick-Klassifizierung: 82,56%.
  • Korrelation: Die erkannte Klick-Rate korreliert zu 98,01% mit den manuell annotierten Daten.
• Optimierung: Durch Anpassung des Konfidenz-Schwellenwerts (auf 30) wurde ein guter Kompromiss zwischen Recall und False Positives erreicht, was für die Analyse des Verhaltens (Klick-Rate als Aktivitätsindikator) ausreicht.

5. Bedeutung und Ausblick

• Fortschritt in der Bioakustik: Die Arbeit demonstriert, dass Deep-Learning-Methoden, die auf Bilderkennung basieren, effektiv für die Detektion von sehr kurzen, impulsartigen biologischen Signalen eingesetzt werden können, wenn sie durch signalverarbeitende Nachbearbeitung ergänzt werden.
• Skalierbarkeit: Obwohl die aktuelle Inference-Zeit (25 Minuten für 1 Minute Audio) noch nicht für Echtzeit-Anwendungen im Feld geeignet ist, ermöglicht die Parallelisierbarkeit die effiziente Verarbeitung großer Datensätze (z. B. 20.000 Stunden in 14 Tagen).
• Transfer Learning: Der Ansatz ist nicht auf Schwertwale beschränkt. Erste Tests mit Delfinen und Pottwalen zeigten, dass das Modell auch auf andere Arten anwendbar ist, sobald die Daten angepasst werden.
• Zukünftige Arbeiten:
  • Optimierung für Echtzeit-Feldanwendungen (Reduktion der Inferenzzeit).
  • Integration von Kontextinformationen direkt in das YOLO-Modell (z. B. RNNs).
  • Automatische Unterscheidung von Frequenzbändern (LF, HF, US Klicks).
  • Nutzung der Methode zur Analyse phonetischer Strukturen in komplexeren Walrufen.

Fazit: Die Arbeit liefert einen robusten, automatisierten Ansatz zur Entschlüsselung der komplexen Kommunikation von Schwertwalen, indem sie die Stärken moderner Computer-Vision-Modelle mit domänenspezifischem Wissen über akustische Signale verbindet.