Detection and Classification of Cetacean Echolocation Clicks using Image-based Object Detection Methods applied to Advanced Wavelet-based Transformations

Questa tesi dimostra l'efficacia di CLICK-SPOT, un metodo di rilevamento basato su deep learning che applica trasformate wavelet avanzate per migliorare la classificazione dei click di ecolocalizzazione dei cetacei in ambienti complessi, superando i limiti delle tradizionali rappresentazioni spettrografiche.

L'essenziale

Immagina di essere in mezzo all'oceano, al buio, e di dover ascoltare una conversazione tra balene assassine (orche). Il problema? Non stanno solo "parlando", stanno anche usando il sonar (come i pipistrelli) per cacciare.

Ecco la storia della tesi di Christopher Hauer, raccontata come un'avventura di detective.

1. Il Problema: L'Orologio che non si ferma

Le orche emettono dei suoni brevissimi e potentissimi chiamati "click" (scatti) per vedere nel buio. Ogni secondo, possono farne centinaia.

• Il lavoro manuale: Per capire cosa fanno queste balene, i biologi devono ascoltare ore di registrazioni e segnare a mano ogni singolo "click" e ogni suo "eco" (il rimbalzo del suono contro una roccia o un pesce).
• La realtà: È come cercare di contare i granelli di sabbia su una spiaggia mentre c'è una tempesta. Un biologo esperto impiega un'ora per annotare solo un secondo di audio. È impossibile analizzare tutto il materiale necessario manualmente. Serve un assistente robotico.

2. La Soluzione: Trasformare l'Audio in un Quadro

Christopher ha deciso di insegnare a un computer a "vedere" il suono invece di ascoltarlo.
Immagina di prendere un'onda sonora e trasformarla in un'immagine, come una mappa termica o un quadro astratto.

• Il vecchio metodo (Spectrogramma): È come guardare una foto sfocata. Se ingrandisci troppo il tempo, perdi i dettagli della frequenza (come un'auto che corre troppo veloce e diventa una striscia). Se ingrandisci la frequenza, perdi il tempo esatto.
• Il nuovo metodo (Ondeletti/Scalogramma): Christopher ha usato una tecnica più intelligente, chiamata Trasformata Wavelet. Immagina di avere una lente magica che cambia forma: quando guardi suoni acuti (veloci), la lente si stringe per vedere i dettagli rapidi; quando guardi suoni gravi (lenti), la lente si allarga per vedere meglio la melodia. Questo permette di vedere i click come picchi nitidi su un'immagine.

3. Il Detective AI: YOLO e il suo "Occhio"

Per trovare questi click nelle immagini sonore, Christopher ha usato un'intelligenza artificiale famosa chiamata YOLO (You Only Look Once - "Guardi solo una volta").

• Come funziona: Immagina YOLO come un cane da guardia molto veloce che scorre l'immagine. Se vede qualcosa che sembra un click, lancia un "rettangolo" (un box) intorno ad esso e dice: "Ehi, c'è un evento qui!".
• Il problema: A volte il cane da guardia è un po' confuso. Se ci sono due click vicini, YOLO potrebbe mettere un unico grande rettangolo che li ingloba entrambi, oppure potrebbe confondere un click con un eco (il rimbalzo del suono).

4. Il Segretario Attento: FOD e Random Forest

Per risolvere la confusione, Christopher ha aggiunto due assistenti al detective YOLO:

• L'Analista Matematico (FOD): Questo è un algoritmo che guarda le "pendenze" del suono. Immagina di camminare su una montagna: il click è una salita ripida e improvvisa. Questo analista dice: "Ehi, dentro quel grande rettangolo di YOLO, c'è una salita ripida qui e un'altra là. Dividiamoli!". Aiuta a separare i click dagli echi che YOLO aveva unito.
• Il Detective di Contesto (Random Forest): Questo è il vero genio. Un click da solo è difficile da distinguere da un eco. Ma se guardi la sequenza?
  • Esempio: Se senti un suono forte, poi un suono debole dopo 2 millisecondi, e poi un altro suono forte, il detective capisce: "Il primo è il click, il secondo è l'eco che rimbalza, il terzo è un nuovo click".
  • Christopher ha insegnato a questo assistente a guardare il "vicinato" (i suoni prima e dopo) per capire chi è chi, proprio come un umano farebbe.

5. Il Risultato: CLICK-SPOT

Il risultato finale è un sistema chiamato CLICK-SPOT.

• Cosa fa: Prende una registrazione sottomarina, la trasforma in un'immagine speciale, la fa analizzare da YOLO, poi usa l'analista matematico per separare i suoni e il detective di contesto per dire "Questo è un click, quello è un eco".
• Quanto è bravo?
  • I vecchi metodi sbagliavano spesso (circa il 60% di errori).
  • CLICK-SPOT è molto più preciso: riesce a identificare il 96% dei click corretti e a distinguerli dagli echi con un'accuratezza dell'82%.
  • È come passare da un bambino che conta a caso a un contabile esperto.

6. Perché è importante?

Prima, i biologi dovevano guardare le balene per sapere cosa facevano. Ora, grazie a questo sistema, possono analizzare ore di audio in pochi minuti (anche se al momento ci vuole ancora un po' di tempo per elaborare tutto, ma è un grande passo avanti).
Questo permette di capire se le balene stanno cacciando, giocando o comunicando, semplicemente ascoltando i loro "click", anche quando non sono visibili in superficie.

In sintesi: Christopher ha insegnato a un computer a "vedere" il suono con lenti speciali, a usare un cane da guardia veloce per trovare i suoni e a un detective esperto per capire la storia dietro ogni suono. Tutto questo per aiutare le orche a raccontare la loro storia senza che noi dobbiamo stare in acqua per ore.

Sommario tecnico

Titolo: Rilevamento e Classificazione dei Click di Echolocalizzazione dei Cetacei tramite Metodi di Rilevamento di Oggetti Basati su Immagini applicati a Trasformate Avanzate basate sulle Ondelette

1. Il Problema

L'analisi bioacustica dei mammiferi marini, in particolare delle orche (Orcinus orca), richiede l'identificazione e l'annotazione manuale dei segnali vocali (click, fischi, richiami) per studiare il comportamento sociale e la comunicazione. Tuttavia, l'annotazione manuale è estremamente laboriosa: un bioacustico esperto impiega circa un'ora per annotare un solo secondo di dati contenenti burst di click ed echi.
Le sfide principali includono:

• Alta densità di eventi: Durante i burst di caccia o interazione sociale, un'orca può emettere centinaia di click in meno di un secondo, spesso accompagnati da echi multipli.
• Difficoltà di distinzione: Distinguere un click originale dal suo eco è complesso perché condividono caratteristiche simili (forma d'onda, spettro), specialmente in ambienti con basso rapporto segnale-rumore (SNR).
• Limiti dei metodi tradizionali: I rilevatori basati su soglie matematiche (es. PAMGuard) o le trasformate di Fourier a breve termine (STFT) hanno difficoltà a gestire la risoluzione temporale necessaria per impulsi brevi (Dirac-like) e la distinzione contestuale tra click ed eco.

2. Metodologia

La tesi propone una pipeline automatizzata chiamata CLICK-SPOT, che combina trasformate avanzate del segnale, reti neurali convoluzionali (CNN) per il rilevamento di oggetti e classificatori basati su alberi decisionali per il contesto.

A. Rappresentazione del Segnale (Input)
Invece di utilizzare solo gli spettrogrammi (che soffrono del principio di indeterminazione di Heisenberg), il sistema utilizza tre rappresentazioni combinate in un'unica immagine RGB 960x960:

1. Forma d'onda (Waveform): Canale Rosso.
2. Trasformata Wavelet Continua (CWT) / Scalogramma: Canale Verde. La wavelet "Mexican Hat" è stata scelta per la sua capacità di fornire alta risoluzione temporale per le alte frequenze (ideale per i click) e di ridurre il rumore.
3. Spettrogramma (STFT): Canale Blu.
   Questa combinazione (denominata SCWTSPEC) permette alla rete neurale di sfruttare i vantaggi di ciascuna rappresentazione.

B. Rilevamento degli Eventi (YOLO)
Viene utilizzato il modello YOLOv8 (You Only Look Once), adattato per il rilevamento di oggetti in immagini audio.

• Il modello divide l'immagine in una griglia e prevede le caselle di delimitazione (bounding box) per ogni evento (click o eco).
• A differenza dei modelli a finestra scorrevole (come ANIMAL-SPOT), YOLO è in grado di gestire più eventi all'interno della stessa finestra di input.

C. Post-Processing con FOD (First Order Detection)
Per risolvere il problema delle caselle di delimitazione sovrapposte o fuse (dove click ed eco vengono raggruppati in un'unica grande box), viene applicata una tecnica di First Order Gradient Conversion (FOD).

• Il gradiente del segnale viene calcolato per identificare i picchi di impulso (Dirac-like).
• I picchi FOD all'interno delle caselle YOLO vengono utilizzati per "tagliare" (splicing) le caselle fuse, separando fisicamente il click dall'eco e definendo con precisione i tempi di inizio e fine.

D. Classificazione Contestuale (Random Forest)
Poiché YOLO tratta ogni finestra come un evento isolato, fatica a distinguere click da eco basandosi solo sulle caratteristiche locali. Per risolvere questo, viene introdotto un classificatore Random Forest.

• Input: Vettore di caratteristiche contestuali che include: tempo di inter-arrivo, differenza di energia, direzione della fase (FOD), numero di picchi FOD, e le etichette degli eventi precedenti e successivi (finestra temporale di contesto).
• Obiettivo: Sfruttare la struttura temporale dei burst (i click sono spesso equidistanti e più intensi degli echi) per classificare correttamente ogni evento come "Click", "Eco" o "Altro".

3. Contributi Chiave

1. Pipeline CLICK-SPOT: Introduzione di un sistema end-to-end che integra rilevamento basato su deep learning (YOLO), elaborazione del segnale (FOD) e classificazione contestuale (Random Forest).
2. Uso delle Wavelet: Dimostrazione dell'efficacia degli scalogrammi (CWT) combinati con forme d'onda e spettrogrammi per il rilevamento di impulsi ultracorti in ambienti rumorosi.
3. Strategia di Post-Processing: Sviluppo di un metodo ibrido che usa il gradiente del segnale per affinare le previsioni delle reti neurali, risolvendo il problema della fusione delle caselle di delimitazione.
4. Approccio Contestuale: Superamento dei limiti dei modelli puramente locali introducendo un classificatore che analizza la sequenza temporale degli eventi per distinguere click da eco.

4. Risultati

Il sistema è stato testato su dati reali forniti da Ocean Sounds e.V. (costa norvegese), contenenti 5.322 eventi annotati manualmente.

• Confronto con metodi esistenti:
  • PAMGuard: Accuratezza complessiva del 39,7%.
  • FOD standalone: Accuratezza del 53,1%.
  • ANIMAL-SPOT (CNN a finestre): Accuratezza del 63,9%, ma con problemi di risoluzione temporale che portavano a raggruppamenti errati.
  • CLICK-SPOT (YOLO + FOD + Random Forest): Accuratezza di classificazione dei click del 95,93% e accuratezza complessiva di rilevamento del 82,56%.
• Correlazione: Il tasso di click rilevato dal modello mostra una correlazione del 98,48% con i dati annotati manualmente, rendendolo uno strumento affidabile per l'analisi statistica del comportamento.
• Ottimizzazione: È stato identificato un compromesso ottimale (soglia di confidenza a 30) che massimizza l'accuratezza riducendo i falsi positivi, pur mantenendo un alto tasso di recupero (recall).

5. Significato e Prospettive Future

• Impatto Scientifico: CLICK-SPOT offre una soluzione scalabile per analizzare grandi dataset bioacustici, permettendo ai ricercatori di studiare la comunicazione delle orche e l'uso dei click in contesti sociali senza il collo di bottiglia dell'annotazione manuale.
• Adattabilità: Sebbene sviluppato per le orche, l'architettura è adattabile ad altre specie di cetacei (es. delfini, capodogli) tramite transfer learning, sfruttando la natura simile degli impulsi di echolocalizzazione.
• Limitazioni Attuali: Il tempo di elaborazione è attualmente di 25 minuti per ogni minuto di audio (fattore di tempo reale 25x), il che impedisce l'uso in tempo reale sul campo.
• Sviluppi Futuri:
  • Ottimizzazione per l'inferenza in tempo reale (es. YOLO con contesto ricorrente).
  • Classificazione automatica dei tipi di click (Bassa, Media, Alta frequenza).
  • Utilizzo come pre-filtro per localizzatori di animali in tempo reale.

In sintesi, questa tesi dimostra che l'integrazione di trasformate wavelet avanzate, rilevamento di oggetti moderno e logica contestuale statistica supera significativamente i metodi tradizionali nel complesso compito di distinguere click ed echi nell'ambiente sottomarino.