Weakly Supervised Detection and Temporal Localization of Whale Calls in Long-Duration Bioacoustic Data

Riepilogo Tecnico: Rilevamento e Localizzazione Temporale di Debutti di Balene con Supervisione Debole

Dichiarazione del Problema
I sistemi di Monitoraggio Acustico Passivo (PAM) generano registrazioni continue e pluri-mensili di paesaggi sonori marini, che spesso ammontano a terabyte di dati. Sebbene il rilevamento delle vocalizzazioni delle balene sia fondamentale per il monitoraggio delle popolazioni e la conservazione (a supporto dell'Obiettivo di Sviluppo Sostenibile 14), l'analisi automatizzata affronta un collo di bottiglia significativo: il costo dell'annotazione. Gli attuali approcci di deep learning, principalmente le Reti Neurali Convoluzionali (CNN), richiedono due sforzi di annotazione distinti e costosi: etichette binarie di presenza/assenza per la classificazione e confini temporali precisi (tempi di inizio/fine) per la localizzazione.

• La Discrepanza: Assegnare un'etichetta binaria a una registrazione di 30 minuti richiede pochi secondi, mentre l'annotazione temporale di ogni singolo richiamo all'interno di quella registrazione richiede ore di lavoro esperto.
• Il Limite dei Metodi Esistenti: Le CNN standard e i modelli fondazionali operano tipicamente su input di durata breve e dimensione fissa (ad es. ≤15 secondi). Per elaborare flussi di lunga durata (da minuti a ore), questi metodi fanno affidamento su compressione temporale o euristiche di selezione delle finestre, che degradano le prestazioni e non forniscono localizzazione temporale senza supervisione a livello di fotogramma. Di conseguenza, i modelli completamente supervisionati subiscono cali significativi delle prestazioni su input lunghi (ad es. punteggi F1 che scendono da ~0,8 a ~0,2 su registrazioni di 1800 secondi) e non possono localizzare i richiami senza costose annotazioni a livello di istanza.

Metodologia: DSMIL-LocNet
Gli autori propongono DSMIL-LocNet (Rete di Localizzazione per Apprendimento Multi-Istanza a Doppio Flusso), un framework a supervisione debole che esegue sia la classificazione che la localizzazione temporale utilizzando esclusivamente etichette di presenza/assenza a livello di registrazione (livello di "sacco").

1. Formulazione dell'Apprendimento Multi-Istanza (MIL):

   • Ogni registrazione di lunga durata è trattata come un "sacco" ($B_i$) contenente molteplici segmenti brevi non sovrapposti chiamati "istanze" ($x^j_i$).
   • Il modello riceve un'unica etichetta binaria $y_i \in \{0, 1\}$ per l'intero sacco (indicante se è presente alcun richiamo), mentre le etichette specifiche delle istanze rimangono sconosciute (latenti) durante l'addestramento.
   • L'obiettivo è apprendere pesi di attenzione ($\alpha^j_i$) che assegnino un'alta probabilità alle istanze contenenti richiami e una bassa probabilità al rumore di fondo.

2. Architettura a Doppio Flusso:

   • Flusso Spettrale: Elabora i mel-spettrogrammi (derivati dalla STFT) utilizzando un encoder CNN con blocchi residui per catturare la modulazione di frequenza.
   • Flusso Temporale: Elabora caratteristiche temporali create manualmente estratte direttamente dalla forma d'onda audio, inclusi l'energia RMS (Root Mean Square), il Tasso di Attraversamento dello Zero (ZCR), l'ampiezza di picco, le statistiche dell'inviluppo e il centroide temporale.
   • Fusione: Un modulo di fusione pondera e combina dinamicamente le caratteristiche provenienti da entrambi i flussi per adattarsi a condizioni di rumore variabili e tipi di richiami.

3. Attenzione e Localizzazione:

   • Il modello impiega un meccanismo di attenzione in cui il peso $\alpha^j_i$ per ogni istanza è calcolato tramite una funzione softmax sul sacco.
   • Classificazione: La previsione a livello di sacco è una somma pesata degli embedding delle istanze.
   • Localizzazione: La localizzazione temporale è ottenuta identificando le istanze in cui il peso di attenzione $\alpha^j_i$ supera una specifica soglia. Ciò permette al modello di outputare timestamp senza aver mai visto etichette a livello di fotogramma durante l'addestramento.

4. Funzione di Perdita:
   L'obiettivo di addestramento combina quattro componenti per affrontare sfide specifiche nella bioacustica di lunga durata:

   • Focal Binary Cross-Entropy ($L_{BCE}$): Affronta lo squilibrio delle classi (richiami positivi rari).
   • Lisciatura Temporale ($L_{temp}$): Promuove un'attenzione coerente tra istanze adiacenti per riflettere la continuità del richiamo.
   • Sparsità ($L_{sparsity}$): Garantisce che il modello si concentri su una piccola frazione di segmenti rilevanti.
   • Coerenza dell'Istanzia ($L_{inst}$): Promuove rappresentazioni di caratteristiche coerenti.

Contributi Chiave

1. Formulazione a Supervisione Debole: Gli autori formulano l'analisi dei richiami di balena di lunga durata come un problema MIL che richiede un'unica etichetta binaria per registrazione di diversi minuti, eliminando la dipendenza da costose annotazioni a livello di fotogramma.
2. Architettura a Doppio Flusso: Introducono una rete che combina caratteristiche CNN spettrali con caratteristiche temporali create manualmente, utilizzando una funzione di perdita multi-componente per gestire la diluizione dell'attenzione, lo squilibrio delle classi e la coerenza temporale in sacchi lunghi.
3. Classificazione e Localizzazione Simultanea: Il framework dimostra che un singolo insieme di pesi di attenzione appresi può servire sia per la classificazione a livello di sacco che per la localizzazione temporale a livello di istanza.

Risultati Sperimentali
Il metodo è stato valutato sulla AcousticTrends BlueFinLibrary, composta da 1.880,25 ore di registrazioni di balene antartiche con alto rumore di fondo (73–99,9%).

• Prestazioni su Durate Lunghe: DSMIL-LocNet ha ottenuto punteggi F1 di 0,88–0,91 su registrazioni comprese tra 300s e 1800s. Al contrario, le CNN completamente supervisionate come baseline (ANIMAL-SPOT, DeepWhaleNet, ecc.) sono degradate significativamente a punteggi F1 di 0,19–0,64 a queste durate a causa della perdita di informazioni derivante dalla compressione temporale.
• Capacità di Localizzazione: A differenza delle baseline supervisionate, che non fornivano localizzazione temporale senza annotazioni aggiuntive, DSMIL-LocNet ha localizzato con successo i richiami.
• Compromessi di Durata:
  • Classificazione: Le prestazioni sono migliorate con durate di sacco più lunghe (fino a 1800s) poiché aumentava la probabilità di contenere un richiamo.
  • Localizzazione: La precisione ha raggiunto il picco a durate di sacco più brevi (60–120s) e si è degradata leggermente a durate più lunghe (0,5–0,6 a 600s) a causa della diluizione dell'attenzione su più istanze. Tuttavia, gli autori notano che anche una localizzazione a precisione ridotta è più preziosa della "nessuna localizzazione" fornita dalle baseline a forte supervisione su input lunghi.
• Studio di Ablazione: La rimozione del design a doppio flusso o della funzione di perdita multi-componente ha portato a cali significativi delle prestazioni, confermando la necessità sia dell'integrazione spettrale/temporale che dei vincoli di perdita specifici.

Significato e Affermazioni
Il documento afferma che DSMIL-LocNet offre una soluzione pratica per implementazioni PAM su scala operativa dove il tempo degli esperti è limitato. Abilitando sia il rilevamento che la localizzazione da etichette a livello di registrazione a basso costo, il metodo colma il divario tra l'ottimizzazione dei modelli su segmenti brevi e la realtà del monitoraggio marino continuo e di lunga durata.

Gli autori sottolineano che questo approccio non è limitato alla bioacustica marina. Suggeriscono che il principio sottostante – convertire etichette a livello di sacco a basso costo in previsioni temporali strutturate – si applica a qualsiasi dominio caratterizzato da flussi di dati continui, eventi target sparsi e alti costi di annotazione, come la sismologia, l'acustica medica e i rilevamenti di biodiversità terrestre. Il lavoro dimostra che la supervisione debole può fornire capacità (classificazione e localizzazione congiunte su input lunghi) che la forte supervisione con architetture a input fisso non riesce a supportare.