Weakly Supervised Detection and Temporal Localization of Whale Calls in Long-Duration Bioacoustic Data

Technische Samenvatting: Zwak Gecontroleerde Detectie en Temporele Lokalisatie van Walvisoproepen

Probleemstelling
Passieve Akoestische Monitoring (PAM)-systemen genereren continue, meerdere maanden durende opnames van mariene geluidslandschappen, die vaak oplopen tot terabytes aan data. Hoewel het detecteren van walvisvocalisaties cruciaal is voor populatiemonitoring en behoud (ondersteuning van SDG 14), staat geautomatiseerde analyse voor een aanzienlijke knelpunt: de annotatiekosten. Huidige deep learning-benaderingen, voornamelijk Convolutionele Neuronale Netwerken (CNN's), vereisen twee verschillende en kostbare inspanningen voor annotatie: binaire aanwezigheid/afwezigheid-labels voor classificatie en precieze temporele grenzen (start/eindtijden) voor lokalisatie.

• Het Discrepantie: Het toekennen van een binair label aan een opname van 30 minuten kost seconden, terwijl het tijdstippen van elke individuele oproep binnen die opname uren aan deskundige inspanning vereist.
• De Beperking van Bestaande Methoden: Standaard CNN's en fundamentele modellen werken doorgaans op vaste, kortdurende invoer (bijv. ≤15 seconden). Om langdurige streams (minuten tot uren) te verwerken, vertrouwen deze methoden op temporele compressie of heuristieken voor vensterselectie, wat de prestaties verslechtert en geen temporele lokalisatie biedt zonder frame-niveau supervisie. Bijgevolg lijden volledig gecontroleerde modellen aan aanzienlijke prestatiedalingen bij lange invoer (bijv. F1-scores dalen van ~0,8 naar ~0,2 bij opnames van 1800 seconden) en kunnen ze oproepen niet lokaliseren zonder dure instantie-niveau annotaties.

Methodologie: DSMIL-LocNet
De auteurs stellen DSMIL-LocNet (Dual-Stream Multiple Instance Learning-Localization Network) voor, een zwak gecontroleerd raamwerk dat zowel classificatie als temporele lokalisatie uitvoert met uitsluitend opname-niveau (zak-niveau) aanwezigheid/afwezigheid-labels.

1. Multiple Instance Learning (MIL) Formulering:

   • Elke langdurige opname wordt behandeld als een "zak" ($B_i$) die meerdere niet-overlappende korte segmenten bevat die "instanties" ($x^j_i$) worden genoemd.
   • Het model ontvangt slechts één binair label $y_i \in \{0, 1\}$ voor de hele zak (aangevend of een oproep aanwezig is), terwijl de specifieke instantielabels tijdens het trainen onbekend (latent) blijven.
   • Het doel is om attentiegewichten ($\alpha^j_i$) te leren die een hoge waarschijnlijkheid toekennen aan instanties die oproepen bevatten en een lage waarschijnlijkheid aan achtergrondruis.

2. Dual-Stream Architectuur:

   • Spectrale Stream: Verwerkt Mel-spectrogrammen (afgeleid van STFT) met behulp van een CNN-encoder met residublokken om frequentiemodulatie te vangen.
   • Temporele Stream: Verwerkt handgemaakte temporele kenmerken die direct uit de audiogolfvorm zijn geëxtraheerd, waaronder Root Mean Square (RMS) energie, Zero-Crossing Rate (ZCR), Piekamplitude, Envelopstatistieken en Temporeel Centroid.
   • Fusie: Een fusiemodule weegt en combineert dynamisch kenmerken uit beide streams om zich aan te passen aan variërende ruisonderdrukking en oproeptypes.

3. Attentie en Lokalisatie:

   • Het model hanteert een attentiemechanisme waarbij het gewicht $\alpha^j_i$ voor elke instantie wordt berekend via een softmax-functie over de zak.
   • Classificatie: De voorspelling op zak-niveau is een gewogen som van instantie-inbeddingen.
   • Lokalisatie: Temporele lokalisatie wordt bereikt door instanties te identificeren waar het attentiegewicht $\alpha^j_i$ een specifieke drempelwaarde overschrijdt. Hierdoor kan het model tijdstippen uitvoeren zonder ooit frame-niveau labels te hebben gezien tijdens het trainen.

4. Verliesfunctie:
   Het trainingsdoel combineert vier componenten om specifieke uitdagingen in langdurige bioakoestiek aan te pakken:

   • Focal Binary Cross-Entropy ($L_{BCE}$): Adresert klassenonbalans (zeldzame positieve oproepen).
   • Temporele Gladheid ($L_{temp}$): Moedigt coherente attentie aan over aangrenzende instanties om oproepcontinuïteit te reflecteren.
   • Sparsiteit ($L_{sparsity}$): Zorgt ervoor dat het model zich richt op een klein deel van relevante segmenten.
   • Instantieconsistentie ($L_{inst}$): Bevordert consistente kenmerkrepresentaties.

Belangrijkste Bijdragen

1. Zwak Gecontroleerde Formulering: De auteurs formuleren de analyse van langdurige walvisoproepen als een MIL-probleem dat slechts één binair label per meerminuten durende opname vereist, waardoor de afhankelijkheid van dure frame-niveau annotaties wordt verwijderd.
2. Dual-Stream Architectuur: Ze introduceren een netwerk dat spectrale CNN-kenmerken combineert met handgemaakte temporele kenmerken, gebruikmakend van een meercomponenten verliesfunctie om attentieverdunning, klassenonbalans en temporele coherentie in lange zakken aan te pakken.
3. Simultane Classificatie en Lokalisatie: Het raamwerk toont aan dat één set geleerde attentiegewichten zowel kan dienen voor classificatie op zak-niveau als voor temporele lokalisatie op instantie-niveau.

Experimentele Resultaten
De methode werd geëvalueerd op de AcousticTrends BlueFinLibrary, bestaande uit 1.880,25 uur aan Antarctische walvisopnames met hoge achtergrondruis (73–99,9%).

• Prestaties bij Lange Duren: DSMIL-LocNet behaalde F1-scores van 0,88–0,91 bij opnames variërend van 300s tot 1800s. In tegenstelling hieraan degradeerden volledig gecontroleerde CNN-baselines (ANIMAL-SPOT, DeepWhaleNet, etc.) aanzienlijk tot F1-scores van 0,19–0,64 bij deze duren als gevolg van informatieverlies door temporele compressie.
• Lokalisatiecapaciteit: In tegenstelling tot de gecontroleerde baselines, die geen temporele lokalisatie boden zonder extra annotatie, slaagde DSMIL-LocNet erin oproepen te lokaliseren.
• Durensafwegingen:
  • Classificatie: De prestaties verbeterden met langere zakduren (tot 1800s) naarmate de kans op het bevatten van een oproep toenam.
  • Lokalisatie: De precisie piekte bij kortere zakduren (60–120s) en degradeerde licht bij langere duren (0,5–0,6 bij 600s) als gevolg van attentieverdunning over meer instanties. De auteurs merken echter op dat zelfs lokalisatie met verminderde precisie waardevoller is dan "geen lokalisatie" die door sterke supervisie-baselines op lange invoer wordt geboden.
• Ablatiestudie: Het verwijderen van het dual-stream-ontwerp of de meercomponenten verliesfunctie resulteerde in aanzienlijke prestatiedalingen, wat de noodzaak bevestigt van zowel spectrale/temporele integratie als specifieke verliesbeperkingen.

Betekenis en Beweringen
Het artikel beweert dat DSMIL-LocNet een praktische oplossing biedt voor operationele PAM-implementaties waar deskundigentijd beperkt is. Door zowel detectie als lokalisatie mogelijk te maken vanuit goedkope, opname-niveau labels, overbrugt de methode de kloof tussen optimalisatie van korte segmentmodellen en de realiteit van continue, langdurige mariene monitoring.

De auteurs benadrukken dat deze aanpak niet beperkt is tot mariene bioakoestiek. Zij suggereren dat het onderliggende principe – het omzetten van goedkope zak-niveau labels in gestructureerde temporele voorspellingen – van toepassing is op elk domein dat wordt gekenmerkt door continue datastromen, schaarse doelgebeurtenissen en hoge annotatiekosten, zoals seismologie, medische akoestiek en terrestrische biodiversiteitstudies. Het werk toont aan dat zwakke supervisie capaciteiten kan bieden (gezamenlijke classificatie en lokalisatie op lange invoer) die sterke supervisie met invoerarchitecturen met vaste invoer niet kan ondersteunen.