Technische Samenvatting: Het decoderen van insectenzang via PULSE

Probleemstelling

Passieve akoestische monitoring (PAM) is een cruciaal instrument voor het beoordelen van de gezondheid en biodiversiteit van habitats, maar bestaande geautomatiseerde machine learning (ML)-tools zijn vaak nauw getraind en missen transfereerbaarheid naar nieuwe omgevingen. Hoewel er aanzienlijke vooruitgang is geboien in de bioakoestiek voor vogels en vleermuizen, is er een opvallende afwezigheid van open-source ML-tools voor Orthoptera (sprinkanachtigen zoals krekels en grasshoppers). Deze kloof wordt gedreven door twee primaire uitdagingen:

1. Datascarciteit: Er is een gebrek aan grote, open-toegang geluidbibliotheken specifiek voor Orthoptera in vergelijking met andere taxa.
2. Domeinverschuiving en Signaalcomplexiteit: Signalen van Orthoptera zijn moeilijk te extraheren omdat veel soorten bijna continu roepen, wat leidt tot veel overlappende roepen. Bovendien bezitten referentie-oproepen in gecureerde geluidbibliotheken vaak een hogere audiokwaliteit en minder ruis dan "rommelige" echte veldopnames, waardoor modellen die getraind zijn op schone data slecht presteren in het veld.

Methodologie: Het PULSE-framework

Om deze beperkingen aan te pakken, stellen de auteurs PULSE (Passive acoUstic Latent-Space Encoder) voor, een semi-gesuperviseerd, multi-task framework dat is ontworpen voor de bioakoestiek van Orthoptera. Het framework integreert drie verschillende optimalisatiedoelen om zowel beperkte gelabelde data als overvloedige ongelabelde veldopnames te benutten.

1. Datacompositie

• Gelabelde Data: Een subset van 19 in het VK endemische of aanwezige Orthoptera-soorten, afkomstig uit de ECOSoundSet, Xeno-canto en iNaturalist.
• Ongelabelde Data: Een grote collectie (~150 GB) ongelabelde veldopnames van 10 locaties in Oxfordshire, VK.
• Active Learning: Een kleine subset van de ongelabelde velddata werd handmatig gelabeld door experts met behulp van de DIRECT-methode om het model iteratief te verbeteren.

2. Architectuur

Het framework maakt gebruik van een VGGish backbone om audio te transformeren naar mel-spectrogrammen en embeddings ($e$) te genereren. Deze embeddings dienen als input voor drie parallelle taken:

• Gesuperviseerde Classificatie: Een classificatiekop ($h_{cls}$) die wordt geoptimaliseerd met binary cross-entropy loss ($L_{cls}$) met behulp van gelabelde data. Dit vangt de multi-label natuur op van opnames waarbij meerdere soorten gelijktijdig kunnen vocaliseren.
• Ecologische Prior (Knowledge Distillation): Om de kloof tussen gecureerde bibliotheken en velddata te overbruggen, laat het model zijn embeddings matchen met die van een bevroren, algemeen doelgericht BirdNET-model. Dit wordt bereikt via een gemiddelde MSE L2-loss ($L_{mse}$) op ongelabelde data, waarbij algemene ecoakoestische kennis wordt overgedragen.
• Self-Supervised Learning (SSL): Om aan te passen aan lokale akoestische profielen, gebruikt het framework de Bootstrap Your Own Latent (BYOL) methode. Een online netwerk en een target netwerk (bijgewerkt via een exponentieel voortschrijdend gemiddelde) worden getraind om elkaars projecties van geaugmenteerde views (tijd- en frequentiemasking) van dezelfde ongelabelde velddata te voorspellen, waarbij $L_{byol}$ wordt geminimaliseerd.

3. Gezamenlijke Optimalisatie

Het model wordt getraind door een gewogen som van de drie loss-functies te minimaliseren:
$$L_{total} = \alpha_{cls}L_{cls} + \alpha_{mse}L_{mse} + \alpha_{byol}L_{byol}$$
Gewichten werden ingesteld op $\alpha_{cls} = 0,9$, $\alpha_{mse} = 0,1$ en $\alpha_{byol} = 0,1$ om rekening te houden met de significante onbalans tussen gelabelde en ongelabelde data.

Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van PULSE, het eerste semi-gesuperviseerde, multi-task framework dat specifiek is ontworpen voor de bioakoestiek van Orthoptera, waarbij zwak gesuperviseerde classificatie, self-supervised learning en knowledge distillation worden gecombineerd.
2. Dataset Release: De release van een grote, ongelabelde dataset van Britse veldopnames samen met een subset van labels verzameld via active learning.
3. Ecologische Ontdekkingstool: Ontwikkeling van een interactieve visualisatietool waarmee ecologen de embedding-ruimtes kunnen verkennen, wat ecologische structuren onthult zoals soortscheiding, locatie-specifieke clustering en temporele variaties (bijv. chirp-frequenties gerelateerd aan het tijdstip van de dag).
4. Bronseparatie Proxy: Demonstratie dat geleerde embeddings kunnen worden gebruikt om overlappende roepen te "ontmengen" met behulp van non-negative least squares (NNLS) op soorten-gemiddelde prototypes, waardoor constituerende soorten in gemengde opnames worden geïdentificeerd.

Experimentele Resultaten

Het model werd geëvalueerd op helden-testdata van drie locaties die volledig waren uitgesloten van de training.

• Prestaties vs. Algemene Modellen: PULSE presteerde significant beter dan een state-of-the-art algemeen model (Perch 2.0) over alle metrieken:
  • Macro F1: 0,21 (PULSE) vs. 0,07 (Perch).
  • Macro AUC: 0,74 (PULSE) vs. 0,45 (Perch).
  • Macro AP: 0,32 (PULSE) vs. 0,19 (Perch).
• Impact van Active Learning: Het integreren van active learning om een deel van de velddata te labelen verbeterde de prestaties verder, waarbij de Macro F1 steeg naar 0,34 en de Macro AUC naar 0,84.
• Kwaliteit van Embeddings: Analyse van de 1024-dimensionale embedding-ruimte onthulde dat 891 dimensies significante variatie tussen soorten vertoonden. Saliency maps bevestigden dat regio's met hoge activatie overeenkwamen met belangrijke akoestische kenmerken (kernfrequentiebanden en amplitude-pieken).
• Generalisatie: Wanneer uitgebreid met achtergrondklassen (antropofonie, vogels, vleermuizen, geofonie), behield PULSE competitieve prestaties op Orthoptera-klassen terwijl het effectief achtergrondgeluiden classificeerde.

Betekenis en Claims

Het artikel claimt dat PULSE effectief de problemen van datascarciteit en domeinverschuiving aanpakt die inherent zijn aan de insectenbioakoestiek. Door het combineren van gecureerde bibliotheekdata met ongelabelde veldopnames via een multi-task benadering, creëert het framework een specialistisch model dat meer adaptief is aan lokale omgevingen dan algemene modellen.

De auteurs benadrukken dat de geleerde embeddings een ecologisch betekenisvolle structuur coderen, wat niet alleen classificatie maar ook wetenschappelijke ontdekking faciliteert. Het vermogen om embeddings te visualiseren hels ecologen om intraspecifieke gedragsverschillen te begrijpen (bijv. variaties in zongsnelheid door temperatuur) en omgevingsfactoren te begrijpen. Uiteindelijk heeft dit werk als doel grootschalige insecten-PAM te faciliteren, wat vitale informatie biedt voor natuurbehoud en habitatbeheerstrategieën. De auteurs blijven bescheiden en merken op dat hoewel de tool automatisering ondersteunt, het dient als een middel om ecologische inferentie te ondersteunen in plaats van een op zichzelf staande oplossing voor alle natuurbehouduitdagingen.