🧬 biology

Pretraining Beyond Birds: Multi-Taxa Acoustic Representation Learning for Pantanal Biodiversity Monitoring

Dit artikel presenteert een deep learning-pipeline voor de BirdCLEF 2026-competitie die hoogwaardige monitoring van biodiversiteit met meerdere taxa in de Pantanal bereikt door gebruik te maken van cross-class pretraining, een contra-intuïtieve kalibratiekwaliteitsparadox in pseudo-labeling te onthullen, en taxonomische smoothing toe te passen om soortidentificatie over 234 soorten te verbeteren.

Oorspronkelijke auteurs: Arunodhayan Sampathkumar, danny kowerko

Gepubliceerd 2026-09-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arunodhayan Sampathkumar, danny kowerko

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

De natuur spreekt, maar voor het grootste deel luisteren we niet nauwkeurig genoeg. In de uitgestrekte, natte vlaktes van de Pantanal, het grootste tropische wetland ter wereld, communiceren dagelijks duizenden soorten vogels, kikkers, insecten en zoogdieren via geluid. Om de gezondheid van dit ecosysteem te begrijpen, hebben wetenschappers zich gericht op passieve akoestische monitoring. Deze methode houdt in dat autonome opnameapparaten in het wild worden geplaatst om het continue koor van het leven vast te leggen. Deze apparaten genereren terabytes aan audiogegevens, veel te veel voor het menselijk oor om handmatig door te sorteren. Om orde te scheppen in deze overvloed, vertrouwen onderzoekers op kunstmatige intelligentie, specifiek op deep learning-modellen die getraind zijn om de unieke akoestische signaturen van verschillende soorten te herkennen. De uitdaging was lang dat deze computermodellen bijna uitsluitend werden geleerd om naar vogels te luisteren. Hoewel vogels vocaal en divers zijn, vormen zij slechts een deel van het verhaal. Het wetland is ook gevuld met het gezoem van insecten, het gekwaak van amfibieën en de roepen van zoogdieren, die allemaal vitale indicatoren zijn voor de ecologische gezondheid, maar die grotendeels werden genegeerd door eerdere luistersystemen.

Een team onderzoekers van de Chemnitz University of Technology zette zich scharpe om een luistersysteem te bouwen dat het hele koor kon horen, en niet alleen de vogels. Ze namen deel aan de BirdCLEF 2026-competitie, een wereldwijde uitdaging om 234 verschillende soorten in de Pantanal te identificeren. Deze specifieke taak was moeilijk omdat de doel lijst niet alleen 162 vogelsoorten bevatte, maar ook 35 kikkers, 28 insecten, 8 zoogdieren en 1 reptiel. Het team werd geconfronteerd met een aanzienlijke hindernis: de trainingsdata die zij hadden, was sterk scheefgetrokken. Bijna 98 procent van de gelabelde audiofragmenten die zij konden gebruiken om hun computer te onderwijzen, bestond uit vogelgeluiden, waardoor er voor de andere soorten heel weinig overbleef om van te leren. Om dit op te lossen, ontwikkelden zij een nieuwe aanpak die de manier waarop de computer luistert fundamenteel veranderde. In plaats van hun model alleen te trainen op vogelzangen, voedden ze het met een enorme bibliotheek van geluiden van 9.257 verschillende soorten, inclusief kikkers, insecten en zoogdieren. Deze bredere educatie stelde de kern van de computer "hersenen" in staat om de akoestische kenmerken van niet-vogel leven te herkennen, wat resulteerde in een systeem dat het volledige spectrum aan wilde dieren met opmerkelijke nauwkeurigheid kon identificeren.

De onderzoekers ontdekten dat deze bredere training de belangrijkste factor was in hun succes. Door het model te leren geluiden van vijf verschillende diergroepen te herkennen, verbeterden ze het vermogen om de doelsoorten te identificeren met een meetbare marge vergeleken met modellen die alleen op vogels waren getraind. Dit was cruciaal omdat bijna een derde van de soorten die ze moesten vinden, geen vogels waren. Zonder deze multi-soort basis beschikte de computer niet over de noodzakelijke woordenschat om een kikkerroep te onderscheiden van een vogelzang of een insectengezoem. Het team ontdekte ook een verrassende en contra-intuïtieve les over hoe deze computermodellen leren van ongelabelde gegevens. In hun inspanning om de computer te onderwijzen met de enorme hoeveelheid ongelabelde opnames uit het wetland, ontdekten zij dat een model dat zeer zelfverzekerd en goed gekalibreerd was, eigenlijk slechter lesmateriaal produceerde dan een iets minder zelfverzekerd model. Het meer zelfverzekerde model had de neiging om te voorzichtig te zijn en wijsde lage waarschijnlijkheden toe aan onzekere geluiden, wat resulteerde in zwakke lessen voor de volgende fase van het leren. Het minder zelfverzekerde model maakte daarentegen dapperder gissingen die juist nuttiger bleken voor de training. Deze bevinding suggereert dat het in de toekomst niet altijd een betere leraar voor zichzelf maakt als een model simpelweg zelfverzekerder is.

Om hun definitieve resultaten te verfijnen, voegde het team een slimme laatste stap toe die geen extra trainingstijd vereiste. Ze realiseerden zich dat dieren in het wild niet willekeurig verschijnen; ze volgen patronen op basis van hun stambomen. Een specifiek type kikker is waarschijnlijk te vinden op dezelfde plaatsen als andere kikkers van hetzelfde geslacht. De onderzoekers programmeerden hun systeem om de voorspellingen voorzichtig bij te sturen op basis van deze bekende relaties. Als de computer onzeker was over een specifieke kikkerroep, keek het naar wat het dacht over de andere kikkers in diezelfde familie en paste het het antwoord dienovereenkomstig aan. Deze kleine aanpassing, waarbij de voorspelling voor één soort werd samengevoegd met de gemiddelde voorspelling van zijn verwanten, zorgde voor een consistente, gratis boost aan de nauwkeurigheid van het systeem. Het eindresultaat was een systeem dat een hoog niveau van precisie bereikte in het identificeren van soorten, waarbij het derde werd gerangschikt onder alle inzendingen die niet voor de hoofdprijs waren geselecteerd. Het werk van het team laat zien dat om biodiversiteit echt te monitoren, we onze machines moeten leren om naar het hele ecosysteem te luisteren, en niet alleen naar de meest vocale leden. Door de trainingsdata uit te breiden naar de volledige diversiteit van het leven en de eigenaardigheden van hoe deze modellen leren te begrijpen, kunnen wetenschappers hulpmiddelen bouwen die een duidelijker, completer beeld van de natuurlijke wereld bieden.

Technische Samenvatting: Pretraining Beyond Birds voor Biodiversiteitsmonitoring in het Pantanal

Probleemstelling

Passieve akoestische monitoring (PAM) biedt een schaalbare oplossing voor biodiversiteitsbeoordeling, maar geautomatiseerde soortidentificatie blijft moeilijk in ecosystemen met meerdere taxa. De specifieke uitdaging die in dit werk wordt aangepakt, is de BirdCLEF 2026 competitie, die zich richt op 234 soorten verspreid over vijf taxonomische klassen (Aves, Amphibia, Insecta, Mammalia en Reptilia) in het Pantanal-moerasgebied van Brazilië.

De kernproblemen die zijn geïdentificeerd zijn:

Multi-Taxa Complexiteit: Bestaande deep learning-modellen zijn voornamelijk getraind op vogelzang. Ze missen de noodzakelijke akoestische kenmerkrepresentaties om amfibieënroepen, insectenstridulatie en zoogdiergeluiden te onderscheiden, ondanks dat niet-vogel taxa 30,8% van de doelsoorten uitmaken.
Ernstige Class Imbalance: De gelabelde trainingsset is zwaar scheefgetrokken; vogels beslaan 97,9% van de gelabelde clips, terwijl ze slechts 69,2% van de doelsoorten vertegenwoordigen. Niet-vogel taxa en specifieke insecten-sonotypes hebben extreem weinig of zelfs nul gelabelde trainingsvoorbeelden.
Semi-Supervised Constraints: Een aanzienlijk deel van de evaluatiedata (10.658 ongelabelde soundscapes) moet worden benut via pseudo-labeling, maar de kwaliteit van deze labels is gevoelig voor modelkalibratie en betrouwbaarheidsdrempels.

Methodologie

De auteurs stellen een uitgebreide deep learning-pipeline voor bestaande uit systematische pretraining, semi-supervised learning, ensemble-methoden en post-processing.

1. Data en Preprocessing

Input: 5-seconden audiofragmenten, geresampled naar 32 kHz, omgezet naar 256×256 log-mel spectrogrammen.
Extern Pretraining Corpus: Om het gebrek aan niet-vogel data aan te pakken, is een corpus van 760.008 clips bestaande uit 9.257 soorten samengesteld. Dit omvat vogeldata van XenoCanto/BirdCLEF en niet-vogel data (Amphibia, Insecta, Mammalia, Reptilia) van iNaturalist.
Augmentatie: Technieken omvatten SpecAugment, XY masking, random filtering, achtergrondruis mixing en soft pseudo-label mixing.

2. Modelarchitectuur

Backbone: EfficientNetV2-S, geïnitialiseerd met ImageNet-gewichten en gefinetuned.
Head: Een Sound Event Detection (SED) head bestaande uit:
- GeMFreq Pooling: Generalized Mean Frequency pooling om kenmerken langs de frequentie-as te aggregeren.
- AttHead: Een attention-gebaseerde classificatie head met parallelle attention en classificatie takken.
Alternatieve Tak: Een ProtoSSM tak die gebruikmaakt van Perch embeddings en een bidirectioneel State Space Model (SSM) om langetermijn temporele afhankelijkheden te vangen.

3. Trainingsstrategie

Multi-Taxa Pretraining: De backbone wordt eerst gepretrained op de externe corpus van 9.257 soorten voordat deze wordt gefinetuned op de competitiedata.
Semi-Supervised Learning (Pseudo-Labeling): Soft pseudo-labels worden gegenereerd van ongelabelde soundscapes. Een cruciale bevinding betreft de "kalibratie-kwaliteit paradox" (hieronder gedetailleerd), waarbij een zwakkere teacher model (AUROC 0.930) met een hogere gemiddelde confidence (0.861) betere pseudo-labels produceerde dan een sterkere, beter gekalibreerde teacher (AUROC 0.946) met een lagere confidence (0.257).
Ensemble: Het uiteindelijke systeem combineert voorspellingen van:
- Meerdere EfficientNetV2-S varianten (SED head).
- HGUNet-SED modellen.
- De ProtoSSM tak.
- Blending ratio's zijn geoptimaliseerd (bijv. 65/35 voor SED/ProtoSSM).

4. Inferentie en Post-Processing

Test-Time Augmentation (TTA): Temporele verschuivingen (2.5s offset) worden toegepast om extra segmenten te genereren.
Taxonomische Smoothing: Een zero-cost post-processing stap die individuele soortvoorspellingen mengt met de gemiddelde voorspellingen van hun taxonomische genus ( $\alpha=0.15$ ) en klasse ( $\alpha=0.05$ ).
Deployment: Modellen werden geconverteerd naar OpenVINO IR formaat voor CPU-only inferentie om aan de 90 minuten runtime beperking te voldoen.

Belangrijkste Bijdragen

Het artikel benadrukt drie primaire bijdragen voortvloeiend uit 288 systematische experimenten:

Multi-Taxa Backbone Pretraining: Het uitbreiden van pretraining van alleen vogeldata naar een diverse corpus van 9.257 soorten (inclus\nclusief niet-vogels) levert een verbetering op van +0.016 AUROC ten opzichte van alleen vogel-pretraining. Dit toont aan dat taxonomische diversiteit in pretraining belangrijker is dan simpelweg het opschalen van het aantal vogelsoorten.
De Kalibratie-Kwaliteit Paradox: De auteurs identificeren een contra-intuïtief fenomeen in pseudo-label generatie: een beter gekalibreerd teacher model produceerde lagere kwaliteit pseudo-labels en degradeerde de downstream performance vergeleken met een minder gekalibreerde maar meer zelfverzekerde (confident) teacher. Dit suggereert dat confidence re-kalibratie of sharpening noodzakelijk is vóór iteratieve self-training in bioakoestiek.
Taxonomische Smoothing: Een post-processing techniek die bekende ecologische co-occurrence patronen benut door voorspellingen te mengen met taxonomische gemiddelden. Dit levert een consistente winst van +0.001 AUROC op zonder extra trainingskosten.

Resultaten

De voorgestelde pipeline behaalde de volgende prestaties op de BirdCLEF 2026 leaderboards:

Public Leaderboard: AUROC 0.960 (na taxonomische smoothing).
Private Leaderboard: AUROC 0.959 (na taxonomische smoothing).
Ranking: 19e van de geselecteerde inzendingen en 3e van de niet-geselecteerde inzendingen.

Ablatie studies bevestigden dat de multi-taxa pretraining de grootste enkele prestatiewinst leverde (+0.016), gevolgd door de ensemble van diverse architecturen en de ProtoSSM tak. Het systeem toonde sterke generalisatie voorafgaand aan post-processing, waarbij een configuratie met de SED head met TTA en de gemengde HGUNet ensemble strategie identieke publieke en private LB scores van 0.959 bereikte, wat duidt op een gebrek aan overfitting op de publieke set. Echter, de laatste taxonomische smoothing stap, hoewel deze de publieke score verhoogde naar 0.960, verlaagde de private score licht naar 0.954 (van de 0.959 behaalde zonder smoothing), wat wijst op milde overfitting op de soort co-occurrence distributie in de publieke evaluatieset.

Betekenis en Claims

De auteurs beweren dat dit werk praktische richtlijnen biedt voor multi-taxa bioakoestische monitoring in conservatie toepassingen. Specifiek:

Voorbij de Ornithologie: De resultaten vestigen dat voor PAM-toepassingen die verder gaan dan vogelmonitoring, pretraining op taxonomisch diverse data cruciaal is voor modelprestaties.
Best Practices voor Semi-Supervised Learning: De identificatie van de kalibratie-kwaliteit paradox biedt een nieuwe heuristiek voor het ontwerpen van self-training pipelines, waarbij suggereert dat ruwe confidence een waardevollere metriek kan zijn voor pseudo-label selectie dan kalibratiemetrieken in dit domein.
Efficiëntie: De taxonomische smoothing benadering biedt een computationeel gratis methode om nauwkeurigheid te verbeteren door ecologische priors te benutten, hoewel het een zorgvuldige overweging vereist met betrekking tot generalisatie naar private datasets.

De auteurs benadrukken dat hun bevindingen worden ondersteund door reproduceerbaar bewijs uit uitgebreide ablatie studies en dat alle code en modelgewichten publiekelijk beschikbaar zijn om toekomstig onderzoek te faciliteren.