💻 computer science

A strongly annotated passive acoustic dataset for tropical bird monitoring

Dit artikel introduceert PteroSet, een sterk geannoteerde passieve akoestische dataset die meer dan 73 uur aan opnames en meer dan 15.000 tijd-frequentielabels omvat voor 168 neotropische vogelsoorten in Colombia, en die is ontworpen om machine learning voor biodiversiteitsmonitoring te bevorderen door het gebrek aan geannoteerde tropische geluidslandschappen aan te pakken en te dienen als een realistische benchmark voor detectie-uitdagingen.

Oorspronkelijke auteurs: Daniela Ruiz, Juan Sebastián Ulloa, Zhongqi Miao, Nicolás Betancourt, Maria Paula Toro-Gómez, Andrés Hernández, Bruno Demuro, Eliana Barona-Cortés, Angela Mendoza-Henao, Andrés Sierra-Ricaurte, Sebast

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daniela Ruiz, Juan Sebastián Ulloa, Zhongqi Miao, Nicolás Betancourt, Maria Paula Toro-Gómez, Andrés Hernández, Bruno Demuro, Eliana Barona-Cortés, Angela Mendoza-Henao, Andrés Sierra-Ricaurte, Sebastián Pérez-Peña, Rahul Dodhia, Pablo Arbeláez, Juan M. Lavista Ferres

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert één enkel gesprek te horen in een druk, luidruchtig stadion waar duizenden mensen tegelijkertijd praten, schreeuwen en zingen. Stel je nu voor dat je dat niet één uur doet, maar dagenlang, en probeert precies uit te vinden wie wat zei, wanneer ze het zeiden en welke vogelsoort het was. Dat is de uitdaging van het luisteren naar het tropische regenwoud.

Dit artikel introduceert PteroSet, een enorme nieuwe "bibliotheek" met geluidsopnames en een gedetailleerde "kaart" van wat er in die geluiden gebeurt, ontworpen om computers te helpen leren hoe ze vogels in de tropen moeten horen.

Hier volgt een uiteenzetting van het artikel met eenvoudige analogieën:

1. Het Probleem: De "Naald in de Hooiberg"

Wetenschappers gebruiken al lang microfoons om de natuur op te nemen. Het is alsof je een beveiligingscamera hebt die nooit slaapt. Maar deze camera's nemen alles op—wind, regen, insecten en auto's.

Het Probleem: In de tropen is de "hooiberg" (de achtergrondruis) enorm, en de "naalden" (specifieke vogelroepen) zijn moeilijk te vinden.
Het Gat: Hoewel we geweldige computerprogramma's hebben om vogelgezang te herkennen, leren deze meestal van opnames van vogels in koelere, rustigere gebieden (zoals Europa of Noord-Amerika). Als je die programma's meeneemt naar de drukke, complexe tropen, raken ze in de war. We hadden een "trainingshandleiding" nodig die specifiek was voor het tropische oerwoud.

2. De Oplossing: PteroSet (De "Tropische Geluidsbibliotheek")

De onderzoekers hebben een nieuwe dataset gemaakt genaamd PteroSet. Denk hierbij aan een zeer specifieke, hoogwaardige trainingsset voor AI.

Waar: Ze namen op in twee zeer verschillende plaatsen in Colombia: de Amazones voorhellingen (Putumayo) en de Caraïbische laaglanden (Magdalena). Het ene gebied is een snel veranderend oerwoud, en het andere is een meer versnipperd, landbouwgebonden landschap.
Wat: Ze verzamelden 73,6 uur aan audio. Maar hier is de truc: ze gooide de ruwe bestanden niet zomaar ergens neer. Ze maakten een "time-lapse"-versie. Stel je voor dat je elke 30 minuten een 10-seconden clip neemt gedurende een hele dag en die aan elkaar plakt tot één 8-minuten durende film. Hierdoor kunnen mensen in een paar minuten een hele dag aan geluid bekijken.
De "Kaart" (Annotaties): Dit is het belangrijkste deel. Mensen (experts die vogelgezang kennen) luisterden naar deze clips en trokken kaders om elke vogelroep. Ze markeerden precies wanneer het begon en stopte, en welke toonhoogte het had.
- Ze vonden 15.372 onderscheidbare vogelgebeurtenissen.
- Ze identificeerden 168 verschillende soorten.
- Ze labelden 6.702 van die roepen tot op het exacte soortniveau (zoals het identificeren van een specifiek persoon in een menigte).

3. Het Formaat: Een Nieuwe "Universele Vertaler"

Meestal is geluidsdata rommelig. De ene onderzoeker slaat bestanden op de ene manier op, de ander op een andere manier. Het is alsof je een puzzel probeert te bouwen waarbij de stukjes uit verschillende dozen niet in elkaar passen.

De Innovatie: Het team creëerde een nieuw bestandsformaat (een JSON-schema) gebaseerd op een standaard die wordt gebruikt voor beeldherkenning (genaamd COCO).
De Analogie: Stel je voor dat ze een universele "stekker" hebben uitgevonden die in elk computersysteem past. Nu hoeven ze niet elke keer het wiel opnieuw uit te vinden als iemand vogelgeluiden wil bestuderen; ze kunnen deze dataset gewoon aansluiten, en de computer weet precies hoe hij de labels, de tijd en de soort moet lezen.

4. De Test: De Computer Leren Luisteren

Om te bewijzen dat deze dataset werkt, leerden de onderzoekers een computer (met behulp van een model genaamd ResNet-18) een simpele vraag te beantwoorden: "Zit er een vogel in deze 5-seconden clip, of niet?"

De Uitdaging: Ze testten het niet alleen op dezelfde data waaruit het had geleerd. Ze gebruikten een "leave-one-out"-test. Ze trainden de computer op data van vier projecten en testten het vervolgens op het vijfde project dat het nooit eerder had gezien. Dit is alsof je voor een toets studeert met vier verschillende leerboeken en vervolgens een toets maakt gebaseerd op een vijfde boek dat je nooit hebt geopend.
Het Resultaat: De computer behaalde ongeveer 72% tot 75% nauwkeurigheid.
- Waarom niet 100%? Omdat het tropische oerwoud moeilijk is! Het artikel merkt op dat de computer moeite had wanneer de vogels stil waren, wanneer de geluiden overlappenden (twee vogels tegelijk zingend), of wanneer de omgeving veranderde (zoals het verplaatsen van de Amazones naar de Caraïben).
- De Conclusie: De computer deed het goed, maar de dataset toonde succesvol waar het moeite heeft. Dit is waardevol omdat het wetenschappers precies vertelt welke problemen ze als volgende moeten oplossen.

5. Waarom Dit Belangrijk Is (Volgens het Artikel)

Het artikel beweert dat deze dataset een "realistische benchmark" is.

Realisme: De meeste andere datasets zijn als een rustige bibliotheek. PteroSet is als een drukke markt. Het omvat de rommelige realiteit van de tropen: vogels die over elkaar heen zingen, achtergrondruis en verschillende habitats.
Open Toegang: De onderzoekers geven deze bibliotheek gratis weg. Ze willen dat andere wetenschappers het gebruiken om betere tools te bouwen voor het beschermen van biodiversiteit.

Samenvatting

Kortom, de auteurs bouwden een enorme, zorgvuldig gelabelde audiobibliotheek van tropische vogels in Colombia. Ze namen niet alleen de geluiden op; ze tekenden een gedetailleerde kaart van elke vogelroep. Ze verpakten het in een nieuw, gebruiksvriendelijk formaat en bewezen dat hoewel computers goed worden in het luisteren naar de natuur, het tropische oerwoud nog steeds een moeilijke plek is om te leren. Deze dataset is het nieuwe "leerboek" dat de volgende generatie AI zal helpen beter te worden in het beschermen van 's werelds meest diverse ecosystemen.

Technische Samenvatting: PteroSet – Een Sterk Geannoteerde Passieve Akoestische Dataset voor Tropische Vogelm monitoring

Probleemstelling

Passieve akoestische monitoring (PAM) is uitgegroeid tot een cruciale, niet-invasieve tool voor het beoordelen van biodiversiteit, met name in afgelegen en dichte habitats waar traditionele surveys onpraktisch zijn. Hoewel de schaal van moderne PAM-datasets machinelearning (ML) vereist voor geautomatiseerde geluiddetectie en -classificatie, wordt de adoptie van toezichtgebaseerde deep learning-methoden gehinderd door een schaarste aan hoogwaardige, tijdsopgeloste geannoteerde datasets. Deze kloof is vooral acuut in tropische regio's, die een uitzonderlijke biodiversiteit herbergen maar ondervertegenwoordigd blijven in wereldwijde data-infrastructuur. Bestaande datasets zijn vaak bevooroordeeld ten opzichte van gematigde regio's, zwak geannoteerd (enkel clip-niveau labels) of missen de gedetailleerde tijd-frequentie begrenzing die nodig is voor robuust modeltrainen. Bijgevolg presteren modellen die getraind zijn op data uit gematigde regio's vaak slecht in complexe tropische geluidslandschappen, gekenmerkt door dichte akoestische overlapping, hoge soortenomzet en significante domeinverschuivingen tussen locaties.

Methodologie

Datacollectie

De studie verzamelde audio-data van twee ecologisch contrasterende locaties in Colombia: Puerto Asís (departement Putumayo), die de overgangszone tussen de Andes en het Amazonegebied vertegenwoordigt, en Pivijay (departement Magdalena), die een historisch getransformeerde Caribische laaglandmatrix vertegenwoordigt.

Hardware: Autonome opname-eenheden (AudioMoth) uitgerust met omnidirectionele microfoons.
Protocol: Apparaten namen 1 minuut op elke 30 minuten gedurende een periode van 24 uur, wat resulteerde in 48 minuten audio per dag met een resolutie van 192 kHz en 16-bit.
Scope: Data werd verzameld over vijf bewakingsseizoenen tussen 2023 en 2025.

Dataannotatie

Om hoogwaardige trainingsdata te waarborgen, ontwikkelden de auteurs een gestandaardiseerd protocol voor "sterke" annotaties (tijd-frequentie begrenste labels).

Generatie van Tijdverloop: Om het datavolume te beheersen, werden de eerste 10 seconden van elk van de 48 dagelijkse opnamen samengevoegd tot één enkel 480-seconden "tijdverloop"-bestand, waarbij de 24-uurs tijdsdekking behouden bleef terwijl de handmatige werkdruk werd verminderd.
Expertannotatie: Vier specialisten gebruikten Raven Pro-software om individuele vocale gebeurtenissen handmatig te identificeren en af te bakenen. Annotaties omvatten expliciete start ( $t_{min}$ ), einde ( $t_{max}$ ), onderste frequentie ( $f_{min}$ ) en bovenste frequentie ( $f_{max}$ ) grenzen.
Taxonomische Resolutie: Soorten werden geïdentificeerd op basis van diagnostische akoestische kenmerken met behulp van een gestandaardiseerd alfanumeriek coderingssysteem (bijv. MEGCHO voor Megascops choliba). Alleen signalen die zowel akoestisch als visueel duidelijk geïdentificeerd waren, werden geannoteerd; vage of dubbelzinnige vocalisaties werden uitgesloten.
Filtering: De dataset werd gefilterd om alleen biologische geluiden (BIO) en specifiek vogelvocalisaties (AVEVOC) te behouden, waarbij niet-biologische ruis en andere taxa werden uitgesloten.

Computergestuurde Verwerking

Hersampling: Audio werd voor analyse hersampled van 192 kHz naar 48 kHz, aangezien vogelvocalisaties in deze dataset zelden boven de 24 kHz komen.
Schema-unificatie: Annotaties werden omgezet van Raven Pro-tekstbestanden naar een unificatie JSON-schema, geïnspireerd op het Common Objects in Context (COCO) afbeeldingsannotatieformaat. Dit schema bevat datasetmetadata, categoriedefinities, geluidsbestandsinformatie en tijd-frequentie annotaties.
Basislijnmodel: Een binaire vogeldetectietask werd geformuleerd. Audio werd omgezet in 5-seconden mel-spectrogrammen (2048-punts FFT, 512-sample hop, 224 mel-banden). Een schuifvensterbenadering (1-seconden stap) genereerde trainingsstalen.
Architectuur: Een ResNet-18-ruggegraat, geïnitieerd met ImageNet-weights en aangepast voor single-channel input, werd getraind voor binaire classificatie (vogel aanwezigheid versus afwezigheid).
Validatie: Een leave-one-project-out cross-validatiestrategie (5 folds) werd toegepast om strikte temporale en ruimtelijke scheiding tussen trainings- en testdata te waarborgen, waarmee de modelgeneralisatie over verschillende opnamelocaties rigoureus werd getest.

Belangrijkste Bijdragen

PteroSet Dataset: Een gecureerde collectie van 563 tijdverloop-opnamen (73,62 uur) met 15.372 tijd-frequentie annotaties, inclusief 6.702 soort-niveau labels over 168 Neotropische vogelsoorten. Dit breidt de schaal van sterk geannoteerde tropische audio-data aanzienlijk uit.
Realistische Tropische Benchmark: De dataset vangt expliciet uitdagingen die inherent zijn aan Neotropische geluidslandschappen, zoals dichte akoestische co-voorkomen (meerdere soorten die tegelijkertijd zingen) en domeinverschuivingen tussen opnamelocaties, die vaak ondervertegenwoordigd zijn in datasets uit gematigde regio's.
Annotatieschema: Introductie van een COCO-geïnspireerd JSON-formaat, aangepast voor bioakoestiek, wat interoperabiliteit en integratie met andere datasets faciliteert.
Referentiebasislijn: Levering van een reproduceerbare ResNet-18 basislijn voor binaire vogeldetectie, waarmee prestatie-metrics worden vastgesteld voor toekomstige vergelijkingen.
Open-Access Middelen: Volledige release van ruwe en verwerkte data, annotatiebestanden en code om reproduceerbaarheid te ondersteunen.

Resultaten

Het basislijn ResNet-18-model toonde effectieve discriminatie tussen vogel- en niet-vogel akoestische gebeurtenissen onder diverse omstandigheden, hoewel de prestaties varieerden per locatie.

Algemene Prestaties: Over vijf cross-validatie folds behaalde het model een gemiddelde F1-score van 0,718 ± 0,039, een AUPRC van 0,797 ± 0,047 en een nauwkeurigheid van 0,850 ± 0,091.
Domeinverschuiving: De prestaties varieerden significant tussen de folds. Het model presteerde het zwakst op de MAP1 (Magdalena) testset (F1: 0,650) en het sterkst op de PPA4 (Putumayo) testset (F1: 0,742), wat de uitdaging benadrukt om te generaliseren over ecologisch verschillende regio's.
Akoestische Complexiteit: De dataset vertoont een hoge akoestische dichtheid; ongeveer 19,8% van de annotaties betreft temporale overlappingen, en 60% van de overlappende paren overlapt ook in het frequentiedomein. Dit bevestigt dat een significant deel van de data gelijktijdige vocalisaties van meerdere soorten bevat.
Foutenanalyse: Kwalitatieve analyse toonde aan dat het model succesvol duidelijke, hoog-SNR vocalisaties identificeerde, maar moeite had met vage roepen en niet-biologische geluiden die spectrale kenmerken deelden met vogelroepen (bijv. insecten tonale patronen).

Betekenis

Het artikel positioneert PteroSet niet louter als een dataopslagplaats, maar als een noodzakelijke stap naar eerlijke en effectieve bioakoestische monitoring in de tropen. Door de mismatch aan te pakken tussen de biologische rijkdom van de Neotropen en de schaarste aan digitale representatie, dient de dataset als een rigoureuze trainingsbron en een uitdagende benchmark. Het benadrukt dat succesvolle geautomatiseerde monitoring in deze omgevingen modellen vereist die bestand zijn tegen dichte akoestische overlapping, domeinverschuivingen en langstaart-soortenverdelingen. De auteurs betogen dat het centreren van deze real-world complexiteiten, in plaats van te vertrouwen op schonere, gematigde datasets, cruciaal is voor het ontwikkelen van modellen die generaliseren naar wereldwijde ecosystemen. De adoptie van een unificatie annotatieschema heeft bovendien tot doel drempels te verlagen voor het bouwen van grootschalige, multi-site trainingscorpora en reproduceerbare benchmarking binnen de bioakoestische gemeenschap te faciliteren.