🧬 biology

YAPAT — An Open-Source Platform for Active and Weakly Supervised Annotation of Passive Acoustic Monitoring Data

YAPAT is een open-source, webgebaseerd platform dat de grootschalige annotatie van passieve akoestische monitoringsgegevens stroomlijnt door ontologie-gegronde labeling, multi-label active learning en dubbele cold-start mechanismen te integreren om de inspanning van experts te verminderen en hoogwaardige, interoperabele datasets te produceren.

Oorspronkelijke auteurs: Thiago S. Gouvêa, Rida Saghir, Prathmesh P. Doddanawar, Novruz Mammadli, Pratik P. Sitapara, Hannes Kath, Daniel Sonntag

Gepubliceerd 2026-07-31

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thiago S. Gouvêa, Rida Saghir, Prathmesh P. Doddanawar, Novruz Mammadli, Pratik P. Sitapara, Hannes Kath, Daniel Sonntag

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je de natuurlijke wereld voor als een gigantische, 24-uurs radiozender die nooit stopt met uitzenden. In plaats van muziek speelt de zender de liederen van kikkers, vogels, insecten en walvissen. Wetenschappers gebruiken speciale microfoons, genaamd Passive Acoustic Monitoring (PAM) units, om deze geluiden dagen, weken of zelfs jaren lang op te nemen. Dit is een superkracht voor het begrijpen van de natuur, omdat het onderzoekers in staat stelt om naar hele ecosystemen te luisteren zonder er ooit een voet in te zetten of de dieren weg te jagen. Echter, er is een enorm probleem: deze microfoons nemen zoveel audio op dat de bestanden zich opstapelen tot een berg die te groot is voor een mens om naar te luisteren en op te schrijven wat hij hoort. Het is alsof je probeert elk boek in een bibliotheek ter grootte van een stad te lezen, maar de boeken zijn gemaakt van geluid.

Om dit op te lossen, gebruiken wetenschappers computers om te helpen luisteren. Maar computers zijn slechts zo slim als de voorbeelden waarmee ze worden onderwezen. Om een computer te leren een specifieke kikkerroep te herkennen, moet een menselijke expert eerst duizenden opnames beluisteren en labelen, waarbij hij zegt: "Ja, dit is een kikker," of "Nee, dit is alleen de wind." Dit proces is traag, saai en duur. Als experts te druk zijn met labelen, kunnen de computers niet leren, en blijven de bergen audio-data nutteloos liggen. De grote vraag in dit vakgebied is: Hoe kunnen we computers laten leren van deze enorme geluidsarchieven zonder dat een mens eerst naar elke seconde hoeft te luisteren?

Hier komt een nieuw hulpmiddel genaamd YAPAT (Yet Another PAM Annotation Tool) in beeld. Zie YAPAT als een hoogtechnologisch, interactief detectiespel voor natuurgeluiden. In plaats van een mens te dwingen om elke opname één voor één te beluisteren, gebruikt YAPAT een slimme mix van computertrucs om het zware werk te doen. Het begint door de lange audiobestanden op te delen in kleine fragmenten van 3 seconden. Vervolgens gebruikt het een vooraf getraind "brein" (genaamd BirdNET) om elk fragment in een unieke digitale vingerafdruk te veranderen.

De magie gebeurt in hoe YAPAT de menselijke expert helpt. Stel je voor dat je naar een enorme kaart van al deze geluidsvingerafdrukken kij.kt. YAPAT laat je niet zoma van een willekeurige lijst zien; het werkt als een slimme gids. Het heeft drie manieren om je op weg te helpen, zelfs als je helemaal geen gelabelde data hebt om mee te beginnen:

De "Lijkt-erop"-zoekopdracht: Als je één duidelijke opname hebt van een specifiek dier, kun je deze uploaden. YAPAT vindt onmiddellijk alle andere 3-seconden fragmenten in je enorme archief die qua geluid lijken op deze opname, waardoor je een heleboel van hen tegelijk kunt labelen.
De "Bestandsniveau"-gok: Als je een map hebt met opnames waarvan je alleen weet welk dier in het bestand zat (maar niet precies wanneer), kan YAPAT een techniek genaamd "weak supervision" gebruiken om te raden waar in het bestand het dier zingt. Het is als het kijken naar een foto van een feestje en proberen te raden wie er danst op basis van de energie van de menigte, zelfs als je de dansvloer niet rechtstreeks hebt gefilmd.
De "Slimme Sortering": Zodra de computer begint te leren, stopt hij met het tonen van willekeurige fragmenten. In plaats daarvan gebruikt het een speciaal scoresysteem om je de fragmenten te laten zien waar de computer het meest verward over is, of de fragmenten die het meest verschillen van wat hij al weet. Dit zorgt ervoor dat de menselijke expert zijn tijd besteedt aan de fragmenten die de computer het meeste zullen leren, in plaats van tijd te verspillen aan gemakkelijke of saaie voorbeelden.

YAPAT koppelt deze geluidslabels ook aan officiële wetenschappelijke woordenboeken (ontologieën), zodat wanneer een wetenschapper "boomkikker" zegt, dit voor iedereen ter wereld exact hetzelfde betekent, wat de data herbruikbaar maakt voor toekomstig onderzoek.

Het artikel presenteert YAPAT als een webgebaseerd platform dat al deze functies op één plek samenbrengt. De auteurs hebben het systeem getest op een echte dataset genaamd AnuraSet, die meer dan 30.000 geluidsfragmenten van kikkers bevat. Ze kwamen tot de conclusie dat het systeem snel genoeg werkt om interactief te zijn. Zo duurt het zoeken naar vergelijkbare geluiden bijvoorbeeld minder dan een seconde, zelfs met duizenden fragmenten. Het trainen van de computer om nieuwe patronen te herkennen duurt slechts enkele seconden op een standaardcomputer, of zelfs sneller op een krachtige machine. Het systeem is ontworpen als open-source, wat betekent dat iedereen het kan downloaden, op de eigen server kan installen en zijn eigen geluidsarchieven kan gaan organiseren.

De auteurs merken er zorgvuldig bij op dat hoewel YAPAT een krachtig hulpmiddel is, het geen toverstaf is die alles direct oplost. Het vertrouwt op het "BirdNET"-brein, dat oorspronkelijk op vogels is getraind, dus het is misschien niet perfect voor elk type dier (zoals vleermuizen of walvissen) zonder wat extra aanpassingen. Ook knipt het systeem geluiden momenteel in vaste blokken van 3 seconden, wat betekent dat het niet de exacte milliseconde kan aanwijzen waarop een geluid begint of stopt als dat toevallig op de rand van een knip valt. Maar door slim zoeken, zwakke supervisie en actief leren te combineren, slaagt YAPAT erin de kloof te overbruggen tussen enorme, onbeheersbare audio-archieven en de hoogwaardige, gelabelde data die wetenschappers nodig hebben om de biodiversiteit van onze planeet te begrijpen. Het verandert de onmogelijke taak om naar alles te luisteren in een beheersbaar, collaboratief spel waarbij mensen en computers samenwerken om de liederen van de natuur te ontcijferen.

Technische Samenvatting: YAPAT — Een Open-Source Platform voor Actieve en Zwak Gesuperviseerde Annotatie van Passieve Akoestische Monitoringgegevens

1. Probleemstelling

Passieve Akoestische Monitoring (PAM) maakt niet-invasieve, grootschalige beoordeling van dierlijke biodiversiteit mogelijk, maar genereert audioarchieven die de capaciteit van domeinexperts voor handmatige annotatie overstijgen. Hoewel machine learning (ML) de detectie van soorten kan automatiseren, vereist dit hoogwaardige gelabelde trainingsdata, wat een bottleneck creëert waarbij toepassingen beperkt blijven tot taxa en habitats met bestaande vooraf getrainde modellen of gelabelde datasets.

Bestaande annotatietools pakken slechts fragmenten van deze uitdaging aan: desktopsoftware (bijv. Raven Pro) biedt spectrogramvisualisatie; geautomatiseerde tools (bijv. BirdNET-Analyzer) bieden inferentie; en webplatforms (bijv. ARBIMON, Whombat) ondersteunen collaboratieve workflows. Echter, geen bestaande tool ondersteunt de volledige annotatiecyclus die nodig is om hoogwaardige, interoperabele datasets op schaal te produceren. Specifiek ontbreken in huidige oplossingen de gezamenlijke integratie van:

Ontologie-gegronde labelruimtes.
Zwak gesuperviseerde geluidsevenementdetectie (WSSED) voor cold-start scenario's.
Actief leren (AL) gecombineerd met vector-gelijkeniszoekopdrachten.
Interactieve projecties in de embedding-ruimte voor exploratieve annotatie.

2. Methodologie en Systeemarchitectuur

YAPAT (Yet Another PAM Annotation Tool) is een webgebaseerd, open-source platform ontworpen voor interactieve machine learning-workflows in PAM-curatie. Het systeem is gebouwd op een client-serverarchitectuur:

Backend: Python (FastAPI, SQLAlchemy) met een PostgreSQL-database uitgebreid met pgvector voor efficiënte cosine-similarity retrieval. Langlopende taken (embedding, inferentie, hertraining) worden asynchroon beheerd via Celery en Redis.
Frontend: TypeScript (React 18, Vite, Tailwind CSS) draaiend in de browser, gebruikmakend van WebGL voor het renderen van 2D-projecties en client-side JavaScript voor mel-spectrogram berekeningen.
Embedding Model: Het systeem maakt gebruik van bevroren BirdNET embeddings (1024-dimensionale vectoren van 3-seconden, 48kHz vensters) als de primaire feature-representatie.

Kernworkflow:

Ingestie: Veldopnames worden gesegmenteerd in vaste lengte (standaard 3s), niet-overlappende fragmenten.
Embedding: Fragmenten worden ge-embedded met BirdNET en opgeslagen in de database.
Annotatie-interface: Gebruikers interageren met een gepagineerde feed van fragment-kaarten met audio-spelers, spectrogrammen en multi-label invoervelden.
Feedback Loop: Annotaties triggeren de asynchrone hertraining van een lineaire classifier head over de bevroren embeddings.

3. Belangrijkste Bijdragen

YAPAT onderscheidt zich door de integratie van vier capaciteiten die in combinatie niet aanwezig zijn bij eerdere tools:

A. Ontologie-gegronde Labelruimtes
Labels zijn op het moment van annotatie gekoppeld aan autoritatieve biologische (GBIF) en omgevings- (ENVO) taxonomieën. Het systeem ondersteunt expliciete lokale concepten als fallback, wat de interoperabiliteit en herbruikbaarheid van datasets waarborgt.

B. Multi-Label Actief Leren (AL)
YAPAT hanteert een samengestelde acquisitie-score om ongelabelde fragmenten te rangschikken, waarbij drie criteria worden gebalanceerd:

Onzekerheid (Uncertainty): Gemiddelde Bernoulli-entropie per label over de actieve labelscope.
Diversiteit (Diversity): Afstand van een fragment-embedding tot de dichtstbijzijnde gelabelde buur (stimuleert dekking van onverkende regio's).
Dichtheid (Density): Een k-nearest-neighbor dichtheidsschatting binnen de ongelabelde pool (verlaagt de weging van geïsoleerde uitschieters).
Fragmenten worden gerangschikt op basis van deze samengestelde score om de inspanning van experts te richten op de meest informatieve samples.

C. Dubbele Cold-Start Mechanismen
Om het "cold-start" probleem aan te pakken (de noodzaak voor gelabelde data om een classifier te trainen voordat annotatie kan beginnen), biedt YAPAT twee benaderingen:

Upload-gebaseerde Vector-gelijkenis: Gebruikers uploaden een referentiefragment (bijv. uit een geluidsbibliotheek). Het systeem embedt dit fragment en zoekt de dichtstbijzijnde buren in de dataset via cosine-similarity, waardoor annotatie kan beginnen zonder voorafgaande classifier.
Zwak Gesuperviseerde Geluidsevenementdetectie (WSSED): Met behulp van Multiple Instance Learning (MIL) traint het systeem een lineaire classifier op "bags" van 3-seconden segmenten afgeleid van bestand-niveau gelabelde collecties (bijv. Xeno-Canto, FNJV). Dit overbrugt de domeingap tussen schone focusopnames en ruisige PAM-data, en biedt initiële voorspellingen om de AL-cyclus te bootstrappen.

D. Interactieve 2D Embedding Projectie
Het platform rendert een interactieve scatter plot van de BirdNET embedding-ruimte met gebruikersselecteerbare dimensionaliteitsreductie (PCA, t-SNE, UMAP, Isomap). Punten zijn gecodeerd door annotatiestatus. Het klikken op een punt highlight de overeenkomstige snippet in de annotatiefeed, waardoor ruimtelijke exploratie wordt gekoppeld aan de annotatieworkflow.

4. Resultaten en Schaalbaarheidsbenchmarks

Het systeem werd geëvalueerd met AnuraSet (30.687 fragmenten uit 1.612 opnames).

Ingestie & Embedding: De extractie van embeddings schaalt lineair ( $O(N)$ ). Op een werkstation met een AMD EPYC CPU duurt de volledige dataset embedding ongeveer 150s; met een enkele NVIDIA RTX PRO 6000 GPU duurt het ongeveer 52s (ongeveer 3x versnelling).
Similarity Search: Vector-gelijkenis zoekopdrachten vertonen een bijna constante latentie (~0,56s) over het volledige datasetbereik, wat binnen interactieve responstijden blijft.
Active Learning Scoring:
- Onzekerheidsscore is bijna constant (~0,03–0,12s).
- Dichtheidsscore schaalt als $O(N \log N)$ , bereikend tot ~1,6s.
- Diversiteitsscore (vergelijking tussen ongelabelde en gelabelde sets) is de dominante kostenpost, schalend als $O(N \cdot N_l)$ , bereikend tot ~4,1s op volle schaal. Ondanks dit blijven alle operaties binnen de interactieve limieten voor realistische sessies.
Hertraining: Het updaten van de lineaire head schaalt lineair met het aantal gelabelde fragmenten ( $O(N_l)$ ). GPU-acceleratie zorgt voor een 14–23x versnelling ten opzichte van de CPU. Voor typische vroege cycli ( $N_l < 2.000$ ) voltooit de CPU-hertraining in minder dan 9 seconden zonder de interface te blokkeren.
Frontend Prestaties: WebGL-rendering van de embedding-projectie blijft constant (~0,11s), ongeacht de datasetgrootte. De initiële paginalading voor de volledige dataset is ~2,2s.

5. Betekenis en Claims

Het artikel claimt dat YAPAT de eerste tool is die gezamenlijk ondersteuning biedt voor ontologie-gegronde labels, zwakke supervisie, actief leren met vector-gelijkenis en interactieve embedding-projectie in een collaboratieve, browsergebaseerde omgeving.

Interoperabiliteit: Door labels te funderen in GBIF en ENVO, produceert YAPAT datasets die geschikt zijn voor depositie in publieke repositories en downstream analyse.
Efficiëntie: De combinatie van cold-start mechanismen en multi-criteria actief leren vermindert de benodigde expertise-inspanning aanzienlijk om hoogwaardige, goed gelabelde datasets te produceren, met name voor taxa waarvoor nog geen bestaande modellen zijn.
Inzetbaarheid: Het systeem is open-source, gecontaineriseerd (Docker) en vereist geen client-side installatie buiten een webbrowser.

Erkende Beperkingen:

Afhankelijkheid van Embeddings: De huidige architectuur leunt op BirdNET, dat getraind is op aviaire vocalisaties en mogelijk niet even goed generaliseert naar andere taxa (hoewel transfer naar anura succesvol was).
Annotatie Granulariteit: Fragmenten hebben een vaste lengte en zijn niet-overlappend, wat temporele afbakening van gebeurtenissen die grenzen overschrijden of frequentie-specifieke annotaties binnen een fragment verhindert.
Trainingsbeperkingen: De classifier is een lineaire head over bevroren embeddings; het ondersteunt geen fine-tuning van de encoder of geavanceerde data-augmentatie.
Ongelabelde Data: Ongelabelde fragmenten dragen niet bij aan de classifier-training (geen semi-supervised learning), waardoor een grote hoeveelheid data onbenut blijft.
Setup Complexiteit: Hoewel open-source, vereist de initiële server setup IT-assistentie en is het geen "point-and-click" installatie voor niet-technische gebruikers.

De auteurs positioneren YAPAT niet als een vervanging voor alle bestaande tools, maar als een uitgebreid platform dat de kloof vult in het produceren van hoogwaardige, interoperabele PAM-datasets op schaal via een geïntegreerde, human-in-the-loop workflow.