🧬 biology

YAPAT — An Open-Source Platform for Active and Weakly Supervised Annotation of Passive Acoustic Monitoring Data

YAPAT è una piattaforma open-source basata sul web che snellisce l'annotazione su larga scala di dati di monitoraggio acustico passivo integrando l'etichettatura basata su ontologia, l'apprendimento attivo multi-etichetta e meccanismi di cold-start duali per ridurre l'impegno degli esperti e produrre dataset interoperabili di alta qualità.

Autori originali: Thiago S. Gouvêa, Rida Saghir, Prathmesh P. Doddanawar, Novruz Mammadli, Pratik P. Sitapara, Hannes Kath, Daniel Sonntag

Pubblicato 2026-07-31

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Thiago S. Gouvêa, Rida Saghir, Prathmesh P. Doddanawar, Novruz Mammadli, Pratik P. Sitapara, Hannes Kath, Daniel Sonntag

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo

Immaginate il mondo naturale come una gigantesca stazione radiofonica h24 che non smette mai di trasmettere. Invece della musica, riproduce i canti di rane, uccelli, insetti e balene. Gli scienziati usano microfoni speciali, chiamati unità di Monitoraggio Acustico Passivo (PAM), per registrare questi suoni per giorni, settimane o addirittura anni. Questo è un superpotere per comprendere la natura perché permette ai ricercatori di ascoltare interi ecosistemi senza mai entrarvi o spaventare gli animali. Tuttavia, c'è un problema enorme: questi microfoni registrano così tanto audio che i file si accumulano in una montagna troppo grande perché un essere umano possa ascoltarli e trascriverli. È come cercare di leggere ogni singolo libro in una biblioteca grande quanto una città, ma i libri sono fatti di suono.

Per risolvere questo problema, gli scienziati usano i computer per aiutare l'ascolto. Ma i computer sono intelligenti solo quanto gli esempi con cui vengono istruiti. Per insegnare a un computer a riconoscere il verso di una specifica rana, un esperto umano deve prima ascoltare migliaia di registrazioni e catalogarle, dicendo: "Sì, questa è una rana" oppure "No, questo è solo vento". Questo processo è lento, noioso e costoso. Se gli esperti sono troppo impegnati a catalogare, i computer non possono imparare e le montagne di dati audio rimangono inutilizzate. La grande domanda in questo campo è: come possiamo far sì che i computer imparino da questi enormi archivi audio senza che un essere umano debba ascoltare ogni singolo secondo prima?

È qui che entra in gioco un nuovo strumento chiamato YAPAT (Yet Another PAM Annotation Tool). Pensate a YAPAT come a un gioco investigativo tecnologico e interattivo sui suoni della natura. Invece di costringere un essere umano ad ascoltare ogni registrazione una alla volta, YAPAT utilizza un mix intelligente di trucchi informatici per svolgere il lavoro pesante. Inizia scomponendo i lunghi file audio in piccoli frammenti di 3 secondi. Poi, utilizza un "cervello" pre-addestrato (chiamato BirdNET) per trasformare ogni frammento in un'impronta digitale unica.

La magia avviene nel modo in cui YAPAT aiuta l'esperto umano. Immaginate di guardare una gigantesca mappa di tutte queste impronte digitali sonore. YAPAT non si limita a mostrarvi un elenco casuale; agisce come una guida intelligente. Ha tre modi principali per farvi iniziare, anche se partite da zero dati etichettati:

La ricerca dei "simili": Se avete una registrazione chiara di un animale specifico, potete caricarla. YAPAT trova istantaneamente tutti gli altri frammenti di 3 secondi nel vostro enorme archivio che suonano simili, permettendovi di etichettarne un sacco tutti insieme.
L'ipotesi a "livello di file": Se avete una cartella di registrazioni dove sapete solo quale animale era presente nel file (ma non esattamente quando), YAPAT può usare una tecnica chiamata "supervisione debole" per indovinare dove nel file l'animale sta cantando. È come guardare la foto di una festa e cercare di indovinare chi sta ballando in base all'energia della folla, anche se non avete filmato direttamente la pista da ballo.
L'ordinamento intelligente: Una volta che il computer inizia a imparare, smette di mostrarti frammenti casuali. Inveve, utilizza un sistema di punteggio speciale per mostrarti i frammenti di cui è più confuso, o quelli che sono più diversi da ciò che già conosce. Ciò garantisce che l'esperto umano passi il suo tempo solo sui frammenti che insegneranno davvero qualcosa al computer, invece di perdere tempo su esempi facili o noiosi.

YAPAT collega anche queste etichette sonore a dizionari scientifici ufficiali (ontologie), assicurando che quando uno scienziato dice "rana albero", intenda esattamente la stessa cosa di tutti gli altri nel mondo, rendendo i dati riutilizzabili per la ricerca futura.

Il documento presenta YAPAT come una piattaforma basata sul web che riunisce tutte queste caratteristiche in un unico posto. Gli autori hanno testato il sistema su un dataset reale chiamato AnuraSet, che contiene oltre 30.000 frammenti sonori di rane. Hanno scoperto che il sistema è abbastanza veloce da essere interattivo. Ad esempio, cercare suoni simili richiede meno di un secondo, anche con migliaia di frammenti. L'addestramento del computer per riconoscere nuovi pattern richiede solo pochi secondi su un computer standard, o ancora più velocemente su uno più potente. Il sistema è progettato per essere open-source, il che significa che chiunque può scaricarlo, installarlo sul proprio server e iniziare a organizzare il proprio archivio sonoro.

Gli autori sottolineano con cura che, sebbene YAPAT sia uno strumento potente, non è una bacchetta magica che risolve tutto istantaneamente. Si basa sul "cervello" BirdNET, che è stato originariamente addestrato sugli uccelli, quindi potrebbe non essere perfetto per ogni tipo di animale (come pipistrelli o balene) senza alcuni accorgimenti extra. Inoltre, il sistema attualmente suddivide i suoni in blocchi fissi di 3 secondi, il che significa che non può individuare l'esatto millisecondo in cui un suono inizia o finisce se questo cade sul bordo di un taglio. Tuttavia, combinando la ricerca intelligente, la supervisione debole e l'apprendimento attivo, YAPAT riesce a colmare il divario tra i massicci, ingestibili archivi audio e l'alta qualità dei dati etichettati di cui gli scienziati hanno bisogno per comprendere la biodiversità del nostro pianeta. Trasforma l'impresa impossibile di ascoltare tutto in un gioco gestibile e collaborativo dove umani e computer lavorano insieme per decodificare il canto della natura.

Sintesi Tecnica: YAPAT — Una piattaforma open-source per l'annotazione attiva e debolmente supervisionata di dati di monitoraggio acustico passivo

1. Definizione del problema

Il monitoraggio acustico passivo (PAM) consente una valutazione non invasiva e su larga scala della biodiversità animale, ma genera archivi audio che superano la capacità degli esperti di dominio di annotare manualmente. Sebbene l'apprendimento automatico (ML) possa automatizzare il rilevamento delle specie, esso richiede dati di addestramento etichettati di alta qualità, creando un collo di bottiglia che limita le applicazioni a taxa e habitat dotati di modelli pre-addestrati o dataset etichettati esistenti.

Gli strumenti di annotazione esistenti affrontano solo frammenti di questa sfida: i software desktop (es. Raven Pro) offrono la visualizzazione degli spettrogrammi; gli strumenti automatizzati (es. BirdNET-Analyzer) forniscono l'inferenza; e le piattaforme web (es. ARBIMON, Whombat) supportano flussi di lavoro collaborativi. Tuttavia, nessun strumento esistente supporta l'intero ciclo di annotazione necessario per produrre dataset interoperabili di alta qualità su larga scala. Nello specifico, le soluzioni attuali man sono prive della gestione integrata di:

Spazi di etichettatura basati su ontologie.
Rilevamento di eventi sonori debolmente supervisionato (WSSED) per scenari di "cold-start".
Apprendimento attivo (AL) combinato con la ricerca di similarità vettoriale.
Proiezioni interattive dello spazio di embedding per l'annotazione esplorativa.

2. Metodologia e Architettura del Sistema

YAPAT (Yet Another PAM Annotation Tool) è una piattaforma web-based, open-source, progettata per flussi di lavoro di apprendimento automatico interattivo nella cura dei dati PAM. Il sistema è costruito su un'architettura client-server:

Backend: Python (FastAPI, SQLAlchemy) con un database PostgreSQL esteso da pgvector per un'efficiente ricerca della similarità del coseno. I task a lunga esecuzione (embedding, inferenza, riaddestramento) sono gestiti in modo asincrono tramite Celery e Redis.
Frontend: TypeScript (React 18, Vite, Tailwind CSS) in esecuzione nel browser, che utilizza WebGL per il rendering delle proiezioni 2D e JavaScript lato client per il calcolo dei mel-spettrogrammi.
Modello di Embedding: Il sistema utilizza gli embedding di BirdNET (vettori a 1024 dimensioni da finestre di 3 secondi a 48kHz) come principale rappresentazione delle caratteristiche.

Workflow principale:

Ingestione: Le registrazioni sul campo vengono segmentate in snippet di lunghezza fissa (default 3s), non sovrapposti.
Embedding: Gli snippet vengono trasformati in embedding tramite BirdNET e memorizzati nel database.
Interfaccia di Annotazione: Gli utenti interagiscono con un feed paginato di schede di snippet contenenti player audio, spettrogrammi e campi di input multi-label.
Ciclo di Feedback: Le annotazioni attivano il riaddestramento asincrono di un classificatore lineare (linear classifier head) sopra gli embedding congelati.

3. Contributi Chiave

YAPAT si distingue integrando quattro capacità che non si trovano in combinazione in altri strumenti:

A. Spazi di Etichettatura Basati su Ontologie
Le etichette sono collegate al momento dell'annotazione ad tassonomie biologiche (GBIF) e ambientali (ENVO) autorevoli. Il sistema supporta concetti locali espliciti come fallback, garantendo l'interoperabilità e il riutilizzo dei dataset.

B. Apprendimento Attivo Multi-Label (AL)
YAPAT impiega un punteggio di acquisizione composito per classificare gli snippet non etichettati, bilanciando tre criteri:

Incertezza (Uncertainty): Entropia di Bernoulli media per etichetta sull'ambito di etichetta attivo.
Diversità (Diversity): Distanza tra l'embedding di uno snippet e il suo vicino più prossimo già etichettato (per incoraggiare la copertura di regioni inesplorate).
Densità (Density): Una stima della densità k-nearest-neighbor all'interno del pool non etichettato (per penalizzare gli outlier isolati).
Gli snippet sono classificati in base a questo punteggio composito per dirigere lo sforzo dell'esperto verso i campioni più informativi.

C. Meccanismi Duali per il Cold-Start
Per affrontare il problema del "cold-start" (la necessità di dati etichettati per addestrare un classificatore prima che l'annotazione possa iniziare), YAPAT offre due approcci:

Ricerca di Similarità Vettoriale basata su Caricamento: Gli utenti caricano un clip di riferimento (es. da una libreria di suoni). Il sistema genera l'embedding di questa clip e recupera i vicini più prossimi nel dataset tramite similarità del coseno, permettendo di iniziare l'annotazione senza un classificatore preesistente.
Rilevamento di Eventi Sonori Debolmente Supervisionato (WSSED): Utilizzando il Multiple Instance Learning (MIL), il sistema addestra un classificatore lineare su "sacchi" (bags) di segmenti di 3 secondi derivati da collezioni etichettate a livello di file (es. Xeno-Canto, FNJV). Questo colma il divario tra le registrazioni focali pulite e i dati PAM rumorosi, fornendo previsioni iniziali per avviare il ciclo di AL.

D. Proiezione Interattiva 2D degli Embedding
La piattaforma renderizza un grafico a dispersione interattivo dello spazio di embedding di BirdNET utilizzando la riduzione della dimensionalità selezionabile dall'utente (PCA, t-SNE, UMAP, Isomap). I punti sono colorati in base allo stato di annotazione. Cliccando su un punto, viene evidenziato lo snippet corrispondente nel feed di annotazione, accoppiando l'esplorazione spaziale con il workflow di annotazione.

4. Risultati e Benchmark di Scalabilità

Il sistema è stato valutato utilizzando AnuraSet (30.687 snippet da 1.612 registrazioni).

Ingestione ed Embedding: L'estrazione degli embedding scala linearmente ( $O(N)$ ). Su una workstation con CPU AMD EPYC, l'embedding dell'intero dataset richiede circa 150s; con una singola GPU NVIDIA RTX PRO 6000, richiede circa 52s (un incremento di velocità di circa 3x).
Ricerca di Similarità: Le query di similarità vettoriale mostrano una latenza quasi costante (~0,56s) su tutto l'intervallo del dataset, rimanendo entro i tempi di risposta interattivi.
Scoring dell'Apprendimento Attivo:
- Lo scoring dell'incertezza è quasi costante (~0,03–0,12s).
- Lo scoring della densità scala come $O(N \log N)$ , raggiungendo ~1,6s.
- Lo scoring della diversità (confronto tra set non etichettati e etichettati) è il costo dominante, scalando come $O(N \cdot N_l)$ , raggiungendo ~4,1s alla scala completa. Nonostante ciò, tutte le operazioni rimangono entro i limiti interattivi per sessioni realistiche.
Riaddestramento: L'aggiornamento del classificatore lineare scala linearmente con il numero di snippet etichettati ( $O(N_l)$ ). L'accelerazione GPU fornisce un incremento di velocità di 14–23x rispetto alla CPU. Per i cicli iniziali tipici ( $N_l < 2.000$ ), il riaddestramento su CPU si completa in meno di 9 secondi senza bloccare l'interfaccia.
Performance del Frontend: Il rendering WebGL della proiezione degli embedding rimane costante (~0,11s) indipendentemente dalla dimensione del dataset. Il caricamento iniziale della pagina per l'intero dataset è di circa 2,2s.

5. Significato e Rivendicazioni

L'articolo afferma che YAPAT è il primo strumento a supportare congiuntamente etichette basate su ontologie, supervisione debole, apprendimento attivo con similarità vettoriale e proiezione interattiva degli embedding in un ambiente collaborativo basato su browser.

Interoperabilità: Fondando le etichette su GBIF e ENVO, YAPAT produce dataset adatti per la deposizione in repository pubblici e analisi a valle.
Efficienza: La combinazione di meccanismi di cold-start e apprendimento attivo a criteri multipli riduce significativamente lo sforzo dell'esperto richiesto per produrre dataset ben etichettati, specialmente per i taxa privi di modelli preesistenti.
Distribuibilità: Il sistema è open-source, containerizzato (Docker) e non richiede installazioni lato client oltre a un browser web.

Limitazioni Riconosciute:

Dipendenza dagli Embedding: L'attuale architettura si basa su BirdNET, che è addestrato su vocalizzazioni aviarie e potrebbe non generalizzare allo stesso modo ad altri taxa (sebbene il trasferimento agli anuri sia stato efficace).
Granularità dell'Annotazione: Gli snippet hanno una lunghezza fissa e non sono sovrapposti, impedendo la delineazione temporale di eventi che attraversano i confini delle finestre o annotazioni specifiche di frequenza all'interno di uno snippet.
Vincoli di Addestramento: Il classificatore è un modulo lineare sopra embedding congelati; non supporta l'affinamento (fine-tuning) dell'encoder o tecniche avanzate di data augmentation.
Dati Non Etichettati: Gli snippet non etichettati non contribuiscono all'addestramento del classificatore (nessun apprendimento semi-supervisionato), lasciando un ampio pool di dati inutilizzato.
Complessità di Configurazione: Sebbene sia open-source, la configurazione iniziale del server richiede assistenza IT e non è un'installazione "punta e clicca" per utenti non tecnici.

Gli autori pongono YAPAT non come un sostituto di tutti gli strumenti esistenti, ma come una piattaforma completa che colma il vuoto nella produzione di dataset PAM di alta qualità e interoperabili su larga scala attraverso un workflow integrato che coinvolge l'uomo nel ciclo (human-in-the-loop).