🧬 biology

YAPAT — An Open-Source Platform for Active and Weakly Supervised Annotation of Passive Acoustic Monitoring Data

O YAPAT é uma plataforma de código aberto, baseada na web, que otimiza a anotação em larga escala de dados de monitoramento acústico passivo ao integrar rotulagem fundamentada em ontologia, aprendizado ativo de múltiplos rótulos e mecanismos duplos de inicialização a frio para reduzir o esforço do especialista e produzir conjuntos de dados interoperáveis de alta qualidade.

Autores originais: Thiago S. Gouvêa, Rida Saghir, Prathmesh P. Doddanawar, Novruz Mammadli, Pratik P. Sitapara, Hannes Kath, Daniel Sonntag

Publicado 2026-07-31

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Thiago S. Gouvêa, Rida Saghir, Prathmesh P. Doddanawar, Novruz Mammadli, Pratik P. Sitapara, Hannes Kath, Daniel Sonntag

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine o mundo natural como uma estação de rádio gigante, de 24 horas, que nunca para de transmitir. Em vez de música, ela toca os cantos de sapos, pássaros, insetos e baleias. Cientistas usam microfones especiais, chamados unidades de Monitoramento Acústico Passivo (MAP), para gravar esses sons por dias, semanas ou até anos. Isso é um superpoder para entender a natureza porque permite que os pesquisadores ouçam ecossistemas inteiros sem nunca pisar neles ou assustar os animais. No entanto, há um problema enorme: esses microfones gravam tanto áudio que os arquivos se acumulam em uma montanha grande demais para qualquer humano ouvir e anotar o que ouve. É como tentar ler todos os livros de uma biblioteca do tamanho de uma cidade, mas os livros são feitos de som.

Para resolver isso, os cientistas usam computadores para ajudar a ouvir. Mas os computadores são apenas tão inteligentes quanto os exemplos com os quais são ensinados. Para ensinar um computador a reconhecer o chamado de um sapo específico, um especialista humano primeiro precisa ouvir milhares de gravações e rotulá-las, dizendo: "Sim, isto é um sapo" ou "Não, isto é apenas o vento". Esse processo é lento, entediante e caro. Se os especialistas estiverem ocupados demais rotulando, os computadores não conseguem aprender, e as montanhas de dados de áudio ficam inúteis paradas. A grande questão neste campo é: Como podemos fazer com que os computadores aprendam com esses arquivos de áudio massivos sem precisar que um humano ouça cada segundo primeiro?

É aqui que entra uma nova ferramenta chamada YAPAT (Yet Another PAM Annotation Tool) – Traduzindo: "Mais uma Ferramenta de Anotação de MAP". Pense no YAPAT como um jogo de detetive de alta tecnologia e interativo para sons da natureza. Em vez de forçar um humano a ouvir cada gravação um por um, o YAPAT usa uma mistura inteligente de truques de computador para fazer o trabalho pesado. Ele começa quebrando os arquivos de áudio longos em pequenos clipes de 3 segundos. Em seguida, utiliza um "cérebro" pré-treinado (chamado BirdNET) para transformar cada clipe em uma impressão digital digital única.

A mágica acontece na forma como o YAPAT ajuda o especialista humano. Imagine que você está olhando para um mapa gigante de todas essas impressões digitais de som; o YAPAT não mostra apenas uma lista aleatória; ele atua como um guia inteligente. Ele possui três formas principais de te dar um ponto de partida, mesmo que você tenha zero dados rotulados para começar:

A Busca por "Semelhantes": Se você tiver uma gravação clara de um animal específico, pode fazer o upload dela. O YAPAT encontra instantaneamente todos os outros clipes de 3 segundos em seu vasto arquivo que soam semelhantes, permitindo que você rotule um monte deles de uma só vez.
O Palpite de "Nível de Arquivo": Se você tiver uma pasta de gravações onde sabe apenas qual animal estava no arquivo (mas não exatamente quando), o YAPAT pode usar uma técnica chamada "supervisão fraca" para adivinhar onde no arquivo o animal está cantando. É como olhar para uma foto de uma festa e adivinhar quem está dançando com base na energia da multidão, mesmo que você não tenha filmado a pista de dança diretamente.
A "Classificação Inteligente": Assim que o computador começa a aprender, ele para de mostrar clipes aleatórios. Em vez disso, utiliza um sistema de pontuação especial para mostrar os clipes sobre os quais ele está mais confuso, ou aqueles que são mais diferentes do que ele já conhece. Isso garante que o especialista humano gaste seu tempo apenas nos clipes que mais ensinarão o computador, em vez de perder tempo com exemplos fáceis ou entediantes.

O YAPAT também conecta esses rótulos de som a dicionários científicos oficiais (ontologias), garantindo que, quando um cientista disser "sapo-árvore", isso signifique exatamente a mesma coisa para todos no mundo, tornando os dados reutilizáveis para pesquisas futuras.

O artigo apresenta o YAPAT como uma plataforma baseada na web que reúne todos esses recursos em um só lugar. Os autores testaram o sistema em um conjunto de dados real chamado AnuraSet, que contém mais de 30.000 clipes de sons de sapos. Eles descobriram que o sistema funciona rápido o suficiente para ser interativo. Por exemplo, buscar sons semelhantes leva menos de um segundo, mesmo com milhares de clipes. Treinar o computador para reconhecer novos padrões leva apenas alguns segundos em um computador padrão, ou até mais rápido em um computador potente. O sistema foi projetado para ser de código aberto, o que significa que qualquer pessoa pode baixá-lo, configurá-lo em seu próprio servidor e começar a organizar seus próprios arquivos de som.

Os autores ressaltam cuidadosamente que, embora o YAPAT seja uma ferramenta poderosa, ele não é uma varinha mágica que resolve tudo instantaneamente. Ele depende do "cérebro" BirdNET, que foi originalmente treinado para pássaros, portanto, pode não ser perfeito para todos os tipos de animais (como morcegos ou baleias) sem alguns ajustes extras. Além disso, o sistema atualmente corta os sons em blocos fixos de 3 segundos, o que significa que não consegue identificar o milissegundo exato em que um som começa ou termina se ele cair na borda de um corte. No entanto, ao combinar busca inteligente, supervisão fraca e aprendizado ativo, o YAPAT consegue, com sucesso, unir a lacuna entre arquivos de áudio massivos e ingovernáveis e os dados de alta qualidade e rotulados que os cientistas precisam para entender a biodiversidade do nosso planeta. Ele transforma a tarefa impossível de ouvir tudo em um jogo colaborativo e gerenciável, onde humanos e computadores trabalham juntos para decodificar a canção da natureza.

Resumo Técnico: YAPAT — Uma Plataforma de Código Aberto para Anotação Ativa e de Supervisão Fraca de Dados de Monitoramento Acústico Passivo

1. Declaração do Problema

O Monitoramento Acústico Passivo (PAM) permite a avaliação não invasiva e em larga escala da biodiversidade animal, mas gera arquivos de áudio que excedem a capacidade dos especialistas do domínio para anotar manualmente. Embora o aprendizado de máquina (ML) possa automatizar a detecção de espécies, ele requer dados de treinamento rotulados de alta qualidade, criando um gargalo onde as aplicações ficam restritas a táxones e habitats com modelos pré-treinados ou conjuntos de dados rotulados existentes.

As ferramentas de anotação existentes abordam fragmentos desse desafio: softwares de desktop (ex: Raven Pro) oferecem visualização de espectrogramas; ferramentas automatizadas (ex: BirdNET-Analyzer) fornecem inferência; e plataformas web (ex: ARBIMON, Whombat) suportam fluxos de trabalho colaborativos. No entanto, nenhuma ferramenta existente suporta o ciclo completo de anotação necessário para produzir conjuntos de dados interoperáveis de alta qualidade em escala. Especificamente, as soluções atuais carecem da integração conjunta de:

Espaços de rótulos fundamentados em ontologias.
Detecção de eventos sonoros com supervisão fraca (WSSED) para cenários de "cold-start" (partida a frio).
Aprendizado ativo (AL) combinado com busca por similaridade vetorial.
Projeções interativas de espaço de incorporação (embedding) para anotação exploratória.

2. Metodologia e Arquitetura do Sistema

O YAPAT (Yet Another PAM Annotation Tool) é uma plataforma baseada na web, de código aberto, projetada para fluxos de trabalho de aprendizado de máquina interativo na curadoria de PAM. O sistema é construído sobre uma arquitetia cliente-servidor:

Backend: Python (FastAPI, SQLAlchemy) com um banco de dados PostgreSQL estendido pelo pgvector para recuperação eficiente de similaridade de cosseno. Tarefas de longa duração (incorporação, inferência, retreinamento) são gerenciadas assincronamente via Celery e Redis.
Frontend: TypeScript (React 18, Vite, Tailwind CSS) rodando no navegador, utilizando WebGL para renderização de projeções 2D e JavaScript no lado do cliente para computação de espectrogramas de mel.
Modelo de Incorporação (Embedding Model): O sistema utiliza incorporações de BirdNET congeladas (vetores de 1024 dimensões de janelas de 3 segundos e 48 kHz) como a principal representação de características.

Fluxo de Trabalho Principal:

Ingestão: As gravações de campo são segmentadas em trechos (snippets) de comprimento fixo (padrão de 3s) e não sobrepostos.
Incorporação (Embedding): Os trechos são incorporados usando BirdNET e armazenados no banco de dados.
Interface de Anotação: Os usuários interagem com um feed paginado de cartões de trechos contendo players de áudio, espectrogramas e campos de entrada multirrótulo.
Ciclo de Feedback: As anotações disparam o retreinamento assíncrono de um classificador linear sobre as incorporações congeladas.

3. Principais Contribuições

O YAPAT distingue-se por integrar quatro capacidades que estão ausentes em combinação nas ferramentas anteriores:

A. Espaços de Rótulos Fundamentados em Ontologias
Os rótulos são vinculados no momento da anotação a taxonomias biológicas (GBIF) e ambientais (ENVO) autoritativas. O sistema suporta conceitos locais explícitos como alternativas (fallbacks), garantindo a interoperabilidade e o reuso dos conjuntos de dados.

B. Aprendizado Ativo (AL) Multirrótulo
O YAPAT emprega uma pontuação de aquisição composta para classificar trechos não rotulados, equilibrando três critérios:

Incerteza: Entropia de Bernoulli média por rótulo sobre o escopo de rótulos ativos.
Diversidade: Distância da incorporação de um trecho até seu vizinho mais próximo rotulado (incentivando a cobertura de regiões subexploradas).
Densidade: Uma estimativa de densidade k-vizinho mais próximo dentro do pool não rotulado (reduzindo o peso de outliers isolados).
Os trechos são classificados por essa pontuação composta para direcionar o esforço do especialista para os exemplos mais informativos.

C. Mecanismos Duplos de "Cold-Start"
Para abordar o problema de "cold-start" (a necessidade de dados rotulados para treinar um classificador antes que a anotação possa começar), o YAPAT oferece duas abordagens:

Similaridade Vetorial Baseada em Upload: O usuário faz o upload de um clipe de referência (ex: de uma biblioteca de sons). O sistema incorpora este clipe e recupera os vizinhos mais próximos no conjunto de dados via similaridade de cosseno, permitindo que a anotação comece sem um classificador prévio.
Detecção de Eventos Sonoros com Supervisão Fraca (WSSED): Usando Aprendizado de Múltiplos Instâncias (MIL), o sistema treina um classificador linear em "bolsas" (bags) de segmentos de 3 segundos derivados de coleções rotuladas ao nível de arquivo (ex: Xeno-Canto, FNJV). Isso reduz a lacuna de domínio entre gravações focais limpas e dados de PAM ruidosos, fornecendo previsões iniciais para impulsionar o ciclo de AL.

D. Projeção de Incorporação 2D Interativa
A plataforma renderiza um gráfico de dispersão interativo do espaço de incorporação do BirdNET usando redução de dimensionalidade selecionável pelo usuário (PCA, t-SNE, UMAP, Isomap). Os pontos são codificados por cores conforme o status de anotação. Clicar em um ponto destaca o trecho correspondente no feed de anotação, acoplando a exploração espacial ao fluxo de trabalho de anotação.

4. Resultados e Benchmarks de Escalabilidade

O sistema foi avaliado usando o AnuraSet (30.687 trechos de 1.612 gravações).

Ingestão e Incorporação: A extração de incorporação escala linearmente ( $O(N)$ ). Em uma estação de trabalho com CPU AMD EPYC, a incorporação de todo o conjunto de dados leva ~150s; com uma única GPU NVIDIA RTX PRO 6000, leva ~52s (aproximadamente 3x mais rápido).
Busca por Similaridade: Consultas de similaridade vetorial exibem latência quase constante (~0,56s) em todo o intervalo do conjunto de dados, permanecendo dentro dos tempos de resposta interativos.
Pontuação de Aprendizado Ativo:
- A pontuação de incerteza é quase constante (~0,03–0,12s).
- A pontuação de densidade escala como $O(N \log N)$ , atingindo ~1,6s.
- A pontuação de diversidade (comparando conjuntos não rotulados com rotulados) é o custo dominante, escalando como $O(N \cdot N_l)$ , atingindo ~4,1s em escala total. Apesar disso, todas as operações permanecem dentro dos limites interativos para sessões realistas.
Retreinamento: A atualização do cabeçalho linear escala linearmente com o número de trechos rotulados ( $O(N_l)$ ). A aceleração por GPU proporciona um aumento de velocidade de 14 a 23x em relação à CPU. Para ciclos iniciais típicos ( $N_l < 2.000$ ), o retreinamento via CPU completa em menos de 9 segundos sem bloquear a interface.
Desempenho do Frontend: A renderização WebGL da projeção de incorporação permanece constante (~0,11s), independentemente do tamanho do conjunto de dados. O carregamento inicial da página para o conjunto de dados completo é de ~2,2s.

5. Significância e Alegações

O artigo afirma que o YAPAT é a primeira ferramenta a suportar conjuntamente rótulos fundamentados em ontologias, supervisão fraca, aprendizado ativo com similaridade vetorial e projeção de incorporação interativa em um ambiente colaborativo baseado em navegador.

Interoperabilidade: Ao fundamentar os rótulos no GBIF e ENVO, o YAPAT produz conjuntos de dados adequados para deposição em repositórios públicos e análises subsequentes.
Eficiência: A combinação de mecanismos de cold-start e aprendizado ativo de múltiplos critérios reduz significativamente o esforço do especialista necessário para produzir conjuntos de dados bem rotulados, particularmente para táxons que carecem de modelos pré-existentes.
Capacidade de Implantação: O sistema é de código aberto, conteinerizado (Docker) e não requer instalação no lado do cliente além de um navegador web.

Limitações Reconhecidas:

Dependência de Incorporação: A arquitetura atual depende do BirdNET, que é treinado em vocalizações aviárias e pode não generalizar igualmente para outros táxons (embora a transferência para anuros tenha sido bem-sucedida).
Granularidade de Anotação: Os trechos têm comprimento fixo e não são sobrepostos, o que impede a delineação temporal de eventos que abrangem as fronteiras das janelas ou anotações específicas de frequência dentro de um trecho.
Restrições de Treinamento: O classificador é um cabeçalho linear sobre incorporações congeladas; ele não suporta o ajuste fino (fine-tuning) do codificador ou aumento de dados (data augmentation) avançado.
Dados Não Rotulados: Trechos não rotulados não contribuem para o treinamento do classificador (sem aprendizado semissupervisionado), deixando um grande volume de dados sem uso.
Complexidade de Configuração: Embora seja de código aberto, a configuração inicial do servidor requer assistência de TI e não é uma instalação "clique e use" para usuários não técnicos.

Os autores posicionam o YAPAT não como um substituto para todas as ferramentas existentes, mas como uma plataforma abrangente que preenche a lacuna na produção de conjuntos de dados de PAM de alta qualidade e interoperáveis em escala através de um fluxo de trabalho integrado de humano-no-loop.