Resumo Técnico: Decodificando o Canto dos Insetos via PULSE

Definição do Problema

O monitoramento acústico passivo (MAP) é uma ferramenta crítica para avaliar a saúde do habitat e a biodiversidade, mas as ferramentas existentes de aprendizado de máquina (ML) automatizado são frequentemente treinadas de forma estreita e carecem de transferibilidade para novos ambientes. Embora progressos significativos tenham sido feitos na bioacústica de aves e morcegos, há uma ausência notável de ferramentas de ML de código aberto para Orthoptera (grilos e gafanhotos). Essa lacuna é impulsionada por dois desafios primários:

1. Escassez de Dados: Há uma falta de bibliotecas de som amplas e de acesso aberto especificamente para Orthoptera em comparação com outros táxons.
2. Mudança de Domínio e Complexidade do Sinal: Os sinais de Orthoptera são difíceis de extrair porque muitas espécies cantam quase continuamente, levando a chamadas sobrepostas frequentes. Além disso, as chamadas de referência em bibliotecas de sons curadas frequentemente possuem uma qualidade de áudio superior e menos ruído do que as gravações de campo "desordenadas" do mundo real, fazendo com que modelos treinados em dados limpos tenham um desempenho insatisfatório no campo.

Metodologia: O Framework PULSE

Para abordar essas limitações, os autores propõem o PULSE (Passive acoUstic Latent-Space Encoder), um framework multitarefa semissupervisionado projetado para a bioacústica de Orthoptera. O framework integra três objetivos de otimização distintos para aproveitar tanto os dados rotulados limitados quanto as abundantes gravações de campo não rotuladas.

1. Composição de Dados

• Dados Rotulados: Um subconjunto de 19 espécies de Orthoptera endêmicas ou presentes no Reino Unido, provenientes do ECOSoundSet, Xeno-canto e iNaturalist.
• Dados Não Rotulados: Uma grande coleção (~150 GB) de gravações de campo não rotuladas de 10 locais em Oxfordshire, Reino Unido.
• Aprendizado Ativo: Um pequeno subconjunto dos dados de campo não rotulados foi rotulado manualmente por especialistas usando o método DIRECT para melhorar iterativamente o modelo.

2. Arquitetura

O framework utiliza um backbone VGGish para transformar o áudio em espectrogramas de mel e gerar embeddings ($e$). Esses embeddings servem como entrada para três tarefas paralelas:

• Classificação Supervisionada: Uma cabeça de classificação ($h_{cls}$) otimizada com perda de entropia cruzada binária ($L_{cls}$) usando dados rotulados. Isso lida com a natureza multi-rótulo das gravações, onde múltiplem espécies podem vocalizar simultaneamente.
• Prior Ecológico (Destilação de Conhecimento): Para reduzir a lacuna entre as bibliotecas curadas e os dados de campo, o modelo compara seus embeddings com os de um modelo BirdNET de propósito geral e congelado. Isso é alcançado via perda L2 de média através de $L_{mse}$ em dados não rotulados, transferindo conhecimento ecoacústico geral.
• Aprendizado Autossupervisionado (SSL): Para se adaptar aos perfis acústicos locais, o framework emprega o método Bootstrap Your Own Latent (BYOL). Uma rede online e uma rede alvo (atualizada via média móvel exponencial) são treinadas para prever as projeções uma da outra de visões aumentadas (mascaramento de tempo e frequência) dos mesmos dados de campo não rotulados, minimizando $L_{byol}$.

3. Otimização Conjunta

O modelo é treinado minimizando uma soma ponderada das três funções de perda:
$$L_{total} = \alpha_{cls}L_{cls} + \alpha_{mse}L_{mse} + \alpha_{byol}L_{byol}$$
Os pesos foram definidos como $\alpha_{cls} = 0,9$, $\alpha_{mse} = 0,1$ e $\alpha_{byol} = 0,1$ para acomodar o desequilíbrio significativo entre os dados rotulados e não rotulados.

Principais Contribuições

1. Framework Inovador: Introdução do PULSE, o primeiro framework multitarefa semissupervisionado projetado especificamente para a bioacústica de Orthoptera, combinando classificação fracamente supervisionada, aprendizado autossupervisionado e destilação de conhecimento.
2. Lançamento de Dataset: O lançamento de um grande conjunto de dados de gravações de campo do Reino Unido não rotuladas, juntamente com um subconjunto de rótulos coletados via aprendizado ativo.
3. Ferramenta de Descoberta Ecológica: Desenvolvimento de uma ferramenta de visualização interativa que permite aos ecólogos explorar espaços de embedding, revelando estruturas ecológicas como separação de espécies, agrupamento específico de sítios e variações temporais (ex: taxas de estalidos relacionadas à hora do dia).
4. Proxy de Separação de Fonte: Demonstração de que os embeddings aprendidos podem ser usados para "desmisturar" chamadas sobrepostas usando mínimos quadrados não negativos (NNLS) nos protótipos médios das espécies, identificando as espécies constituintes em gravações mistas.

Resultados Experimentais

O modelo foi avaliado em dados de teste retidos de três locais inteiramente excluídos do treinamento.

• Desempenho vs. Modelos Gerais: O PULSE superou significativamente um modelo de propósito geral de última geração (Perch 2.0) em todas as métricas:
  • Macro F1: 0,21 (PULSE) vs. 0,07 (Perch).
  • Macro AUC: 0,74 (PULSE) vs. 0,45 (Perch).
  • Macro AP: 0,32 (PULSE) vs. 0,19 (Perch).
• Impacto do Aprendizado Ativo: A incorporação do aprendizado ativo para rotular uma parte dos dados de campo melhorou ainda mais o desempenho, elevando o Macro F1 para 0,34 e o Macro AUC para 0,84.
• Qualidade do Embedding: A análise do espaço de embedding de 1024 dimensões revelou que 891 dimensões mostraram variação significativa entre espécies. Mapas de saliência confirmaram que as regiões de alta ativação correspondiam a características acústicas chave (bandas de frequência central e picos de amplitude).
• Generalização: Quando estendido para incluir classes de fundo (antropofonia, aves, morcegos, geofonia), o PULSE manteve um desempenho competitivo nas classes de Orthoptera enquanto classificava efetivamente sons de fundo.

Significância e Alegações

O artigo afirma que o PULSE aborda eficazmente os problemas de escassez de dados e mudança de domínio inerentes à bioacústica de insetos. Ao combinar dados de bibliotecas curadas com gravações de campo não rotuladas através de uma abordagem multitarefa, o framework cria um modelo especialista que é mais adaptável a ambientes locais do que modelos de propósito geral.

Os autores enfatizam que os embeddings aprendidos codificam uma estrutura ecologicamente significativa, facilitando não apenas a classificação, mas também a descoberta científica. A capacidade de visualizar os embeddings ajuda os ecólogos a compreender diferenças comportamentais intraespecíficas (ex: variações na velocidade do canto devido à temperatura) e drivers ambientais. Em última análise, o trabalho visa facilitar o MAP de larga escala para insetos, fornecendo informações vitais para estratégias de conservação e gestão de habitats. Os autores mantêm a modéstia, observando que, embora a ferramenta avance a automação, ela serve como um meio para apoiar a inferência ecológica, e não como uma solução autônoma para todos os desafios de conservação.