Bioacoustics: Deep-Learning Model Selection, Optimization, and Deployment for Wildlife Sound Classification on Edge Devices

Resumo Técnico: Seleção, Otimização e Implantação de Modelos de Bioacústica em Dispositivos de Borda (Edge)

Definição do Problema
O artigo aborda a lacuna crítica entre modelos bioacústicos de alto desempenho treinados em gravações "focais" limpas e de curto alcance e sua implantação em cenários reais de Monitoramento Acústico Passivo (PAM). Em configurações operacionais, os modelos devem detectar espécies em paisagens sonoras ruidosas, de campo distante, com chamados sobrepostos e variação significativa de sítio para sítio (desvio de domínio). Além disso, esses modelos devem operar sob rigorosas restrições de inferência apenas por CPU (por exemplo, rodando em computadores pessoais ou dispositivos de borda dentro de um orçamento de tempo fixo, como 90 minutos para centenas de arquivos), em vez de depender de GPUs de datacenters. O desafio envolve equilibrar precisão (medida por ROC-AUC macro-média), auditabilidade e viabilidade computacional, enquanto gerencia problemas como incompatibilidades de estatísticas de BatchNorm, erros de calibração e redundância de ensemble.

Metodologia
Os autores propõem um fluxo de trabalho disciplinado de ponta a ponta, validado no benchmark Kaggle BirdCLEF+ 2026 Pantanal (234 espécies, paisagens sonoras de 60 segundos, janelas de 5 segundos). A metodologia é estruturada em torno de uma pilha de treinamento de cinco estágios e controles de engenharia rigorosos:

1. Paridade do Front-End de Áudio: Um front-end de espectrograma log-mel determinístico (32 kHz, 128 bandas mel, 0–16 kHz) é usado identicamente para treinamento, validação e inferência para evitar a degradação silenciosa de desempenho causada por incompatibilidades de parâmetros.
2. Arquitetura do Modelo: O núcleo utiliza backbones de CNN pré-treinados em visão (primariamente EfficientNet-B0 com pré-treinamento JFT-300M Noisy Student) adaptados para espectrogramas. Componentes arquiteturais chave incluem:
   • Pooling de Frequência de Média Generalizada (GEM): Usado em fp32 para preservar evidências locais sem instabilidade numérica.
   • Cabeça de Atenção SED: Pesa quadros temporais informativos para lidar com chamados breves.
   • Recalibração de BatchNorm: Uma etapa obrigatória onde as estatísticas de execução são recalculadas em áudio semelhante ao de implantação (ruidoso) antes da inferência para corrigir o desvio de domínio.
3. Estratégia de Treinamento:
   • Transfer Learning: Adaptando pesos pré-treinados em vez de treinar do zero.
   • Auto-treinamento (Noisy Student): Usando paisagens sonoras de campo não rotuladas para gerar pseudo-rótulos, o que proporcionou o maior salto de desempenho ao unir a lacuna entre o focal e a paisagem sonora.
   • Integração de Modelos de Fundação: Aproveitando o modelo Perch do Google através de dois mecanismos: (a) Destilação (ensinando a CNN a imitar o Perch) e (b) Membro Nativo (rodando o Perch como um membro de ensemble separado para fornecer erros diversos).
4. Construção de Ensemble:
   • Seleção Baseada em Diversidade: Os membros são selecionados com base na decorrelação de erro em vez de apenas na precisão isolada. Um modelo mais fraco que comete erros diferentes do modelo âncora é preferido em relação a um modelo mais forte e redundante.
   • Mistura no Espaço de Probabilidade: O artigo argumenta que, uma vez aplicada a pós-processamento, a mistura no espaço de probabilidade supera a mistura no espaço de ranking.
   • Registro de MLOps: Um ciclo de vida estrito (Propor → Pré-voo → Treinar → Portão → Decidir) garante que cada promoção seja respaldada por evidências de um "harness de paridade de implantação" (holdout Site-22) e diagnósticos de correlação.
5. Implantação em Borda (Edge Deployment):
   • Runtime ONNX: Os modelos são exportados para ONNX para alcançar uma inferência de CPU 2–3× mais rápida em comparação ao PyTorch.
   • Computação Compartilhada: O front-end (espectrograma mel) é computado uma única vez e compartilhado entre todos os membros do ensemble de CNN para economizar ciclos de CPU.
   • TTA Consciente de Orçamento: A Aumentação de Tempo de Teste (TTA) é aplicada seletivamente a membros computacionalmente baratos para permanecer dentro do orçamento de tempo.

Principais Contribuições
O artigo enquadra suas contribuições como uma metodologia reproduzível e transferível em vez de um único score de benchmark:

• Atribuição Controlada: Usando ablações fatoriais (por exemplo, variando backbone e destilação simultaneamente) para isolar a verdadeira causa dos ganhos de desempenho.
• Validação de Paridade de Implantação: Validando candidatos sob condições exatas de implantação (holdout Site-22, recalibração de BatchNorm, TTA e pós-processamento) antes da promoção.
• Engenharia de Inferência Única: Demonstrando que ganhos significativos podem ser alcançados através de otimização de tempo de execução (ONNX, front-ends compartilhados) e reconfiguração de ensemble sem retreinamento.
• Documentação de Resultados Negativos: Registrando explicitamente exportações falhas, falsos positivos e execuções otimizadas por métricas que não generalizaram para manter um processo de seleção auditável.
• Transferibilidade Cross-Domain: Separando a maquinaria de domínio geral (front-end, backbone, disciplina de ensemble) das partes específicas do dataset (espaço de rótulos, priors taxonômicos) para facilitar a portabilidade para novos táxons ou regiões.

Resultos
O fluxo de trabalho foi validado no conjunto de dados BirdCLEF+ 2026:

• Baseline para o Campeão: O sistema progrediu de um baseline quase aleatório (~0.50) para um ensemble ONNX de seis membros alcançando um Macro-AUC Privado de 0.92041 (Público 0.906).
• Principais Vetores de Melhoria:
  • Auto-treinamento: Entregou o maior salto individual (+0.332) ao adaptar-se a paisagens sonoras não rotuladas.
  • Seleção de Backbone: O EfficientNet-B0 com pré-treinamento JFT Noisy Student superou modelos maiores EfficientNetV2-S (+0.044), provando que a procedência do pré-treinamento importa mais do que o tamanho do modelo.
  • Diversidade de Ensemble: Adicionar um backbone decorrelacionado (ECA-NFNet-L0) e um membro nativo do Perch elevou o score significativamente.
  • Engenharia de Inferência: A mudança para ONNX e a otimização da aplicação de TTA permitiram que o ensemble rodasse dentro do orçamento de 90 minutos de CPU enquanto melhorava a precisão.
• Validação Qualitativa: Um teste de estresse sobrepondo gravações focais em paisagens sonoras naturais confirmou a capacidade do modelo de recuperar espécies apesar do pesado ruído de fundo e sobreposição.

Significância e Alegações
O artigo afirma que a identificação de espécies acústicas implantável é tanto um problema de engenharia e seleção quanto de modelagem. Os autores asseveram que:

• O desvio de domínio (focal vs. paisagem sonora) é o desafio dominante, superando a escala arquitetural.
• A procedência do pré-treinamento (ex: JFT Noisy Student) é mais crítica do que a geração específica da arquitetura (ex: B0 vs. V2-S).
• O headroom de ensemble é determinado pela decorrelação de erro e viabilidade de tempo de execução, não apenas pela precisão máxima individual.
• Falhas silenciosas de engenharia (ex: incompatibilidade de BatchNorm, overflow de fp16) podem degradar o desempenho sem sintomas visíveis na curva de perda, necessitando de uma disciplina rigorosa de MLOps.
• O fluxo de trabalho proposto serve como um manual para o praticante para construir sistemas bioacústicos auditáveis e computacionalmente viáveis em CPU que generalizam através de táxons e regiões, priorizando a implantação robusta sobre máximos teóricos.

Os autores declaram explicitamente que, embora scores mais altos (0.95–0.96) sejam possíveis com mais auto-treinamento e pré-treinamento específico de domínio, seu sistema atende com sucesso às restrições operacionais de implantação em borda e fornece um framework rigoroso para desenvolvimento futuro.