Weakly Supervised Detection and Temporal Localization of Whale Calls in Long-Duration Bioacoustic Data

Resumo Técnico: Detecção Fracamente Supervisionada e Localização Temporal de Vocalizações de Baleias

Declaração do Problema
Sistemas de Monitoramento Acústico Passivo (PAM) geram gravações contínuas de paisagens sonoras marinhas ao longo de vários meses, frequentemente totalizando terabytes de dados. Embora a detecção de vocalizações de baleias seja crítica para o monitoramento populacional e a conservação (apoio ao ODS 14), a análise automatizada enfrenta um gargalo significativo: o custo de anotação. As abordagens atuais de aprendizado profundo, principalmente Redes Neurais Convolucionais (CNNs), exigem dois esforços de anotação distintos e onerosos: rótulos binários de presença/ausência para classificação e limites temporais precisos (horários de início/fim) para localização.

• A Discrepância: Atribuir um rótulo binário a uma gravação de 30 minutos leva segundos, enquanto carimbar o tempo de cada vocalização individual dentro dessa gravação exige horas de esforço especializado.
• A Limitação dos Métodos Existentes: CNNs padrão e modelos fundamentais operam tipicamente em entradas de tamanho fixo e curta duração (ex.: ≤15 segundos). Para processar fluxos de longa duração (minutos a horas), esses métodos dependem de compressão temporal ou heurísticas de seleção de janelas, o que degrada o desempenho e falha em fornecer localização temporal sem supervisão ao nível de quadro. Consequentemente, modelos totalmente supervisionados sofrem quedas significativas de desempenho em entradas longas (ex.: pontuações F1 caindo de ~0,8 para ~0,2 em gravações de 1800s) e não conseguem localizar vocalizações sem anotações onerosas ao nível de instância.

Metodologia: DSMIL-LocNet
Os autores propõem o DSMIL-LocNet (Rede de Localização de Aprendizado de Múltiplas Instâncias de Duplo Fluxo), um framework fracamente supervisionado que realiza tanto classificação quanto localização temporal utilizando apenas rótulos de presença/ausência ao nível de gravação (nível de pacote).

1. Formulação de Aprendizado de Múltiplas Instâncias (MIL):

   • Cada gravação de longa duração é tratada como um "pacote" ($B_i$) contendo múltiplos segmentos curtos não sobrepostos chamados de "instâncias" ($x^j_i$).
   • O modelo recebe apenas um único rótulo binário $y_i \in \{0, 1\}$ para todo o pacote (indicando se qualquer vocalização está presente), enquanto os rótulos específicos das instâncias permanecem desconhecidos (latentes) durante o treinamento.
   • O objetivo é aprender pesos de atenção ($\alpha^j_i$) que atribuam alta probabilidade a instâncias contendo vocalizações e baixa probabilidade a ruído de fundo.

2. Arquitetura de Duplo Fluxo:

   • Fluxo Espectral: Processa espectrogramas de Mel (derivados de STFT) usando um codificador CNN com blocos residuais para capturar modulação de frequência.
   • Fluxo Temporal: Processa características temporais manualmente extraídas diretamente da forma de onda do áudio, incluindo energia de Raiz Média Quadrática (RMS), Taxa de Cruzamento por Zero (ZCR), Amplitude de Pico, Estatísticas de Envelope e Centróide Temporal.
   • Fusão: Um módulo de fusão pondera e combina dinamicamente características de ambos os fluxos para se adaptar a condições variáveis de ruído e tipos de vocalização.

3. Atenção e Localização:

   • O modelo emprega um mecanismo de atenção onde o peso $\alpha^j_i$ para cada instância é calculado via uma função softmax sobre o pacote.
   • Classificação: A previsão ao nível de pacote é uma soma ponderada dos embeddings de instância.
   • Localização: A localização temporal é alcançada identificando instâncias onde o peso de atenção $\alpha^j_i$ excede um limiar específico. Isso permite que o modelo gere carimbos de tempo sem jamais ver rótulos ao nível de quadro durante o treinamento.

4. Função de Perda:
   O objetivo de treinamento combina quatro componentes para abordar desafios específicos na bioacústica de longa duração:

   • Entropia Cruzada Binária Focal ($L_{BCE}$): Aborda o desequilíbrio de classes (vocalizações positivas raras).
   • Suavidade Temporal ($L_{temp}$): Incentiva atenção coerente entre instâncias adjacentes para refletir a continuidade da vocalização.
   • Esparsidade ($L_{sparsity}$): Garante que o modelo foque em uma pequena fração de segmentos relevantes.
   • Consistência de Instância ($L_{inst}$): Promove representações de características consistentes.

Principais Contribuições

1. Formulação Fracamente Supervisionada: Os autores formulam a análise de vocalizações de baleias de longa duração como um problema de MIL exigindo apenas um único rótulo binário por gravação de vários minutos, removendo a dependência de anotações onerosas ao nível de quadro.
2. Arquitetura de Duplo Fluxo: Introduzem uma rede que combina características espectrais de CNN com características temporais manualmente extraídas, utilizando uma função de perda multi-componente para lidar com diluição de atenção, desequilíbrio de classes e coerência temporal em pacotes longos.
3. Classificação e Localização Simultâneas: O framework demonstra que um único conjunto de pesos de atenção aprendidos pode servir tanto para classificação ao nível de pacote quanto para localização temporal ao nível de instância.

Resultados Experimentais
O método foi avaliado no AcousticTrends BlueFinLibrary, compreendendo 1.880,25 horas de gravações de baleias antárticas com alto ruído de fundo (73–99,9%).

• Desempenho em Longas Durações: O DSMIL-LocNet alcançou pontuações F1 de 0,88–0,91 em gravações variando de 300s a 1800s. Em contraste, baselines de CNN totalmente supervisionadas (ANIMAL-SPOT, DeepWhaleNet, etc.) degradaram-se significativamente para pontuações F1 de 0,19–0,64 nessas durações devido à perda de informação proveniente da compressão temporal.
• Capacidade de Localização: Ao contrário das baselines supervisionadas, que não forneciam localização temporal sem anotação adicional, o DSMIL-LocNet localizou com sucesso as vocalizações.
• Compensações de Duração:
  • Classificação: O desempenho melhorou com durações de pacote mais longas (até 1800s) à medida que a probabilidade de conter uma vocalização aumentava.
  • Localização: A precisão atingiu o pico em durações de pacote mais curtas (60–120s) e degradou-se ligeiramente em durações mais longas (0,5–0,6 em 600s) devido à diluição de atenção através de mais instâncias. No entanto, os autores observam que mesmo a localização com precisão reduzida é mais valiosa do que a "nenhuma localização" fornecida por baselines de supervisão forte em entradas longas.
  • Estudo de Ablação: A remoção do design de duplo fluxo ou da função de perda multi-componente resultou em quedas significativas de desempenho, confirmando a necessidade tanto da integração espectral/temporal quanto de restrições de perda específicas.

Significado e Alegações
O artigo alega que o DSMIL-LocNet oferece uma solução prática para implantações de PAM em escala operacional onde o tempo de especialistas é limitado. Ao permitir tanto detecção quanto localização a partir de rótulos ao nível de gravação de baixo custo, o método preenche a lacuna entre a otimização de modelos de segmentos curtos e a realidade do monitoramento marinho contínuo e de longa duração.

Os autores enfatizam que essa abordagem não se limita à bioacústica marinha. Eles sugerem que o princípio subjacente — converter rótulos ao nível de pacote de baixo custo em previsões temporais estruturadas — aplica-se a qualquer domínio caracterizado por fluxos de dados contínuos, eventos-alvo esparsos e altos custos de anotação, como sismologia, acústica médica e levantamentos de biodiversidade terrestre. O trabalho demonstra que a supervisão fraca pode fornecer capacidades (classificação e localização conjunta em entradas longas) que a supervisão forte com arquiteturas de entrada fixa falha em suportar.