Beyond the Baseband: Adaptive Multi-Band Encoding for Full-Spectrum Bioacoustics Classification

1. Declaração do Problema

Os sistemas computacionais de bioacústica atuais enfrentam uma limitação crítica de largura de banda. A maioria dos modelos fundamentais de última geração (pré-treinados em fala humana ou áudio geral) opera a uma taxa de amostragem de 16 kHz, restringindo sua faixa de frequência utilizável à banda base de 0–8 kHz.

• O Problema: Muitas vocalizações animais (por exemplo, morcegos até 200 kHz, insetos até 100 kHz, mamíferos marinhos até 150 kHz) contêm informações cruciais no domínio ultrassônico que são descartadas quando essas gravações são reamostradas para 8 kHz.
• Limitações das Soluções Existentes:
  • Modelos de Alta Taxa de Amostragem (High-SR): Treinar novos modelos fundamentais em taxas de amostragem mais altas (por exemplo, 48 kHz ou 250 kHz) é computacionalmente caro, e poucos desses modelos existem (por exemplo, BirdNET a 48 kHz).
  • Expansão Temporal (TE): Uma técnica comum de processamento de sinal onde o áudio é desacelerado para deslocar frequências altas para a banda base. No entanto, isso reduz a resolução espectral, estende a duração do sinal (aumentando o custo computacional) e altera fundamentalmente a representação do sinal.

2. Metodologia: Codificação Adaptativa Multibanda (MB)

Os autores propõem um framework de codificação multibanda baseado em heterodinação que permite que modelos existentes de 16 kHz processem áudio de espectro completo sem re-treinar o codificador base. O pipeline consiste em três etapas:

1. Decomposição Espectral e Mapeamento para Banda Base:

   • O sinal de áudio bruto ($s$) amostrado a $f_s$ é dividido em $B$ faixas de frequência não sobrepostas, cada uma com uma largura de $f_m/2$ (onde $f_m$ é a taxa de amostragem nativa do modelo, por exemplo, 16 kHz).
   • A primeira faixa (0–8 kHz) é a banda base padrão.
   • Para as faixas subsequentes, o sinal é filtrado passa-faixa e depois heterodinado (misturado) para baixo até a banda base. Isso é alcançado multiplicando o sinal da faixa por uma onda coseno na frequência central da faixa, seguido por filtragem passa-baixa.
   • O resultado são $B$ formas de onda em banda base, cada uma representando uma porção distinta do espectro de alta frequência original.

2. Extração de Representação:

   • Cada uma das $B$ formas de onda em banda base é reamostrada para corresponder à taxa de entrada esperada pelo modelo.
   • Elas são passadas individualmente por um codificador pré-treinado congelado (por exemplo, EfficientNet, BEATs, EATs) para gerar embeddings.
   • Estatísticas temporais (de primeira ordem) são computadas para criar funcionais de comprimento fixo para cada faixa.

3. Estratégias de Fusão:
   O artigo avalia cinco estratégias para combinar esses embeddings em nível de faixa em uma representação unificada para classificação:

   • Mean-Pool (MP): Média simples dos embeddings das faixas.
   • Gated-Pool (GP): Uma projeção linear aprendível atribui pesos às faixas com base em sua informatividade.
   • Mixture-of-Experts (MoE): Cada faixa é classificada independentemente, e os logits resultantes são ponderados e somados.
   • Híbrido (HYB): Similar ao GP, mas incorpora características acústicas artesanais (entropia espectral, fluxo) na rede de gate.
   • Self-Attention (SA): Trata os embeddings das faixas como uma sequência processada por um codificador Transformer com um token [CLS].

3. Configuração Experimental

• Conjuntos de Dados: Três conjuntos de dados de bioacústica do benchmark BEANS:
  • Cães: Amostragem a 44,1 kHz, 10 classes.
  • Cornell Birdcall Identification (CBI): 44,1 kHz, 264 classes.
  • Morcegos: Amostragem a 250 kHz, 10 classes (altamente ultrassônicos).
• Modelos: Oito modelos de áudio pré-treinados foram testados, incluindo variantes do EfficientNet (Bio, AS, All), BEATs, EATs e BirdNET (48 kHz).
• Baselines:
  • Banda Base (BB): Reamostragem padrão para 8 kHz.
  • Expansão Temporal (TE): Desaceleração do áudio para ajustar frequências altas a 8 kHz.

4. Resultados Chave

A. Análise de Representação

• Descorrelação: Para certos modelos (por exemplo, EfficientNet), embeddings de faixas de frequência mais altas foram encontrados descorrelacionados dos embeddings da banda base. Isso sugere que eles contêm informações complementares em vez de dados redundantes.
• Separação de Classes: Os métodos de fusão geralmente produziram embeddings mais discriminativos do que a banda base isolada, particularmente para o conjunto de dados CBI.

B. Desempenho de Classificação

• Cães e CBI (44 kHz):
  • Fusão vs. Banda Base: A fusão multibanda superou consistentemente a abordagem padrão de banda base na maioria dos modelos.
  • Fusão vs. Expansão Temporal: A fusão superou significativamente a Expansão Temporal, que degradou o desempenho nesses conjuntos de dados.
  • Comparação com BirdNET: A maioria dos modelos de 16 kHz combinados com estratégias de fusão igualou ou superou o BirdNET (um modelo nativo de 48 kHz) nas tarefas de Cães e CBI.
• Morcegos (250 kHz):
  • Ganho de Informação: Tanto a Expansão Temporal quanto a Fusão forneceram ganhos substanciais sobre a banda base, confirmando que o conteúdo ultrassônico é vital para a classificação de morcegos.
  • TE vs. Fusão: Neste regime específico de alta frequência, a Expansão Temporal performou ligeiramente melhor do que os métodos de fusão, provavelmente porque o deslocamento de frequência extremo necessário para áudio de 250 kHz torna a heterodinação menos eficaz do que o simples estiramento temporal para esta tarefa específica.
  • Adaptabilidade do Modelo: Quando o framework MB foi aplicado ao BirdNET (48 kHz), ele melhorou ainda mais o desempenho, demonstrando a capacidade do framework de aproveitar larguras de banda nativas ainda mais altas.

C. Estratégia de Melhor Desempenho

• Mixture-of-Experts (MoE) emergiu como a estratégia de fusão mais robusta, particularmente para os conjuntos de dados CBI e Morcegos. Isso sugere que classificar faixas independentemente antes de agregar os resultados é mais eficaz do que fundir embeddings brutos primeiro.

5. Contribuições Chave

1. Proposta de Framework: Introdução de um framework de codificação adaptativa multibanda que desbloqueia o potencial de espectro completo de modelos fundamentais existentes de 16 kHz sem exigir re-treinamento caro.
2. Validação Empírica: Demonstrou que a fusão multibanda pode igualar ou exceder o desempenho de modelos pré-treinados em taxas de amostragem mais altas (por exemplo, 48 kHz) em tarefas padrão de bioacústica.
3. Kit de Ferramentas de Código Aberto: Lançamento do framework como um kit de ferramentas de código aberto para facilitar a adoção pela comunidade de bioacústica.
4. Insight sobre Descorrelação de Faixas: Fornecimento de evidências de que modelos pré-treinados específicos geram embeddings descorrelacionados para diferentes faixas de frequência, validando a base teórica para a fusão.

6. Significado

Este trabalho aborda um gargalo fundamental na bioacústica computacional: a incompatibilidade entre a largura de banda limitada de modelos de IA centrados no ser humano e a ampla faixa espectral da comunicação animal. Ao permitir que modelos existentes utilizem informações ultrassônicas através de uma estratégia de codificação leve e modular, os autores fornecem uma solução prática e escalável. Esta abordagem permite que pesquisadores aproveitem modelos fundamentais pré-treinados poderosos para diversas espécies (de pássaros a morcegos) sem o custo proibitivo de treinar novos modelos de alta taxa de amostragem do zero. Os resultados sugerem que como codificamos o espectro é tão importante quanto a própria arquitetura do modelo para decodificar vocalizações não humanas.