Masked Autoencoders with Limited Data: Does It Work? A Fine-Grained Bioacoustics Case Study

Resumo Técnico: Autoencoders Mascarados com Dados Limitados em Bioacústica

Declaração do Problema
O reconhecimento bioacústico exige compreensão acústica de alta granularidade para distinguir entre espécies de sons semelhantes. No entanto, repositórios bioacústicos em grande escala (por exemplo, iNaturalist) são tipicamente fracamente anotados, fornecendo frequentemente apenas um único rótulo de espécie positiva por gravação. Essa escassez de anotações de alta qualidade e exaustivas torna o aprendizado supervisionado desafiador. Embora os Autoencoders Mascarados (MAE) tenham demonstrado forte transferibilidade em corpora de áudio gerais massivos, sua eficácia em configurações bioacústicas de alta granularidade e tamanho moderado permanece pouco explorada. A questão central abordada é se o pré-treinamento de MAE pode ser efetivamente adaptado para classificação de espécies quando as escalas de dados são limitadas e as anotações são ruidosas.

Metodologia
Os autores propõem um paradigma de treinamento em duas etapas para classificação bioacústica de alta granularidade:

1. Pré-treinamento Auto-supervisionado: Um codificador de áudio é treinado em dados de áudio não rotulados em grande escala usando um objetivo de reconstrução de espectrograma mascarado. O áudio de entrada é convertido em espectrogramas log-mel, particionado em patches não sobrepostos e um subconjunto aleatório de patches é mascarado. Um decodificador leve prevê os valores em nível de pixel dos patches mascarados, minimizando a perda de erro quadrático médio (MSE) sobre as regiões mascaradas.
2. Adaptação a Montante: O codificador pré-treinado é adaptado a um conjunto de dados alvo menor e rotulado (iNatSounds) via:
   • Sondagem Linear: Congelando o codificador e treinando apenas o cabeçalho de classificação.
   • Ajuste Fino Completo: Atualizando tanto os parâmetros do codificador quanto do cabeçalho de classificação usando perda de entropia cruzada.

O estudo avalia sistematicamente o impacto da escala dos dados de pré-treinamento, especificidade do domínio (áudio geral vs. bioacústica), curadoria de dados (filtragem de segmentos ruidosos) e estratégias de transferência. Os experimentos utilizam o conjunto de dados iNatSounds (5.569 espécies, 1,2 mil horas de áudio) e AudioSet (2 milhões de clipes) como fontes de pré-treinamento.

Principais Contribuições e Resultados

• Ineficácia da Sondagem Linear: Representações pré-treinadas com MAE produzem desempenho extremamente baixo sob sondagem linear (por exemplo, ~3,5% de precisão Top-1 no iNatSounds), indicando que o objetivo de reconstrução mascarada sozinho não produz características linearmente separáveis adequadas para reconhecimento de espécies de alta granularidade sem adaptação substancial específica da tarefa.
• A Escala de Pré-treinamento Domina a Especificidade do Domínio:
  • Modelos pré-treinados em áudio diversificado de domínio geral (AudioSet) ou até mesmo em imagens gerais (ImageNet) superam significativamente modelos pré-treinados exclusivamente em dados bioacústicos específicos do domínio (iNatSounds).
  • O pré-treinamento contínuo no domínio alvo (iNatSounds) oferece ganhos marginais (aproximadamente 10% de melhoria sobre a inicialização aleatória) em comparação com os ganhos de ~10% alcançados pelo pré-treinamento em conjuntos de dados maiores e diversos, como o AudioSet.
  • O melhor desempenho é alcançado pré-treinando no AudioSet e, em seguida, fazendo ajuste fino no iNatSounds, mas o ganho adicional de uma etapa intermediária auto-supervisionada específica do domínio é negligenciável.
• A Curadoria de Dados Oferece Benefícios Limitados:
  • Os autores investigaram a filtragem de segmentos de áudio "vazios" ou de baixa confiança para reduzir o ruído. Embora a filtragem tenha preservado com sucesso padrões informativos (evidenciado pelo desempenho do MobileNetV3 em subconjuntos filtrados), ela não melhorou os resultados do pré-treinamento MAE.
  • Na verdade, usar o conjunto de dados completo e mais ruidoso para pré-treinamento produziu resultados melhores do que usar subconjuntos curados e menores. Isso sugere que, em configurações de escala moderada, o volume de dados supera os benefícios da curadoria estrita.
• Comparação com Trabalhos Anteriores: Ao contrário de descobertas em benchmarks em grande escala onde o pré-treinamento específico do domínio é crucial, este estudo encontra que, para conjuntos de dados de tamanho moderado (como o iNatSounds, que é 5 vezes menor em duração de áudio e possui 3 vezes menos espécies do que corpora anteriores em grande escala), modelos de domínio geral "prontos para uso" são superiores.

Significado e Alegações
O artigo alega fornecer orientação prática para seleção de modelos em bioacústica sob supervisão limitada. A descoberta primária é que a escala de pré-treinamento domina o design do objetivo em configurações de alta granularidade de tamanho moderado. Os autores concluem que:

1. Pré-treinamento adicional de reconstrução mascarada em dados específicos do domínio oferece benefícios limitados e pode até degradar o desempenho em relação ao uso de modelos prontos para uso pré-treinados em corpora gerais massivos.
2. A filtragem seletiva de dados oferece vantagens negligenciáveis quando a escala geral de dados é limitada.
3. O ajuste fino supervisionado a partir de modelos pré-treinados de domínio geral é a estratégia dominante para conjuntos de dados de tamanho moderado, enquanto os benefícios do pré-treinamento no domínio provavelmente só emergem em escalas de dados muito maiores.

Essas descobertas esclarecem quando o pré-treinamento baseado em MAE é efetivo, sugerindo que, para pesquisa ecológica com disponibilidade moderada de dados, alavancar pré-treinamento de áudio geral em grande escala ou até mesmo de imagens é mais efetivo do que tentar curar e pré-treinar em conjuntos de dados bioacústicos menores e específicos.