Resumo Técnico: Adaptação de Modelos de Fala e Bioacústica

Declaração do Problema

Modelos de aprendizado autossupervisionado (SSL) pré-treinados em fala humana (ex: HuBERT) e vocalizações animais (ex: AVES) demonstraram forte transferibilidade para tarefas bioacústicas. No entanto, suas representações congeladas não são necessariamente otimizadas para conjuntos de dados específicos, que são frequentemente específicos de espécies, limitados em tamanho e caros de anotar. O ajuste fino completo (full fine-tuning) de codificadores SSL de grande escala é computacionalmente caro e muitas vezes impraticável dada a escassez de dados animais anotados. Embora trabalhos anteriores tenham comparado domínios de pré-treinamento, permanece incerto como esses modelos devem ser adaptados para tarefas bioacústicas, especificamente em relação a quais componentes atualizar, quantos níveis modificar e se modelos pré-treinados em fala e modelos pré-treinados em bioacústica se beneficiam de estratégias de adaptação da mesma forma. Além disso, a literatura existente sugere um declínio progressivo no desempenho de classificação através de camadas mais profundas do codificador ao usar modelos congelados; não se sabe se a adaptação direta em dados bioacústicos de domínio inferior altera essa tendência.

Metodologia

Este estudo investiga o Ajuste Fino de Parâmetros Eficientes (PEFT) usando Adaptação de Baixo Rank (LoRA) para Identificação de Tipo de Chamado (CTID). Os autores utilizam dois modelos baseados em transformer arquiteturalmente idênticos: HuBERT (pré-treinado em fala humana) e AVES-Bio (pré-treinado em dados bioacústicos). A pesquisa é estruturada em torno de quatro estudos de ablação sistemáticos para determinar estratégias de adaptação ideais:

1. Seleção de Matrizes (Q1): O estudo avalia quais subconjuntos de matrizes de projeção do transformer rendem o melhor desempenho. As configurações variam desde a adaptação apenas das redes feed-forward ([FC1, FC2]) até a adaptação de todas as projeções de autoatenção (Q, K, V) e camadas de saída/feed-forward ([Q, K, V, FC0, FC1, FC2]).
2. Escopo de Adaptação (Q2): Os autores examinam se estender os adaptadores LoRA além do codificador Transformer melhora o desempenho. Eles comparam:
   • Apenas o Codificador: Adaptadores nas camadas do Transformer.
   • Projetor + Codificador: Adaptadores no Transformer e na camada de projeção de características.
   • Extrator + Projetor + Codificador: Ajuste fino completo do extrator de características convolucional combinado com adaptadores no projetor e no codificador.
3. Estratégias de Seleção de Camadas (Q3): Duas estratégias são comparadas para determinar quais camadas do codificador devem ser adaptadas:
   • De baixo para cima (Bottoms-up): Adaptando incrementalmente as camadas da primeira camada para cima ($l_1$ a $l_k$).
   • De cima para baixo (Top-down): Adaptando incrementalmente as camadas da última camada para baixo ($l_L$ a $l_{L-k}$).
4. Estratégias de Ajuste Fino (Q4): O estudo compara três paradigmas:
   • Sondagem Linear (Linear Probing): Todas as camadas permanecem congeladas; um classificador linear é treinado no topo.
   • LoRA + Congelamento (LoRA + Freezing): Camadas selecionadas recebem adaptadores LoRA e são ajustadas; outras permanecem congeladas.
   • LoRA + Poda (LoRA + Pruning): Camadas selecionadas são ajustadas com LoRA; camadas não selecionadas são removidas inteiramente do modelo.

Experimentos foram conduzidos em dois conjuntos de dados: InfantMarmosetsVox (IMV) (72.920 amostras, 11 tipos de chamados) e Abzaliev (8.034 amostras, 14 tipos de chamados). Os hiperparâmetros foram otimizados via busca em grade (grid search), identificando um rank ($r$) de 60, fator de escala ($\alpha$) de 3 e taxa de aprendizado de $10^{-3}$ como ideais.

Principais Resultados

Seleção de Matriz e Escopo

• Seleção de Matriz: O desempenho exibe uma progressão monotônica onde a adaptação de um conjunto mais amplo de matrizes de projeção gera resultados mais fortes. A configuração que adapta todas as projeções de autoatenção e feed-forward ([Q, K, V, FC0, FC1, FC2]) alcançou o maior Recall Médio Não Ponderado (UAR).
• Adaptação do Extrator de Características: O ajuste fino direto do extrator de características convolucional (em vez de usar LoRA) degradou consistentemente e significativamente o desempenho subsequente. Adaptar o projetor de características rendeu apenas ganhos marginais em comparação com a adaptação do codificador sozinho.

Seleção de Camada e Tendências

• Comparação de Estratégias: Nem a estratégia "de baixo para cima" nem a "de cima para baixo" superaram consistentemente a outra. Ambas produziram resultados comparáveis quando os adaptadores foram colocados nas mesmas matrizes.
• Desempenho por Camada:
  • Modelos Congelados: Consistente com a literatura anterior, a sondagem linear em modelos congelados mostrou um declínio progressivo no desempenho à medida que camadas mais profundas eram utilizadas.
  • Adaptação LoRA: Quando o LoRA foi aplicado, as camadas mais profundas do transformer no AVES mostraram uma trajetória ascendente geral de desempenho. Isso indica que as camadas mais profundas codificam características abstratas que podem classificar chamados efetivamente, mas apenas quando as camadas são ajustadas finamente.

Estratégias de Ajuste Fino e Tamanho do Conjunto de Dados

• Conjunto de Dados Grande (IMV): O ajuste fino via LoRA (com congelamento ou poda) superou substancialmente a simples sondagem linear em quase todas as camadas.
• Conjunto de Dados Pequeno (Abzaliev): A sondagem linear simples permaneceu mais confiável e frequentemente excedeu o desempenho do LoRA, embora a diferença tenha sido modesta. Isso sugere que a eficácia do LoRA escala com o tamanho do conjunto de dados, enquanto a sondagem linear é uma base (baseline) mais robusta para cenários de poucos dados.
• Poda vs. Congelamento: Remover camadas não utilizadas (poda) não ofereceu vantagem significativa sobre o simples congelamento em termos de desempenho, embora reduza o tamanho do modelo.

Complexidade do Classificador

• No conjunto de dados Abzaliev, um classificador MLP mais profundo de 4 camadas superou a camada linear única usada nos experimentos de LoRA.
• No conjunto de dados IMV, a camada linear única superou o MLP. Isso indica um comportamento específico do conjunto de dados em relação à necessidade de não-linearidade do classificador.

Significância e Alegações

O artigo afirma que a Adaptação de Baixo Rank (LoRA) fornece um framework prático e eficaz para adaptar grandes representações de SSL para tarefas bioacústicas, particularmente quando há dados rotulados suficientes disponíveis.

• Otimização da Adaptação: O estudo destaca que o sucesso do PEFT em bioacústica é altamente dependente de escolhas de design específicas: adaptar um conjunto mais amplo de projeções do transformer é superior, enquanto adaptar o extrator de características convolucional é prejudicial.
• Reversão de Tendências de Camada: Uma descoberta fundamental é que a adaptação direta via LoRA pode reverter o declínio típico de desempenho observado em camadas profundas de modelos SSL congelados, permitindo que camadas mais profundas contribuam significativamente para a classificação.
• Dependência de Dados: Os autores concluem modestamente que, embora o LoRA seja uma ferramenta poderosa para classificação bioacústica com abundância de dados, uma sondagem linear clássica pode permanecer uma base mais forte e estável em cenários de baixos dados.
• Generalizabilidade: As descobertas enfatizam a importância de selecionar cuidadosamente o posicionamento dos adaptadores, as estratégias de camada e os métodos de ajuste fino ao aplicar grandes modelos SSL em tarefas bioacústicas, em vez de assumir uma abordagem de "tamanho único".

O trabalho não pretende resolver todos os desafios bioacústicos, mas estabelece uma compreensão sistemática de como os métodos de parâmetros eficientes interagem com modelos pré-treinados em fala e bioacústica, oferecendo um guia para futuras estratégias de adaptação no campo.