Resumo Técnico: Um Framework de Múltiplas Ramificações Consciente de Hierarquia para Classificação de Áudio Heterogêneo

1. Definição do Problema

Este trabalho aborda a Tarefa 1 do Desafio DCASE 2026, que foca na detecção e classificação de gravações de áudio heterogêneas de acordo com a Taxonomia Ampla de Sons (BST - Broad Sound Taxonomy). O desafio envolve o reconhecimento de eventos sonoros e cenas acústicas de gravações do mundo real, caracterizadas por conteúdos, condições de gravação e qualidade de metadados diversos.

A tarefa de classificação é estruturada hierarquicamente:

• Nível superior: 5 classes amplas.
• Segundo nível: 23 categorias específicas agrupadas sob as classes de nível superior.

A métrica de avaliação primária é o F1 score hierárquico (Hier. F1). Consequentemente, um sistema bem-sucedido deve não apenas prever com precisão a classe específica do segundo nível, mas também manter a consistência com a categoria correspondente do nível superior.

2. Metodologia

O sistema proposto baseia-se em representações de áudio-texto CLAP (Contrastive Language-Audio Pretraining), aprimorando-as através de três estratégias principais: expansão de dataset, modelagem acústica de múltiplas ramificações e refinamento de predição consciente da hierarquia.

2.1. Expansão de Dataset: BSD-Grand

Para melhorar a diversidade de dados e mitigar o ruído nos rótulos, os autores construíram um conjunto de treinamento expandido chamado BSD-Grand. Este dataset combina os dados oficiais de treinamento do BSD10k-v1.2 com um subconjunto filtrado do BSD35k.

• Estratégia de Filtragem: O subconjunto BSD35k passou por uma limpeza de metadados consciente de categoria (removendo templates específicos de uploaders e descrições ruidosas), filtragem por modelo professor utilizando modelos do BSD10k-v1.2 e restrições de nível de uploader (limitando as amostras por uploader a 200) para reduzir o viés.
• Resultado: O manifesto de treinamento final do BSD-Grand contém 20.529 amostras (10.956 do BSD10k-v1.2 e 9.573 do BSD35k).

2.2. Framework Acústico de Múltiplas Ramificações

A arquitetura estende o modelo CLAP padrão introduzindo ramificações acústicas específicas de características para complementar a informação semântica de alto nível capturada pelo CLAP.

• Ramificações Acústicas: Três ramificações distintas processam diferentes características acústicas, cada uma codificando a entrada em um embedding compacto fundido com os embeddings de áudio do CLAP via um módulo de fusão residual com portão (gated residual fusion module):
  • Ramificação log-Mel: Utiliza um codificador de Convolução Dinâmica de Frequência Multi-Dilatada (MDFD) com pooling de atenção.
  • Ramificação MFCC: Utiliza uma Rede Neural de Atraso Temporal (TDNN) residual com pooling mean-max.
  • Ramificação log-STFT: Utiliza um Transformer de 6 camadas com pooling temporal.
• Adaptação de Texto: Um Adaptador de Portão Highway (Highway Gate Adapter) é aplicado especificamente à ramificação log-STFT. Ele gera uma representação residual específica da tarefa ($\Delta t$) a partir do embedding de texto do CLAP, controlada por um portão highway aprendível para refinar adaptativamente a representação de texto enquanto preserva a semântica pré-treinada.

2.3. Cabeças de Predição Conscientes da Hierarquia

Para explorar a relação hierárquica entre as 5 classes de nível superior e as 23 classes de segundo nível, o sistema investiga três variantes de cabeças de classificação:

1. Cabeça Flat (Plana): Projeta as representações fundidas diretamente para 23 classes, ignorando a taxonomia de nível superior.
2. Cabeça de Classificador Global (GC) Head: Uma abordagem de aprendizado multitarefa que gera predições tanto para as categorias de nível superior quanto para as de segundo nível simultaneamente, otimizada via uma soma ponderada de perdas de entropia cruzada (cross-entropy).
3. Cabeça de Classificador Local por Nível (LCL) Head: Treina classificadores separados para cada nível, mas emprega um mecanismo de correção top-down durante a inferência (ex: multiplicação de probabilidade) para forçar a consistência hierárquica e evitar que erros de nível superior se propaguem para os níveis inferiores.

2.4. Pós-processamento Baseado em KNN e Destilação

O sistema utiliza uma estratégia de K-Vizinhos Mais Próximos (KNN) para refinar as predições:

• Pós-processamento: Um banco de embeddings de treinamento é construído usando representações de características concatenadas do modelo log-STFT treinado e dos embeddings originais do CLAP. Para amostras de avaliação, a predição final é uma combinação ponderada da saída do modelo e um prior de vizinho derivado dos $k$-vizinhos mais próximos no banco.
• Destilação de Conhecimento: O prior de vizinho baseado em KNN também é usado como supervisão suave (soft supervision) durante o treinamento. Um modelo estudante é otimizado usando tanto os rótulos de verdade fundamental (ground-truth) quanto a distribuição de alvo baseada em KNN gerada por um modelo professor.

3. Resultados Experimentais

Os experimentos foram conduzidos utilizando validação cruzada de 5 dobras (5-fold cross-validation) no dataset BSD10k-v1.2.

3.1. Análise de Componentes

• Impacto do Dataset: A transição do baseline (BSD10k-v1.2) para o BSD-Grand melhorou o Hier. F1 de 78,45% para 79,64%.
• Ramificações de Características: Entre as ramificações acústicas, a ramificação log-STFT apresentou o desempenho individual mais forte (80,54% de Hier. F1), superando log-Mel (79,95%) e MFCC (80,13%).
• Cabeças de Predição: A cabeça Flat alcançou o maior desempenho entre as variantes de cabeça única (80,57%), seguida por LCL (80,20%) e GC (80,01%).
• Pós-processamento: A aplicação do pós-processamento baseado em KNN ao modelo log-STFT aumentou ainda mais o desempenho para 80,84% de Hier. F1.

3.2. Desempenho dos Sistemas Submetidos

Os autores submeteram quatro sistemas, com os melhores resultados resumidos abaixo:

1. Sistema 1 (Modelo Único): Arquitetura log-STFT com pós-processamento KNN. Alcançou 80,84% de Hier. F1.
2. Sistema 3 (Ensemble, 5-fold CV): Um ensemble de modelos KD-log-STFT, log-Mel, Flat e LCL treinados com validação cruzada de 5 dobras. Este sistema alcançou o melhor desempenho geral de 81,25% de Hier. F1.
3. Sistema 4 (Ensemble Estendido): Um ensemble estendido incorporando MFCC e cabeças GC. Alcançou 81,18% de Hier. F1.

Todos os sistemas submetidos superaram significativamente o baseline de 78,45%.

4. Significância e Alegações

O artigo afirma que o framework proposto demonstra melhorias consistentes sobre o baseline baseado em CLAP através de:

1. Expansão de Dataset: A construção do BSD-Grand reduz efetivamente o ruído nos rótulos e o viés de uploader, aumentando simultaneamente a diversidade de dados.
2. Diversificação de Características: A integração de ramificações acústicas específicas de características (particularmente log-STFT) complementa a riqueza semântica do CLAP, abordando as limitações de depender apenas do alinhamento áudio-texto.
3. Consistência Hierárquica: O uso de cabeças conscientes da hierarquia (especificamente LCL com correção top-down) e o refinamento baseado em KNN garantem que as predições respeitem a estrutura da taxonomia BST.
4. Sinergia de Ensemble: Os melhores resultados são alcançados combinando modelos com características acústicas complementares e estratégias de classificação, destacando os benefícios do aprendizado de ensemble para a classificação de áudio heterogêneo.

Os autores concluem que seu melhor sistema de ensemble (Sistema 3) atinge um Hier. F1 de 81,25%, validando a eficácia da modelagem acústica de múltiplas ramificações e do refinamento consciente da hierarquia para o desafio da Tarefa 1 do DCASE 2026.