Embedding-Space Diffusion for Zero-Shot Environmental Sound Classification

Resumo Técnico: Difusão no Espaço de Incorporação para Classificação de Sons Ambientais Zero-Shot

Definição do Problema
O aprendizado zero-shot (ZSL) visa permitir que modelos classifiquem classes não vistas ao aproveitar informações semânticas, preenchendo a lacuna entre os conjuntos de treinamento e teste com conjuntos de classes distintos. Embora o ZSL tenha recebido pesquisas significativas em visão computacional, sua aplicação à áudio ambiental permanece subexplorada e produz um desempenho insatisfatório nos estudos existentes. Os métodos atuais de ZSL para áudio ambiental dependem amplamente de abordagens não generativas (ex: redes de compatibilidade) ou falham em utilizar o sucesso dos modelos generativos observado em tarefas de visão. Além disso, as abordagens generativas existentes em ZSL frequentemente dependem de modelos pré-treinados de grande escala (como o Stable Diffusion) vinculados a modalidades específicas (imagens e texto), o que limita sua aplicabilidade a domínios de áudio onde tais fundamentos pré-treinados podem não existir ou onde os dados de características devem permanecer não vistos durante o pré-treinamento.

Metodologia
O artigo propõe o ZeroDiffusion, um novo método generativo para classificação de sons ambientais zero-shot que opera inteiramente no espaço de incorporação (embedding space), evitando a necessidade de modelos generativos pré-treinados. A metodologia consiste em três estáções primárias:

1. Geração de Incorporações (Embeddings):

   • Incorporações de Classe ($\sigma(z)$): Os rótulos das classes são convertidos em vetores de 300 dimensões usando um modelo Word2Vec pré-treinado. Para enriquecer essas incorporações, sinônimos são adicionados para a maioria dos conjuntos de dados (exceto ARCA23K-FSD e GTZAN devido a restrições de tamanho ou gênero).
   • Incorporações de Áudio ($\tau(w)$): Um modelo YAMNet modificado é treinado nas classes vistas para extrair incorporações de áudio de 128 dimensões a partir de espectrogramas Mel logarítmicos. Isso garante que o extrator de características não "veja" inadvertidamente as classes não vistas durante o pré-treinamento.

2. Treinamento do Modelo de Difusão:

   • Uma rede neural totalmente conectada e leve é treinada como um modelo de difusão condicionado a dados auxiliares de classe.
   • Entrada: O modelo recebe uma incorporação de áudio com ruído injetado ($\tilde{\tau}(w)$) concatenada com uma incorporação de classe com jitter ($\tilde{\sigma}(z)$).
   • Objetivo: O modelo aprende a reconstruir a incorporação de áudio original a partir da entrada ruidosa, condicionada à incorporação de classe.
   • Função de Perda: O objetivo de treinamento combina cinco componentes: Erro Quadrático Médio (reconstrução), Discrepância de Média Máxima (alinhamento de distribuição), perda de variância (diversidade), alinhamento de centroide global e perda de similaridade de cosseno (alinhamento direcional).
   • Geração: Uma vez treinado, o modelo gera incorporações de áudio sintéticas para classes não vistas alimentando-o com ruído aleatório e suas respectivas incorporações de classe.

3. Treinamento do Classificador:

   • Uma rede de compatibilidade não linear (baseada em Attribute Label Embedding, ALE) é treinada usando uma combinação de incorporações de áudio reais de classes vistas e as incorporações sintéticas geradas para as classes não vistas.
   • O classificador aprende uma função de similaridade $f(w, z)$ para mapear dados de características para rótulos de classe sem nunca ter visto as amostras de áudio reais das classes não vistas.

Configuração Experimental
O estudo avalia quatro métodos em seis conjuntos de dados: ESC-50, ARCA23K-FSD, FSC22, UrbanSound8k, TAU Urban Acoustics 2019 e GTZAN.

• Baselines (Linhas de Base):
  • ALE Não Linear: Uma linha de base não generativa de estado da arte para áudio ambiental.
  • CADA-VAE: Um Autoencoder Variacional alinhado transversalmente e alinhado por distribuição, adaptado da visão computacional.
  • LisGAN: Uma Rede Generativa Adversária de Lado Invariante (Leveraging Invariant Side Generative Adversarial Network), adaptada para o cenário indutivo (removendo componentes transdutivos).
• Protocolo: Os experimentos foram repetidos dez vezes com diferentes sementes aleatórias. Partições não lineares de ALE padrão foram usadas para o ESC-50, enquanto novas partições aleatórias foram criadas para os outros conjuntos de dados.

Principais Resultados

• Desempenho: O ZeroDiffusion alcançou a maior precisão média em todos os seis conjuntos de dados (34,86%), superando a linha de base não linear ALE (32,27%), o CADA-VAE (31,37%) e o LisGAN (29,36%).
• Especificidades dos Conjuntos de Dados:
  • O ZeroDiffusion mostrou melhorias significativas no ARCA23K-FSD e no TAU Urban Acoustics 2019.
  • Teve um desempenho competitivo com as linhas de base no UrbanSound8k e no GTZAN.
  • No ESC-50 e no FSC22, os resultados foram mistos; o ZeroDiffusion não superou consistentemente todos os métodos em cada dobra (fold), e o desempenho foi notavelmente instável no conjunto de teste do FSC22.
• Estabilidade: Métodos generativos (incluindo o ZeroDiffusion) exibiram desvios padrão mais altos entre as execuções em comparação com a linha de base não generativa ALE. Por exemplo, o CADA-VAE apresentou até 8,08% de desvio padrão no UrbanSound8k, enquanto o ALE permaneceu em torno de 1%.
• Dependência de Dados: Os autores observaram que o desempenho do ZeroDiffusion correlacionou-se com o tamanho do conjunto de dados. Conjuntos de dados com mais amostras por classe (ex: TAU 2019 com 1.440 amostras/classe) renderam melhores resultados, enquanto conjuntos menores (ESC-50 com 40 amostras/classe) mostraram instabilidade.

Contribuições e Significância
O artigo reivindica as seguintes contribuições:

1. Primeira Difusão no Espaço de Incorporação para ZSL: Introduz o primeiro método baseado em difusão para aprendizado zero-shot que opera no espaço de incorporação sem depender de modelos generativos pré-treinados (como o Stable Diffusion), tornando-o agnóstico à modalidade.
2. Novo Estado da Arte: Estabelece um novo estado da arte para a classificação de sons ambientais zero-shot, superando ou igualando métodos existentes em seis diversos conjuntos de dados de áudio.
3. Novos Benchmarks: Fornece os primeiros benchmarks de aprendizado zero-shot para FSC22, ARCA23K-FSD e TAU Urban Acoustics 2019.
4. Comparação Abrangente: Oferece a primeira comparação direta de GANs (LisGAN), VAEs (CADA-VAE) e modelos de Difusão para a classificação de sons ambientais zero-shot.

Significância e Limitações
Os autores posicionam este trabalho como o estabelecimento dos modelos de difusão como uma abordagem promissora para o aprendizado zero-shot, fornecendo uma base para pesquisas futuras. No entanto, o artigo é modesto quanto à confiabilidade dos métodos generativos. Ele reconhece explicitamente que, embora o ZeroDiffusion melhore a precisão, sofre de maior variância e instabilidade em comparação com as linhas de base não generativas, particularmente em conjuntos de dados menores. Os autores sugerem que a falta de garantias teóricas no aprendizado zero-shot e a dependência do tamanho do conjunto de dados são áreas críticas para compreensão futura. O trabalho não afirma resolver a instabilidade dos modelos generativos, mas sim demonstrar seu potencial para maior precisão quando há dados suficientes disponíveis.