Embedding-Space Diffusion for Zero-Shot Environmental Sound Classification

Sintesi Tecnica: Diffusione nello Spazio di Embedding per la Classificazione Zero-Shot di Suoni Ambientali

Definizione del Problema
Lo zero-shot learning (ZSL) mira a consentire ai modelli di classificare classi non viste sfruttando informazioni semantiche, colmando il divario tra i set di addestramento e di test con set di classi disgiunti. Sebbene lo ZSL abbia visto una ricerca significativa nella visione artificiale, la sua applicazione all'audio ambientale rimane poco esplorata e produce prestazioni scarse negli studi esistenti. Gli attuali metodi di ZSL per l'audio ambientale si affidano ampiamente ad approcci non generativi (ad esempio, reti di compatibilità) o non riescono a sfruttare il successo dei modelli generativi osservato nei compiti di visione. Inoltre, gli approcci generativi esistenti nello ZSL spesso dipendono da modelli pre-addestrati di grandi dimensioni (come Stable Diffusion) legati a modalità specifiche (immagini e testo), limitando la loro applicabilità ai domini audio dove tali fondamenta pre-addestrate potrebbero non esistere o dove i dati delle caratteristiche devono rimanere invisibili durante il pre-addestramento.

Metodologia
Il documento propone ZeroDiffusion, un nuovo metodo generativo per la classificazione zero-shot di suoni ambientali che opera interamente nello spazio di embedding, evitando la necessità di modelli generativi pre-addestrati. La metodologia consiste in tre fasi primarie:

1. Generazione di Embedding:

   • Embedding di Classe ($\sigma(z)$): Le etichette delle classi vengono convertite in vettori a 300 dimensioni utilizzando un modello Word2Vec pre-addestrato. Per arricchire questi embedding, vengono aggiunti sinonimi per la maggior parte dei dataset (eccetto ARCA23K-FSD e GTZAN a causa di vincoli di dimensione o genere).
   • Embedding Audio ($\tau(w)$): Un modello YAMNet modificato viene addestrato sulle classi viste per estrarre embedding audio a 128 dimensioni da spettrogrammi Mel logaritmici. Ciò assicura che l'estrattore di caratteristiche non "veda" accidentalmente le classi non viste durante il pre-addestramento.

2. Addestramento del Modello di Diffusione:

   • Una rete neurale leggera, completamente connessa, viene addestrata come modello di diffusione condizionato su dati ausiliari di classe.
   • Input: Il modello riceve un embedding audio con rumore iniettato ($\tilde{\tau}(w)$) concatenato con un embedding di classe con jitter ($\tilde{\sigma}(z)$).
   • Obiettivo: Il modello impara a ricostruire l'originale embedding audio a partire dall'input rumoroso, condizionato dall'embedding di classe.
   • Funzione di Perdita: L'obiettivo di addestramento combina cinque componenti: Errore Quadratico Medio (ricostruzione), Maximum Mean Discrepancy (allineamento della distribuzione), perdita di varianza (diversità), allineamento del centroide globale e perdita di similarità del coseno (allineamento direzionale).
   • Generazione: Una volta addestrato, il modello genera embedding audio sintetici per le classi non viste fornendo loro rumore casuale e i corrispondenti embedding di classe.

3. Addestramento del Classificatore:

   • Una rete di compatibilità non lineare (basata su Attribute Label Embedding, ALE) viene addestrata utilizzando una combinazione di embedding audio reali delle classi viste e degli embedding sintetici generati per le classi non viste.
   • Il classificatore apprende una funzione di similarità $f(w, z)$ per mappare i dati delle caratteristiche alle etichette di classe senza aver mai visto gli effettivi campioni audio delle classi non viste.

Configurazione Sperimentale
Lo studio valuta quattro metodi su sei dataset: ESC-50, ARCA23K-FSD, FSC22, UrbanSound8k, TAU Urban Acoustics 2019 e GTZAN.

• Baseline:
  • ALE non lineare: Una baseline non generativa allo stato dell'arte per l'audio ambientale.
  • CADA-VAE: Un Variational Autoencoder cross-allineato e con allineamento della distribuzione, adattato dalla visione artificiale.
  • LisGAN: Un Leveraging Invariant Side Generative Adversarial Network, adattato al setting induttivo (rimuovendo le componenti transduttive).
• Protocollo: Gli esperimenti sono stati ripetuti dieci volte con diversi seed casuali. Sono stati utilizzati i partizionamenti standard non lineari di ALE per ESC-50, mentre per gli altri dataset sono stati creati nuovi partizionamenti casuali.

Risultati Chiave

• Prestazioni: ZeroDiffusion ha raggiunto la massima accuratezza media su tutti i sei dataset (34,86%), superando la baseline non lineare ALE (32,27%), CADA-VAE (31,37%) e LisGAN (29,36%).
• Specifiche del Dataset:
  • ZeroDiffusion ha mostrato miglioramenti significativi su ARCA23K-FSD e TAU Urban Acoustics 2019.
  • È stato competitivo con le baseline su UrbanSound8k e GTZAN.
  • Su ESC-50 e FSC22, i risultati sono stati misti; ZeroDiffusion non ha superato costantemente tutti i metodi in ogni fold, e le prestazioni sono state notevolmente instabili sul test set di FSC22.
• Stabilità: I metodi generativi (inclusi ZeroDiffusion) hanno mostrato deviazioni standard più elevate tra le varie esecuzioni rispetto alla baseline non generativa ALE. Ad esempio, CADA-VAE ha mostrato fino all'8,08% di deviazione standard su UrbanSound8k, mentre ALE è rimasto intorno all'1%.
• Dipendenza dai Dati: Gli autori hanno osservato che le prestazioni di ZeroDiffusion correla con la dimensione del dataset. I dataset con più campioni per classe (ad esempio, TAU 2019 con 1.440 campioni/classe) hanno prodotto risultati migliori, mentre i dataset più piccoli (ESC-50 con 40 campioni/classe) hanno mostrato instabilità.

Contributi e Significato
Il documento dichiama i seguenti contributi:

1. Prima Diffusione nello Spazio di Embedding per lo ZSL: Introduce il primo metodo basato sulla diffusione per lo zero-shot learning che opera nello spazio di embedding senza fare affidamento su modelli generativi pre-addestrati (come Stable Diffusion), rendendolo agnostico rispetto alla modalità.
2. Nuovo Stato dell'Arte: Stabilisce un nuovo stato dell'arte per la classificazione zero-shot di suoni ambientali, superando o eguagliando i metodi esistenti attraverso sei diversi dataset audio.
3. Nuovi Benchmark: Fornisce i primi benchmark di zero-shot learning per FSC22, ARCA23K-FSD e TAU Urban Acoustics 2019.
4. Confronto Comprensivo: Offre il primo confronto diretto tra GAN (LisGAN), VAE (CADA-VAE) e modelli di diffusione per la classificazione zero-shot di suoni ambientali.

Significato e Limitazioni
Gli autori posizionano questo lavoro come l'instaurazione dei modelli di diffusione come un approccio promettente per lo zero-shot learning nell'audio, fornendo una base per la ricerca futura. Tuttavia, il documento è modesto riguardo l'affidabilità dei metodi generativi. Esso riconosce esplicitamente che, sebbene ZeroDiffusion migliori l'accuratezza, soffre di una maggiore varianza e instabilità rispetto alle baseline non generative, in particolare sui dataset più piccoli. Gli autori suggeriscono che la mancanza di garanzie teoriche nello zero-shot learning e la dipendenza dalla dimensione del dataset siano aree critiche per la comprensione futura. Il lavoro non pretende di risolvere l'instabilità dei modelli generativi, ma piuttosto di dimostrare il loro potenziale per un'accuratezza superiore quando è disponibile una quantità sufficiente di dati.