S-SONDO: Self-Supervised Knowledge Distillation for General Audio Foundation Models

1. Enunciato del Problema

I modelli fondamentali audio generici hanno raggiunto prestazioni all'avanguardia su compiti diversificati, ma soffrono di costi computazionali estremi a causa delle loro dimensioni massicce (spesso centinaia di milioni di parametri). Ciò ne limita il dispiegamento su dispositivi edge con risorse limitate (ad esempio, telefoni cellulari, sistemi incorporati).

Sebbene la Distillazione della Conoscenza (KD) sia una tecnica standard per la compressione dei modelli, i metodi esistenti nell'ambito audio si basano principalmente su impostazioni di Apprendimento Supervisionato (SL). Questi approcci tradizionali richiedono:

• Logit di Classe: Allineano le distribuzioni di probabilità delle previsioni di classe, che i modelli auto-supervisionati (SSL) non producono.
• Specificità Architetturale: Molti metodi richiedono l'allineamento di livelli intermedi, rendendo necessarie architetture simili tra insegnante e studente.
• Dipendenza dalle Etichette: Si basano su etichette veritiere (ground-truth) per il campionamento o il calcolo della perdita.

Di conseguenza, manca un quadro efficace per distillare modelli audio SSL basati su embedding (che producono solo rappresentazioni latenti) in modelli studenti efficienti senza richiedere etichette di classe o allineamento architetturale.

2. Metodologia: S-SONDO

Gli autori propongono S-SONDO (Self-Supervised KnOwledge DistillatioN for General AuDio FOundation Models), un quadro progettato per distillare modelli audio generici utilizzando solo gli embedding di output.

Architettura Principale

La pipeline è composta da tre componenti principali (illustrate nella Fig. 1 del paper):

1. Insegnante Pre-addestrato ($g_\gamma$): Un grande modello fondamentale SSL (ad esempio, MATPAC++, M2D) che genera embedding latenti ad alta dimensionalità ($Z_t$) a partire dall'audio grezzo.
2. Encoder Studente ($f_\theta$): Un modello leggero ed efficiente (ad esempio, MobileNetV3, DyMN, ERes2Net) che genera i propri embedding ($Z_s$).
3. Testa di Mappatura ($h_\beta$): Un Perceptron Multistrato (MLP) che proietta gli embedding dello studente nello spazio latente dell'insegnante. Questo è cruciale perché lo studente e l'insegnante spesso hanno dimensioni di embedding diverse ($d_s \neq d_t$). L'embedding dello studente proiettato è indicato come $Z'_s$.

Obiettivo di Addestramento

A differenza della KD standard che minimizza la differenza tra i logit, S-SONDO minimizza la distanza tra gli embedding dello studente proiettati ($Z'_s$) e gli embedding dell'insegnante ($Z_t$) nello spazio semantico dell'insegnante.

Il paper valuta diverse funzioni di perdita ($L_{KD}$) per determinare la strategia di allineamento più efficace:

• $L_{MSE}$ & $L_{L1}$: Penalità di distanza elemento per elemento.
• $L_{cos}$ (Similarità Coseno): Misura la similarità angolare tra vettori.
• $L_{CLAP}$: Una perdita contrastiva adattata dal modello CLAP.
• $L_{KL}$: Divergenza di Kullback-Leibler (trattando gli embedding come distribuzioni di probabilità).

Risultato Chiave: La Similarità Coseno ($L_{cos}$) è identificata come la perdita predefinita e più robusta. Le perdite elemento per elemento (MSE/L1) sono subottimali perché le informazioni semantiche negli embedding SSL sono codificate nelle direzioni relative piuttosto che nelle coordinate assolute. La divergenza KL è inappropriata poiché gli embedding SSL non sono distribuzioni di probabilità.

Campionamento Bilanciato dei Dati (BDS)

Per affrontare lo squilibrio delle classi senza etichette veritiere, gli autori adattano il Campionamento Bilanciato dei Dati (BDS):

1. Clustering: Gli embedding dell'insegnante vengono raggruppati (ad esempio, utilizzando K-Means con $k=50$) per generare pseudo-etichette.
2. Pesatura: I campioni vengono pesati inversamente proporzionalmente alla frequenza del loro cluster ($w_i = \frac{1}{freq(cluster) + 100}$).
3. Campionamento: Durante l'addestramento, i batch vengono campionati in base a questi pesi per garantire che i cluster semantici rari siano adeguatamente rappresentati.

3. Contributi Chiave

1. Primo Quadro KD SSL Solo-Embedding: S-SONDO è il primo metodo a distillare modelli fondamentali audio generici utilizzando solo gli embedding di output, eliminando la necessità di logit di classe o allineamento di livelli intermedi.
2. Agnosticismo Architetturale: Utilizzando una testa di mappatura e focalizzandosi sugli embedding finali, il metodo funziona indipendentemente dalle differenze architetturali tra l'insegnante (basato su Transformer) e lo studente (basato su CNN).
3. Analisi delle Funzioni di Perdita: Il paper valuta sistematicamente le funzioni di perdita per la KD SSL, stabilendo la Similarità Coseno come scelta superiore rispetto a MSE, L1 e divergenza KL per questo compito specifico.
4. Campionamento Senza Etichette: Dimostra l'efficacia dell'uso di pseudo-etichette basate sul clustering per eseguire un campionamento bilanciato dei dati in un contesto auto-supervisionato.

4. Risultati Sperimentali

Il metodo è stato valutato utilizzando due insegnanti (MATPAC++ e M2D, entrambi con ~86M di parametri) e tre studenti (MobileNetV3, DyMN, ERes2Net, con dimensioni comprese tra 1,4M e 8,7M di parametri) su sette compiti downstream di etichettatura audio (musica e suoni ambientali).

Metriche di Prestazione Chiave:

• Ritenzione delle Prestazioni: Gli studenti distillati hanno mantenuto fino al 96,4% delle prestazioni dell'insegnante (nello specifico, MobileNetV3 distillato da MATPAC++).
• Compressione: Gli studenti erano fino a 61 volte più piccoli degli insegnanti.
• Superamento delle Baseline Supervisionate: In 4 casi su 6 di combinazioni insegnante-studente, i modelli distillati con S-SONDO hanno superato le stesse architetture studenti addestrate tramite apprendimento supervisionato standard.
  • Esempio: MobileNetV3 distillato da MATPAC++ ha ottenuto un punteggio medio di 73,0, rispetto a 72,0 per la baseline supervisionata.
• Confronto delle Perdite: La perdita coseno ha prodotto le migliori prestazioni medie (72,7), seguita da vicino da CLAP (72,3). MSE e L1 hanno ottenuto risultati significativamente peggiori.
• Impatto del BDS: Il Campionamento Bilanciato dei Dati è stato critico per i modelli con capacità inferiore (come ERes2Net). Senza BDS, ERes2Net distillato da MATPAC++ è collassato (scendendo da 70,8 a 44,8).

5. Significato e Conclusione

S-SONDO affronta un collo di bottiglia critico nel dispiegamento dell'IA audio: il compromesso tra capacità del modello ed efficienza computazionale. Dimostrando che il solo allineamento degli embedding è sufficiente per una distillazione di alta qualità, il paper abilita:

• Dispiegamento su Dispositivi Edge: Rende i potenti modelli fondamentali fattibili per hardware mobile e incorporato.
• Generalizzabilità: Un quadro applicabile a qualsiasi modello SSL basato su embedding, non solo a quelli con architetture specifiche o teste di classificazione.
• Direzioni Future: Gli autori suggeriscono che il miglioramento della strategia di clustering per compiti multi-etichetta e il raffinamento degli obiettivi contrastivi (per gestire meglio le coppie negative) sono percorsi promettenti per la ricerca futura.

In sintesi, S-SONDO fornisce una soluzione robusta, agnostica all'architettura e priva di etichette per la compressione di grandi modelli fondamentali audio, raggiungendo prestazioni vicine a quelle dell'insegnante con una frazione dei parametri.