Position-invariant Fine-tuning of Speech Enhancement Models with Self-supervised Speech Representations

Sintesi Tecnica: Fine-Tuning Invariante alla Posizione di Modelli di Miglioramento del Parlato con Rappresentazioni del Parlato Auto-Supervisionate

Definizione del Problema
L'integrazione di modelli di miglioramento del parlato (Speech Enhancement - SE) front-end con rappresentazioni di apprendimento auto-supervisionato (SSL) (ad es. wav2vec 2.0, HuBERT) si è dimostrata efficace per compiti downstream in ambienti rumorosi. L'approccio standard prevede il fine-tuning del modello SE utilizzando una perdita di Errore Quadratico Medio (MSE) tra le rappresentazioni SSL del parlato migliorato e del parlato pulito (SSL-MSE). Tuttavia, questo articolo identifica un limite critico: l'obiettivo MSE è incline a sfruttare i posizionamenti (positional embeddings) intrinsechi nei modelli SSL. Invece di apprendere una somiglianza di contenuto significativa, il processo di ottimizzazione minimizza la perdita attraverso correlazioni posizionali. Questo fenomeno, analogo al "collasso posizionale" osservato nel pre-training SSL, riduce la generalizzazione e la robustezza del front-end SE, in particolare in condizioni di rumore non viste.

Metodologia
Lo studio investiga questo problema attraverso un framework di SE guidato dalle rappresentazioni, in cui un modello SE pre-addestrato viene sottoposto a fine-tuning per allineare il proprio output con le rappresentazioni di un encoder SSL congelato. Per mitigare lo sfruttamento dei posizionamenti, vengono proposti e valutati due approcci:

1. Perturbazione Posizionale tramite Zero-Padding Casuale (SSL-MSE-PAD):
   Adattato dal framework SPIRAL utilizzato nel pre-training SSL, questo metodo introduce uno zero-padding casuale alla forma d'onda di riferimento pulita prima che venga passata attraverso l'encoder SSL. La lunghezza del padding è campionata casualmente (2–5% della durata del segnale) e allineata con l'hop size dei frame del modello SSL. Per mantenere l'allineamento con il segnale migliorato non padded, un numero equivalente di frame viene rimosso dalle rappresentazioni SSL padded prima di calcolare l'MSE. Ciò interrompe l'allineamento posizionale assoluto, costringendo il modello a fare maggiore affidamento sul contenuto.

2. Perturbazione di Velocità con Perdita Soft-DTW (SSL-SoftDTW):
   Questo approccio combina la perturbazione della velocità (variazione della velocità di riproduzione del segnale pulito) con una perdita soft-Dynamic Time Warping (soft-DTW). A differenza dello zero-padding, la perturbazione della velocità introduce distorsioni temporali locali e continue che simulano la variabilità realistica del tempo del parlato. Poiché i segnali migliorato e perturbato differiscono in lunghezza, l'MSE standard per frame non è applicabile. Invece, la soft-DTW — un'estensione differenziabile di DTW che utilizza un operatore soft-min — allinea le sequenze in base al contenuto piuttosto che alla posizione assoluta. La perdita è normalizzata per lunghezza di sequenza per garantire la stabilità.

Configurazione Sperimentale
Gli esperimenti utilizzano il modello SE master64 (una rete convoluzionale profonda nel dominio del tempo) sottoposto a fine-tuning su un sottoinsieme di LibriSpeech (train-clean-100) aumentato con rumore e miscelato con rumore indoor DEMAND. Il backbone SSL è HuBERT-BASE. I modelli SE fine-tuned sono successivamente valutati integrandoli come front-end per compiti downstream: Riconoscimento Automatico del Parlato (ASR) e Riconoscimento Fonetico (PR), seguendo il protocolo di benchmark SUPERB. La valutazione include condizioni di parlato pulito, rumore visto (indoor) e rumore non visto (outdoor).

Risultati Chiave

• Prestazioni Downstream: L'approccio SSL-SoftDTW ha superato costantemente il baseline SSL-MSE e la variante SSL-MSE-PAD. Nei compiti ASR, SSL-SoftDTW ha ottenuto il Word Error Rate (WER) più basso nelle condizioni di rumore non visto (9,06% rispetto al 9,19% di SSL-MSE). Allo stesso modo, per il Riconoscimento Fonetico, SSL-SoftDTW ha prodotto il miglior Phoneme Error Rate (PER) (5,11% rispetto al 5,17% di SSL-MSE).
• Velocità di Convergenza: Un risultato significativo è il tasso di convergenza. L'approccio SSL-SoftDTW è converguto al livello di prestazione finale del baseline SSL-MSE in circa 60k step, mentre il baseline SSL-MSE ha richiesto circa 200k step.
• Limitazioni dello Zero-Padding: Sebbene SSL-MSE-PAD abbia mostrato una convergenza più rapida rispetto al baseline, ha offerto solo guadagni marginali di prestazione. Gli autori attribuiscono ciò alle discontinuità artificiali introdotte dallo zero-padding, che possono interferire con l'estrazione delle feature SSL.

Significatività e Rivendicazioni
L'articolo sostiene che lo sfruttamento dei posizionamenti sia un limite generale nel fine-tuning basato su SSL che influisce negativamente sulla robustezza dei front-end SE. Il contributo principale è la dimostrazione che le strategie di fine-tuning invarianti alla posizione, specificamente quelle che utilizzano l'allineamento soft-DTW, possono migliorare significativamente le prestazioni dei compiti downstream e l'efficienza dell'addestramento.

Fondamentalmente, gli autori sottolineano che questi miglioramenti sono stati ottenuti effettuando il fine-tuning solo del modulo SE, senza modificare l'encoder SSL o le teste del compito downstream. Ciò suggerisce che mitigare la dipendenza posizionale a livello di componente è sufficiente per ottenere guadagni misurabili. Il lavoro evidenzia l'importanza di passare da un semplice allineamento MSE a obiettivi basati sul contenuto e invarianti alla posizione quando si integrano i modelli SE con le rappresentazioni SSL. Il lavoro futuro suggerisce di esplorare l'applicazione di queste tecniche durante la fase stessa di pre-training SSL, che è computazionalmente onerosa.