Mind the Shift: Using Delta SSL Embeddings to Enhance Child ASR

Sintesi Tecnica: MIND THE SHIFT: UTILIZZARE GLI EMBEDDING DELTA SSL PER MIGLIORARE IL CHILD ASR

Problematica
I modelli di apprendimento auto-supervisionato (SSL) hanno ottenuto un successo significativo nel riconoscimento automatico del parlato (ASR) per adulti, ma continuano a incontrare difficoltà con il Child ASR (ASR per bambini). Questo divario di prestazioni è attribuito alle differenze acustiche e linguistiche nel parlato dei bambini, tra cui frequenze fondamentali e formant più elevate, maggiore variabilità del parlatore e rapidi cambiamenti evolutivi. Sebbene i modelli supervisionati come Whisper ottengano buone prestazioni grazie a dati di addestramento su larga scala, spesso mancano di interpretabilità e trasparenza riguardo ai dati di addestramento. I modelli SSL offrono un'alternativa più interpretabile e trasferibile, ma affrontano sfide dovute alla scarsità di dati specifici per i bambini e al disallineamento del dominio tra il pre-addestramento e il task target. Inoltre, sebbene la fusione delle caratteristiche di molteplici modelli SSL sia stata esplorata, il potenziale della fusione di modelli fine-tuned rimane poco indagato, in particolare per il Child ASR.

Metodologia
Gli autori propongono un approccio innovativo alla fusione delle caratteristiche che sfrutta gli embedding delta SSL. Invece di fondere direttamente gli embedding di molteplici modelli fine-tuned, definiscono un embedding delta ($\Delta$) come la differenza tra gli embedding di un modello fine-tuned e il suo corrispondente pre-trained:
$$\Delta E = E_{ft} - E_{pt}$$
L'ipotesi è che questi embedding delta codifichino informazioni specifiche del task (lo "shift" indotto dal fine-tuning) che completano le rappresentazioni generali di un altro modello.

Lo studio utilizza tre encoder SSL rappresentativi con distinti obiettivi di pre-addestramento: Wav2Vec 2.0 (loss contrastiva), HuBERT (clustering offline/pseudo-label) e WavLM (obiettivi multitask con robustezza al rumore). Il framework sperimentale prevede:

1. Modello di Riferimento: WavLM viene utilizzato come modello di riferimento grazie alle sue forti prestazioni del singolo modello sul corpus MyST.
2. Generazione del Delta: Gli embedding delta vengono generati per HuBERT e Wav2Vec 2.0 sottraendo i loro embedding pre-trained dai rispettivi embedding fine-tuned.
3. Strategie di Fusione: Gli embedding fine-tuned di WavLM vengono fusi con gli embedding delta degli altri modelli utilizzando tre strategie:
   • Concatenazione: Concatenazione delle caratteristiche lungo la dimensione delle feature.
   • Combinazione Pesata: Una combinazione convessa apprendibile.
   • Cross-Attention: Utilizzo degli embedding di riferimento come query e degli embedding delta come chiavi/valori.
4. Analisi: Gli autori utilizzano l'Analisi di Correlazione Canonica (CCA) e un framework di gating Mixture of Experts (MoE) per analizzare la complementarità e il contributo degli embedding delta.

Contributi Chiave

1. Primo Studio sulla Fusione di Embedding Delta per l'ASR: Il paper presenta il primo studio che fonde rappresentazioni SSL fine-tuned utilizzando embedding delta, applicato specificamente al Child ASR.
2. Strategia di Fusione Ottimale: Attraverso la valutazione sul corpus MyST, gli autori dimostrano che la concatenazione supera costantemente la somma pesata e la cross-attention, particolarmente in scenari few-shot e a basse risorse.
3. Prestazioni State-of-the-Art: Il metodo proposto raggiunge un Word Error Rate (WER) di 9,64 sul corpus MyST (fusa WavLM con $\Delta$Wav2Vec 2.0), stabilendo un nuovo stato dell'arte tra i modelli SSL per questo dataset.
4. Efficacia in Scenari a Basse Risorse: L'approccio produce guadagni significativi in contesti estremamente a basse risorse (1 ora di dati di addestramento), ottenendo una riduzione relativa del WER del 10% per HuBERT e del 4,4% per Wav2Vec 2.0 rispetto alla fusione standard degli embedding fine-tuned.

Risultati

• Performance: La fusione di WavLM con $\Delta$W2V2 ha ottenuto i migliori risultati in tutti i regimi di dati (Full, 10h, 5h, 1h). Nell'impostazione di 1 ora, questa fusione ha ridotto il WER dal 22,47% (solo WavLM) al 21,81%.
• Confronto con gli Embedding Completi: Rispetto alla fusione di interi embedding fine-tuned, gli embedding delta hanno ottenuto prestazioni uguali o superiori. Nello specifico, nell'impostazione di 1 ora, la fusione di WavLM con $\Delta$HuBERT ha ridotto il WER del 10% relativo rispetto alla fusione di WavLM con l'embedding fine-tuned di HuBERT.
• Risultati dell'Analisi:
  • CCA: L'analisi ha rivelato che il fine-tuning induce i maggiori shift nelle rappresentazioni negli strati superiori del transformer. Gli embedding delta catturano efficacemente questi shift specifici del task.
  • Complementarità: I modelli con obiettivi di pre-addestramento diversi (WavLM e W2V2) hanno mostrato una complementarità più forte rispetto a quelli con obiettivi simili (WavLM e HuBERT). L'analisi MoE ha confermato che gli embedding delta di W2V2 forniscono un valore complementare maggiore, richiedendo meno dipendenza dai pesi del modello di riferimento.
  • Cross-Domain: Gli embedding delta derivati da modelli fine-tuned su parlato adulto (LibriSpeech) hanno comunque superato il baseline, sebbene i delta in-domain abbiano fornito le prestazioni migliori, confermando che gli embedding delta catturano l'adattamento specifico del task.

Significatività
Il paper sostiene che gli embedding delta forniscano un meccanismo semplice ed efficace per la fusione multi-modello nel Child ASR. Isolando gli shift specifici del task, gli embedding delta migliorano la complementarità tra encoder SSL eterogenei senza l'overhead computazionale di addestrare più modelli completi per la fusione. Le scoperte evidenziano la fusione delle caratteristiche come una direzione promettente per far avanzare il Child ASR, particolarmente in scenari a basse risorse dove la scarsità di dati è un collo di bottiglia primario. Il lavoro estende il concetto di "task vectors" dallo spazio dei parametri allo spazio delle rappresentazioni, ampliando l'applicabilità degli embedding delta al riconoscimento del parlato a basse risorse.