Speech-FT: Merging Pre-trained And Fine-Tuned Speech Representation Models For Cross-Task Generalization

1. Enunciato del Problema

Il fine-tuning di modelli di rappresentazione del parlato pre-addestrati (ad es. HuBERT, wav2vec 2.0) su compiti specifici downstream porta spesso a un degrado della generalizzazione cross-task. Sebbene il fine-tuning migliori le prestazioni sul compito target, causa frequentemente una deriva rappresentazionale, in cui il modello diventa eccessivamente specializzato e perde le caratteristiche generalizzabili apprese durante il pre-addestramento auto-supervisionato.

Le soluzioni esistenti tentano di mitigare questo problema mediante:

• Regolarizzazione nello spazio dei pesi: Penalizzando grandi deviazioni dai pesi pre-addestrati.
• Fine-tuning efficiente in termini di parametri (PEFT): Utilizzo di adattatori (ad es. LoRA) per limitare gli aggiornamenti dei parametri.
• Arresto anticipato: Interruzione dell'addestramento prima che i pesi divergano eccessivamente.

Limiti: Gli autori sostengono che questi metodi falliscono perché vincolare lo spazio dei pesi non preserva necessariamente la similarità nello spazio delle caratteristiche. I modelli possono subire cambiamenti significativi nei pesi mantenendo la similarità delle caratteristiche, o viceversa, piccoli cambiamenti nei pesi possono alterare drasticamente le caratteristiche. Di conseguenza, le baseline esistenti spesso perdono la capacità di generalizzare su compiti non correlati.

2. Metodologia: Speech-FT

Gli autori propongono Speech-FT, un nuovo framework a due stadi progettato per migliorare le prestazioni specifiche del compito ripristinando al contempo la generalizzazione cross-task.

Stadio 1: Fine-Tuning Stabile (Stable-FT)

Questo stadio mira a minimizzare la deriva rappresentazionale durante l'adattamento iniziale a un nuovo compito.

• Congelamento del Modulo di Downsampling: Il codificatore convoluzionale iniziale (che estrae caratteristiche di frequenza di basso livello) viene congelato per preservare i cruciali pattern acustici di basso livello.
• Strategia di Warm-up: Per il primo $\beta\%$ (impostato al 10%) degli step di addestramento, viene aggiornato solo il task prediction head ($D$). Questo permette al modello di adattare il suo strato di output senza disturbare immediatamente l'estrattore di caratteristiche pre-addestrato.
• Aggiornamento Completo: Dopo il warm-up, l'intero modello (eccetto il modulo di downsampling congelato) viene fine-tunato sul compito target.

Stadio 2: Interpolazione nello Spazio dei Pesi (Model Merging)

Dopo aver ottenuto i pesi del modello fine-tunato ($\theta'$), Speech-FT li fonde con i pesi originali pre-addestrati ($\theta_0$) utilizzando un'interpolazione lineare:
$$\hat{\theta} = (1 - \alpha) \cdot \theta_0 + \alpha \cdot \theta'$$

• $\alpha$ (Fattore di Scaling): Un iperparametro (impostato a 0.25 negli esperimenti) che bilancia la conoscenza generale pre-addestrata e la conoscenza specifica del compito.
• Meccanismo: Questo step agisce come una forma di model merging. Inietta efficacemente il "task vector" specifico del compito ($\tau = \theta' - \theta_0$) di nuovo nella base pre-addestrata, ma ridimensionato. Teoricamente, questo sfrutta la Connessione Lineare delle Caratteristiche a Livello di Strato (LLFC), garantendo che le caratteristiche del modello interpolato rimangano linearmente connesse alle caratteristiche pre-addestrate, ripristinando così la similarità delle caratteristiche.

Estensione a Più Compiti

Il framework supporta molteplici scenari di fine-tuning:

• Fine-Tuning Multitask: Addestramento congiunto su più compiti.
• Merging Lineare/TIES: Fusione di più modelli fine-tunati indipendentemente prima dell'interpolazione con il modello pre-addestrato.
• Fine-Tuning Sequenziale: Applicazione iterativa di Speech-FT a una sequenza di compiti.

3. Contributi Chiave

1. Framework Innovativo: Introduzione di Speech-FT, un processo a due stadi che combina "Stable Fine-Tuning" e "Interpolazione nello Spazio dei Pesi" per risolvere il compromesso tra generalizzazione e specializzazione.
2. Insight sulla Similarità delle Caratteristiche: Dimostrazione che la similarità delle caratteristiche è una metrica più critica per la generalizzazione rispetto alla vicinanza nello spazio dei pesi. Speech-FT raggiunge una similarità delle caratteristiche più elevata rispetto al modello pre-addestrato rispetto ai metodi basati sulla regolarizzazione, anche se consente aggiornamenti dei pesi più ampi.
3. Valutazione Completa: Sperimentazioni estese su modelli diversificati (HuBERT, wav2vec 2.0, DeCoAR 2.0, WavLM Base+) e compiti (ASR, Riconoscimento di Fonemi, Identificazione del Parlante, Riconoscimento delle Emozioni).
4. Superiorità sulle Baseline: Dimostrazione che Speech-FT supera la regolarizzazione nello spazio dei pesi, LoRA, DoRA e l'arresto anticipato nel mantenere la generalizzazione cross-task.

4. Risultati Sperimentali

Gli autori hanno valutato Speech-FT sul benchmark SUPERB e su vari dataset specifici.

• Fine-Tuning Supervisionato:

  • Speech-FT ha costantemente ottenuto punteggi SUPERB più elevati rispetto sia alla baseline pre-addestrata che a Stable-FT (che rappresenta $\alpha=1.0$).
  • Esempio (HuBERT su ASR): Riduzione del Phone Error Rate (PER) dal 5.17% al 3.94% e del Word Error Rate (WER) dal 6.38% al 5.75%, aumentando simultaneamente l'accuratezza dell'Identificazione del Parlante dall'81.86% all'84.11%.
  • Al contrario, il fine-tuning standard (Stable-FT) ha spesso degradato le prestazioni su compiti non correlati (ad es., il fine-tuning sull'Identificazione del Parlante ha causato un crollo massiccio nel Riconoscimento di Fonemi).

• Fine-Tuning Non Supervisionato (Cross-Lingual):

  • Quando si è proseguito il pre-addestramento su dati cinesi (AISHELL-3) o spagnoli, Stable-FT ha causato un drastico calo delle prestazioni in inglese (dimenticamento rappresentazionale).
  • Speech-FT ha adattato con successo il modello alla nuova lingua preservando le capacità in inglese, raggiungendo un compromesso bilanciato.

• Confronto con le Baseline:

  • Regolarizzazione nello Spazio dei Pesi: Ha migliorato i compiti target ma ha degradato significativamente i compiti non correlati (punteggi SUPERB inferiori rispetto ai modelli pre-addestrati).
  • LoRA/DoRA: Nonostante l'efficienza parametrica, non sono riusciti a mantenere la similarità delle caratteristiche e hanno sofferto di una scarsa generalizzazione cross-task.
  • Checkpoint Anticipati: Interrompere l'addestramento in anticipo (ad es. al 20% degli step) è stato insufficiente per prevenire la perdita di generalizzazione.

• Ablazione e Analisi:

  • Iperparametro $\alpha$: Le prestazioni hanno raggiunto il picco a $\alpha=0.25$, suggerendo che una piccola iniezione di conoscenza specifica del compito è ottimale.
  • Verifica LLFC: I modelli interpolati hanno soddisfatto la Connessione Lineare delle Caratteristiche a Livello di Strato, confermando che il percorso di interpolazione preserva la geometria delle rappresentazioni pre-addestrate.

5. Significato

• Efficienza Pratica: Speech-FT non richiede costi computazionali aggiuntivi rispetto al fine-tuning standard (lo step di interpolazione è una semplice operazione lineare) e non necessita di cambiamenti architetturali complessi come gli adattatori.
• Cambiamento di Paradigma: Sfida la saggezza convenzionale secondo cui limitare gli aggiornamenti dei pesi è l'unico modo per preservare la generalizzazione. Dimostra invece che l'interpolazione post-hoc è un meccanismo più efficace per ripristinare lo spazio delle caratteristiche pre-addestrato.
• Ampia Applicabilità: Il metodo è agnostico rispetto al modello ed efficace su diversi obiettivi di pre-addestramento (contrastivi, generativi) e lingue, offrendo una soluzione robusta per il raffinamento delle rappresentazioni del parlato in scenari reali in cui i modelli devono adattarsi a nuovi domini senza dimenticare la conoscenza precedente.

In conclusione, Speech-FT fornisce una soluzione semplice ma potente al problema della "dimenticanza catastrofica" nell'apprendimento delle rappresentazioni del parlato, permettendo ai modelli di diventare specialisti in compiti specifici senza sacrificare le loro capacità generaliste.