Weight Averaging: A Simple Yet Effective Method to Overcome Catastrophic Forgetting in Automatic Speech Recognition

Sintesi Tecnica: Media dei Pesi per l'Oblio Catastrofico nell'ASR

Problematica
L'adattamento di modelli di Riconoscimento Automatico del Parlato (ASR) addestrati a nuovi compiti — come nuovi parlanti, dialetti o lingue — causa spesso l'Oblio Catastrofico (CF), in cui il modello perde le prestazioni sui compiti precedentemente appresi. Ciò limita severamente la capacità di costruire sistemi ASR di apprendimento continuo (CL) o di sfruttare nuovi dati disponibili senza riaddestrare il modello su tutti i dati storici, il che è computazionalmente e in termini di risorse oneroso. Sebbene esistano metodi di Continual Learning (CL), molti si basano sul rehearsal (memorizzazione di campioni dai compiti passati), il che solleva preoccupazioni sulla privacy, o richiedono parametri specifici per compito che complicano l'inferenza. I metodi basati sulla regolarizzazione esistenti hanno mostrato un'efficacia limitata nell'ASR End-to-End (E2E).

Metodologia
Gli autori propongono la Media dei Pesi (Weight Averaging), un metodo di CL semplice ma efficace che opera in due fasi distinte dopo che un nuovo compito $t$ diventa disponibile:

1. Adattamento: Il modello con parametri $\theta_{t-1}$ (addestrato sui compiti precedenti) viene adattato al nuovo compito $t$. Questo adattamento può essere eseguito tramite:

   • Fine-Tuning Naive: Addestramento standard sui dati del nuovo compito.
   • Learning Without Forgetting (LWF): Un approccio basato sulla regolarizzazione che aggiunge una perdita di distillazione della conoscenza ($L_{lwf}$) alla standard perdita cross-entropy e CTC. Questa perdita costringe il nuovo modello a imitare le probabilità di output del vecchio modello ($\theta_{t-1}$) sui dati del nuovo compito, preservando così la vecchia conoscenza senza memorizzare campioni passati.
   • I parametri adattati risultanti sono indicati con $\theta_t$.

2. Media dei Pesi: I parametri finali $\theta_t$ sono calcolati come una media ponderata del vecchio modello ($\theta_{t-1}$) e del modello adattato ($\hat{\theta}_t$):
   $$\theta_t = (1 - \eta)\theta_{t-1} + \eta\hat{\theta}_t$$
   dove $0 \le \eta \le 1$. Il documento investiga due strategie per $\eta$:

   • $\eta$ fisso = 0.5: Una media mobile esponenziale in cui il contributo dei modelli precedenti decade esponenzialmente.
   • $\eta$ dinamico = 1/t: Una media aritmetica in cui tutti i modelli adattati fino al compito $t$ contribuiscono equamente ($\theta_t = \frac{1}{t} \sum_{i=1}^t \hat{\theta}_i$).

Se l'architettura del modello include parametri condivisi ($\theta_S$) e parametri specifici per il compito ($\theta_U$), la media viene applicata solo alle componenti condivise.

Contributi Chiave

• CL Senza Memoria: Il metodo raggiunge alte prestazioni di continual learning senza richiedere un buffer di memoria di campioni passati, affrontando i vincoli di privacy e archiviazione associati ai metodi basati sul rehearsal.
• Semplicità ed Efficacia: L'approccio è computazionalmente semplice, richiedendo solo un singolo passaggio in avanti (forward pass) del vecchio modello durante la fase di adattamento (per LWF) e un passaggio di media dei parametri.
• Supporto ad Architetture Dual-Task: Il metodo è validato sia su architetture ASR monolingue (modello condiviso) che multilingue (encoder condiviso, decoder specifico per il compito).

Risultati Sperimentali
Gli autori hanno valutato il metodo sul dataset Common Voice (CV) utilizzando un modello E2E composto da un encoder Conformer e un decoder Transformer.

• Esperimenti Monolingue (6 Dialetti Inglesi):

  • I metodi proposti (FTA: Fine-Tuning con Averaging; LWFA: LWF con Averaging) hanno superato significativamente tutti i baseline, incluso l'Experience Replay (ER) con 2.000 utterance memorizzati.
  • La migliore configurazione ($\eta = 1/t$) ha ottenuto un Average Word Error Rate (AVG WER) del 13,72%, superando il baseline più forte (ER con 2k campioni, 14,20%) del 3,4%.
  • Il Backward Transfer (BWT), una misura dell'oblio, è stato ridotto quasi a zero (-0,1%), rispetto al -2,5% del fine-tuning naive.

• Esperimenti Multilingue (5 Lingue):

  • L'oblio è stato più severo in questo setting a causa della dissimilarità tra i compiti. Il fine-tuning naive ha causato un oblio catastrofico (BWT di -22,2%).
  • LWFA con $\eta = 1/t$ ha ottenuto la migliore prestazione con un AVG WER del 19,54%, superando il forte baseline (ER con 2k campioni, 23,65%) del 17,4%.
  • LWFA ha ridotto l'oblio osservato in ER di circa l'88,9% pur non richiedendo alcuna memorizzazione di memoria.
  • Nel setting multilingue, l'aggiunta della perdita LWF durante l'adattamento ha fornito un incremento significativo rispetto al semplice fine-tuning, mentre nel setting monolingue, la differenza tra FTA e LWFA era minima.

Significatività e Rivendicazioni
Il documento sostiene che la media dei pesi sia una soluzione "semplice ma efficace" all'oblio catastrofico nell'ASR E2E. Gli autori affermano che il loro metodo:

1. Elimina la necessità di memoria: A differenza dei precedenti metodi CL allo stato dell'arte per l'ASR che si basavano sulla memorizzazione di campioni, questo metodo raggiunge prestazioni superiori senza alcun buffer di memoria.
2. Raggiunge una ritenzione quasi perfetta: Con $\eta = 1/t$, il metodo risulta in un "oblio quasi nullo" pur apprendendo efficacemente nuovi compiti.
3. Generalizza attraverso le architetture: Il metodo è robusto sia in scenari monolingue (completamente condivisi) che multilingue (parzialmente condivisi).

Gli autori attribuiscono il successo della media dei pesi alla scoperta teorica che la media dei pesi porta a "ottimi più ampi" (wider optima) nel panorama della perdita (loss landscape), risultando in una migliore generalizzazione, similmente alle osservazioni in checkpoint averaging e model soups. Concludono che questo approccio consente un apprendimento continuo ad alte prestazioni nell'ASR senza il sovraccarico di risorse precedentemente ritenuto necessario.