Riepilogo Tecnico: Apprendimento Continuativo per il Riconoscimento Automatico del Parlato End-to-End Monolingue

Definizione del Problema

I modelli di Riconoscimento Automatico del Parlato (ASR), in particolare le architetture End-to-End (E2E), soffrono di Dimenticanza Catastrofica (Catastrophic Forgetting - CF) quando vengono adattati a nuovi domini, accenti o dialetti. Anche all'interno di una singola lingua, lo spostamento delle distribuzioni dei dati tra un compito originale e un nuovo compito causa un degrado delle prestazioni del modello sul compito originale. Il fine-tuning standard esacerba questo problema. Sebbene i metodi di Apprendimento Continuativo (Continual Learning - CL) siano stati esplorati nel riconoscimento di immagini, la loro applicazione all'ASR E2E rimane poco approfondita. Gli studi esistenti sull'ASR specifico per il CL si concentrano spesso su modelli acustici basati su HMM, modelli pre-addestrati come wav2vec2, o scenari specifici in cui i compiti successivi sono significativamente più piccoli del compito iniziale. È necessario valutare un ampio spettro di metodi CL su un modello ibrido CTC-Transformer E2E monolingue senza fare affidamento sull'accesso ai set di validazione dei compiti precedenti per l'ottimizzazione degli iperparametri.

Metodologia

Architettura del Modello e Configurazione

Lo studio utilizza un modello Ibrido CTC/Transformer (seguendo [21]) addestrato sul dataset Corpus Gesproken Nederlands (CGN). Il modello impiega una funzione di perdita combinata:
$$L(X, y; \theta) = c \cdot L_c(X, y; \theta) + (1-c) \cdot L_d(X, y; \theta)$$
dove $L_c$ è la perdita CTC, $L_d$ è la perdita di Cross-Entropy del Decoder, e $c=0.3$. Il vocabolario consiste in 300 pezzi di parola generati tramite Sentence Piece.

La configurazione sperimentale prevede quattro compiti sequenziali basati su dialetto e regione: NL-main, VL-main, NL-rest, e VL-rest. L'obiettivo è apprendere questi compiti sequenzialmente in modo che il modello finale $\theta_T$ minimizzi la perdita cumulativa attraverso tutti i compiti senza l'accesso diretto ai dataset precedenti $D_1, \dots, D_{T-1}$ (eccetto per un piccolo buffer di memoria nei metodi basati sul rehearsal).

Metodi di Continual Learning Valutati

Il documento implementa e confronta 11 metodi CL categorizzati in due gruppi:

1. Metodi basati sulla Regolarizzazione: Questi aggiungono un termine di penalità alla funzione di perdita per prevenire cambiamenti significativi ai parametri importanti per i compiti precedenti.

   • EWC (Elastic Weight Consolidation): Utilizza la diagonale della Matrice di Informazione di Fisher per pesare la regolarizzazione L2.
   • MAS (Memory-Aware Synapses): Calcola i pesi di importanza basandosi sulla sensibilità della norma dell'output rispetto ai cambiamenti dei parametri.
   • CSQN & CSQN-BT: Estende EWC considerando le interazioni tra i parametri tramite approssimazioni di basso rango della matrice Hessiana.
   • LWF (Learning Without Forgetting): Utilizza la distillazione della conoscenza tra il vecchio modello (insegnante) e il nuovo modello (studente) sui dati del nuovo compito.

2. Metodi basati sul Rehearsal: Questi utilizzano un piccolo buffer di memoria di campioni rappresentativi dei compiti precedenti.

   • ER (Experience Replay): Mixing standard dei mini-batch, con le varianti ER ($\lambda$) (perdita pesata) e BER (Batch-level ER) (set di addestramento fuso).
   • A-GEM (Average-Gradient Episodic Memory): Proietta i gradienti per garantire che non interferiscano negativamente con i gradienti provenienti dal buffer di memoria.
   • KD (Knowledge Distillation): Applica la perdita di distillazione in stile LWF sui campioni tratti dal buffer di memoria anziché sui dati del nuovo compito.

Determinazione degli Iperparametri

Viene proposta una nuova ed efficiente metodologia per determinare il peso di regolarizzazione $\lambda$ senza richiedere i set di validazione dei compiti precedenti. Il metodo regola iterativamente $\lambda$ in base al miglioramento del Token Error Rate (TER) sul set di validazione del compito corrente, mirando a colmare il divario tra le prestazioni del fine-tuning non regolarizzato e le prestazioni del modello iniziale.

Configurazione della Memoria

Per i metodi basati sul rehearsal, vengono campionati 500 utterance per compito dal set di addestramento, filtrati per garantire una lunghezza significativa delle frasi. In un esperimento secondario, viene testata una dimensione di memoria fissa di 500 utterance totali per simulare i vincoli in cui la memoria non può crescere con il numero di compiti.

Risultati Chiave

Metriche di Prestazione

Lo studio valuta i metodi utilizzando l'Average Word Error Rate (AWER), il Backward Transfer (BWT), il Forward Transfer (FWT) e la Coverage (COV). La COV misura quanto bene un metodo colma il divario tra il limite inferiore del Fine-Tuning (FT) e il limite superiore del Continued Joint Training (CJT).

• Prestazioni dei Metodi basati sulla Regolarizzazione: Metodi come EWC, MAS e CSQN hanno generalmente performato peggio o in modo comparabile al Fine-Tuning (FT) standard. Hanno ridotto con successo la dimenticanza (BWT) ma non sono riusciti ad apprendere efficacemente i nuovi compiti (basso FWT), probabilmente perché i compiti erano troppo simili, causando un conflitto su quali parametri aggiornare. LWF è stato il metodo basato sulla regolarizzazione più forte, superando significativamente il FT in termini di FWT, ma ottenendo solo una COV del 12,4%.
• Prestazioni dei Metodi basati sul Rehearsal: I metodi che utilizzano la memoria hanno superato significativamente gli approcci basati solo sulla regolarizzazione.
  • KD (Knowledge Distillation) è emerso come il miglior performer, raggiungendo una COV del 41,7% (che sale al 38,3% con memoria fissa). Ha ridotto la dimenticanza del FT di oltre il 70% apprendendo al contempo i nuovi compiti con la stessa efficacia del FT.
  • Anche ER ($\lambda$) e A-GEM hanno mostrato una forte prestazione (rispettivamente COV del 27,2% e del 22,0%).
  • L'ER standard ha performato scarsamente, soffrendo di overfitting sul buffer di memoria.

Efficienza di Archiviazione

• I metodi di rehearsal richiedono l'archiviazione del modello più del buffer di memoria. Con una memoria crescente (500 utterance per compito), ciò equivale a circa 3,24 modelli. Con una memoria fissa (500 utterance totali), l'archiviazione scende a 1,72 modelli, indipendentemente dal numero di compiti.
• I metodi di regolarizzazione sono generalmente più efficienti in termini di archiviazione (memorizzano solo il modello e potenzialmente i pesi di importanza), ma LWF è stato l'unico a migliorare rispetto al baseline FT.
• Il Joint Training (JT/CJT) richiede l'archiviazione di tutti i dati storici, l'equivalente di circa 260 modelli, rendendolo impraticabile per l'adattamento continuo.

Esperimento con Memoria Fissa

Quando la dimensione della memoria è stata fissata a 500 utterance (lo 0,2% dei dati originali dopo quattro compiti), le prestazioni di KD, ER ($\lambda$) e A-GEM sono rimaste robuste, con un deterioramento trascurabile rispetto alla configurazione a memoria crescente. Ciò dimostra che un'elevata efficacia può essere mantenuta con un'impronta di memoria costante e molto piccola.

Significato e Rivendicazioni

Il documento afferma che il Continual Learning è una soluzione valida per estendere i modelli ASR E2E monolingue a nuovi dialetti e domini senza dimenticanza catastrofica.

1. Superiorità del Rehearsal: Lo studio conclude che i metodi basati sul rehearsal sono attualmente l'approccio più pratico ed efficace per l'ASR E2E. Nello specifico, la Knowledge Distillation (KD) su un piccolo buffer di memoria colma il divario di prestazione tra il fine-tuning e il joint training di oltre il 40%, richiedendo l'accesso a solo lo 0,6% dei dati originali (o lo 0,2% con memoria fissa).
2. Limiti della Regolarizzazione: I metodi basati sulla regolarizzazione, in particolare quelli che stimano l'importanza dei parametri (EWC, MAS), faticano quando i compiti sono altamente simili, poiché non riescono a distinguere tra i parametri che devono essere aggiornati per il nuovo compito e quelli che devono essere preservati per il vecchio compito.
3. Praticità: Il metodo proposto per determinare gli iperparametri ($\lambda$) consente un deployment realistico senza richiedere i set di validazione precedenti. Inoltre, la capacità di mantenere alte prestazioni con una memoria fissa e piccola affronta i vincoli di archiviazione e privacy, rendendo questi metodi fattibili per il deployment nel mondo reale dove memorizzare tutti i dati passati è impossibile.

In sintesi, il documento stabilisce che, con un piccolo buffer di memoria fisso, i metodi CL (specialmente la KD) possono mitigare efficacementamente la dimenticanza catastrofica nell'ASR E2E monolingue, offrendo una strada verso modelli che possono essere continuamente potenziati senza dover riaddestrare da zero o memorizzare enormi dataset storici.