MiLorE-SSL: Scaling Multilingual Capabilities in Self-Supervised Models without Forgetting

Sintesi Tecnica: MiLorE-SSL

Problematica
L'apprendimento auto-supervisionato (SSL) ha rivoluzionato l'apprendimento delle rappresentazioni del parlato, eppure i modelli SSL multilingue affrontano vincoli significativi. I modelli esistenti sono tipicamente limitati alle lingue incontrate durante il pre-addestramento. L'incorporazione di nuove lingue richiede solitamente un ri-addestramento computazionalmente costoso da zero. In alternativa, l'addestramento sequenziale senza strategie di mitigazione porta spesso al "oblio catastrofico" (catastrophic forgetting), in cui le prestazioni sulle lingue precedentemente apprese degradano severamente. Poiché le soluzioni precedenti come il data replay richiedono vasti corpora storici e archiviazione, e i moduli basati su adapter scalano male con l'aumentare del numero di lingue, è necessario un framework che consenta un efficiente addestramento multilingue continuo senza scartare la conoscenza precedente o incorrere in costi proibitivi.

Metodologia
Gli autori propongono MiLorE-SSL (Mixture of LoRA Experts), un framework leggero progettato per l'estensione continua dei modelli SSL. L'architettura modifica i modelli SSL standard basati su Transformer (specificamente HuBERT) sostituendo la classica rete Feed-Forward (FFN) in ogni blocco con un modulo MiLorE. Questo modulo è composto da tre componenti:

1. Backbone Congelato: I pesi originali della FFN ($W_0$) rimangono congelati per preservare la conoscenza multilingue precedente.
2. Esperti LoRA: Un set di $N$ esperti, ciascuno parametrizzato come matrici a basso rango ($\Delta W = BA$) tramite Low-Rank Adaptation (LoRA). Questi introducono un numero minimo di parametri addestrabili.
3. Router Soft: Un meccanismo apprendibile che calcola pesi di routing soft ($p$) basati sugli stati latenti di input. A differenza del routing hard, questo permette agli input di essere distribuiti su più esperti, promuovendo una condivisione e specializzazione della conoscenza flessibile senza richiedere identificatori linguistici espliciti.

L'output del modulo è una somma ponderata dell'output del backbone congelato e degli output degli esperti: $o = W_0h_{in} + \sum_{i=1}^{N} p_i \cdot E_i(h_{in})$.

Per mitigare ulteriormente l'oblio catastrofico, il framework impiega una strategia di replay. Invece di fare affidamento su massicci corpora storici, utilizza un piccolo sottoinsieme campionato casualmente di dati (ad esempio, 100 ore) dalle lingue esistenti durante l'addestramento di nuove lingue. Ciò consente al modello di rivisitare le distribuzioni linguistiche precedenti pur adattandosi a nuovi pattern.

Contributi Chiave

• Framework Novellativo: MiLorE-SSL è il primo framework che combina LoRA con un meccanismo di Mixture-of-Experts (MoE) soft specificamente per l'estensione multilingue continua dei modelli SSL.
• Routing degli Esperti Soft: Il design introduce un meccanismo di routing soft che bilancia la condivisione della conoscenza e la specializzazione tra le lingue, riducendo l'interferenza cross-linguale.
• Mitigazione Efficiente dell'Oblio: L'integrazione di una strategia di replay utilizzando una quantità minima di dati delle lingue esistenti riduce l'oblio senza la necessità di accedere a interi dataset storici.
• Efficienza dei Parametri: L'approccio raggiunge alte prestazioni con solo il 2,14% dei parametri totali addestrabili.

Risultati Sperimentali
Gli esperimenti sono stati condotti sul benchmark ML-SUPERB, concentrandosi sui compiti di riconoscimento automatico del parlato (ASR) monolingue e di identificazione della lingua (LID). Lo studio ha utilizzato un modello HuBERT-Large pre-addestrato sull'inglese e lo ha addestrato continuamente su mandarino e cantonese, utilizzando dati inglesi per il replay.

• Guadagni di Prestazioni: MiLorE-SSL ha superato significativamente sia il baseline English-only HuBERT-Large che il multilingue mHuBERT-147. Sul dataset CommonVoice, ha ridotto il Character Error Rate (CER) al 10,3% (inglese), 10,7% (mandarino) e 11,0% (cantonese), rispetto rispettivamente al 18,5%, 15,5% e 14,8% di m_HuBERT-147.
• Identificazione della Lingua: Il modello ha raggiunto un'accuratezza media LID del 99,40%, superando mHuBERT-147 (97,21%) e HuBERT-Large (94,94%).
• Studi di Ablazione: La rimozione della componente MoE o della strategia di replay ha causato un degrado delle prestazioni in tutti i compiti. Nello specifico, la rimozione del MoE ha confermato la necessità della specializzazione degli esperti, mentre la rimozione del replay ha danneggiato principalmente le prestazioni dell'inglese, validando il suo ruolo nel prevenire l'oblio.
• Attivazione degli Esperti: L'analisi dei pattern di attivazione degli esperti ha rivelato che gli strati inferiori codificano caratteristiche indipendenti dalla lingua, mentre gli strati medi e superiori mostrano una divergenza specifica per la lingua, validando l'utilità della struttura MoE per la modellazione di caratteristiche linguistiche sia condivise che distinte.

Significatività e Rivendicazioni
Il paper sostiene che MiLorE-SSL affronti efficacementamente il compromesso tra efficienza computazionale e capacità multilingue nei modelli SSL. Combinando l'adattamento a basso rango con un MoE soft e una strategia di replay leggera, il framework consente ai modelli di apprendere incrementalmente nuove lingue mantenendo al contempo forti prestazioni su quelle esistenti. Gli autori sottolineano che ciò viene ottenuto senza i rigidi requisiti di bilanciamento dei dati del training statico o le massicce necessità di archiviazione dei metodi di replay tradizionali. I risultati dimostrano che è possibile estendere i modelli SSL a nuove lingue con un numero minimo di parametri addestrabili (2,14%) evitando l'oblio catastrofico, offrendo una soluzione scalabile per la diversità linguistica globale.