Lamer-SSL: Layer-aware Mixture of LoRA Experts for Continual Multilingual Expansion of Self-supervised Models without Forgetting

Probleemstelling

Zelftoezichtende (self-supervised) spraakmodellen, zoals Wav2vec 2.0 en HuBERT, hebben indrukwekkende prestaties geleverd, maar kampen met twee fundamentele beperkingen bij het uitbreiden naar meertalige scenario's:

1. Catastrofaal vergeten (Catastrophic Forgetting): Bij continue training op nieuwe talen vergeten deze modellen vaak kennis die eerder is verworven over bestaande talen.
2. Schaalbaarheid en Kosten: Bestaande aanpakken voor meertaligheid, zoals gezamenlijke training van scratch op grote datasets (bijv. XLSR, mHuBERT), zijn extreem rekenintensief en duur. Bovendien leiden statische bemonsteringsstrategieën vaak tot interferentie tussen talen, waarbij rijkere talen armere talen onderdrukken.

Bestaande parameter-efficiënte methoden (zoals LoRA) helpen vergeten te verminderen, maar hebben moeite met taalinterferentie en missen vaak de flexibiliteit om specifieke en gedeelde representaties dynamisch te balanceren.

Methodologie: Lamer-SSL

De auteurs stellen Lamer-SSL voor, een parameter-efficiënt raamwerk voor continue meertalige uitbreiding. Het systeem combineert drie kerncomponenten:

1. Layer-Aware MixturE of LoRA Experts (Lamer)

In plaats van een uniforme toewijzing van experts, integreert Lamer-SSL een Mixture-of-Experts (MoE) architectuur specifiek ontworpen voor de hiërarchische aard van zelftoezichtende modellen.

• Architectuur: De Feed-Forward Network (FFN) lagen in de Transformer-encoder van het basismodel (HuBERT) worden vervangen door een Lamer-module. Deze bestaat uit een bevroren FFN-ruggegraat, een set van LoRA-experts (Low-Rank Adaptation) en een router.
• Layer-Aware Toewijzing: De auteurs analyseren dat ondiepe lagen voornamelijk akoestische kenmerken (pitch, energie) vangen, terwijl diepere lagen semantische en linguïstische informatie coderen. Daarom worden er meer experts toegewezen aan diepere lagen en minder aan ondiepe lagen. Dit optimaliseert de parameter-efficiëntie en richt de modelcapaciteit daar op waar het het meest nodig is voor meertalige generalisatie.
• Routing: Een router selecteert per token de top-K experts (in dit geval Top-2) op basis van de input. Dit zorgt voor dynamische deelname van experts zonder expliciete taalidentificatoren.

2. Replay Strategie

Om vergeten te mitigeren zonder toegang tot de volledige historische dataset, wordt een replay-strategie gebruikt.

• Tijdens continue training worden kleine subsets van data van eerder geleerde talen (in dit geval Engels) willekeurig geselecteerd en gemengd met de nieuwe taaldata.
• Dit stelt het model in staat om de verdeling van eerdere talen te herzien en kennis te behouden met minimale data.

3. Trainingsdoel

Het trainingsdoel combineert de standaard gemaskerde voorspellingsverlies (Masked Prediction Loss) van HuBERT met een load balancing loss.

• De load balancing loss voorkomt dat de router alle tokens naar slechts één of enkele experts stuurt (expert collapse), en zorgt voor een evenwichtig gebruik van alle experts.

Belangrijkste Bijdragen

1. Lamer-SSL Framework: Een nieuw, parameter-efficiënt raamwerk voor continue meertalige uitbreiding van SSL-modellen.
2. Hybride Architectuur: Combinatie van de efficiëntie van LoRA met de flexibiliteit van MoE, wat schaalbare meertalige uitbreiding mogelijk maakt.
3. Hiërarchische Expert Toewijzing: Een innovatieve strategie die experts toewijst op basis van de diepte van het model, in lijn met de evolutie van akoestische naar semantische representaties.
4. Efficiëntie: Het systeem maakt training mogelijk met slechts 2,14% trainbare parameters (alleen LoRA-experts en de router), terwijl de rest van het model bevroren blijft.

Experimentele Resultaten

De methodologie is getest op twee taken: Monolingual Automatic Speech Recognition (ASR) en Language Identification (LID), met focus op Mandarin, Kantonees en Engels.

• Prestaties ASR: Lamer-SSL behaalde de beste resultaten met een gemiddelde Character Error Rate (CER) van 10,50% op CommonVoice en 10,13% op Fleurs. Dit is een verbetering ten opzichte van een LoRA-only baseline (HuBERT-LoRA) en zelfs een model dat van scratch is getraind op 147 talen (mHuBERT-147), ondanks dat Lamer-SSL startte vanuit een enkel-taal Engels model.
• Prestaties LID: Het model behaalde een state-of-the-art taalidentificatie-nauwkeurigheid van 99,22% (gemiddeld over de drie talen), wat aantoont dat er zeer weinig vergeten optreedt.
• Ablatie Studies: Het verwijderen van de layer-aware toewijzing, de load balancing loss of de replay strategie leidde allemaal tot significante prestatiedalingen, wat aantoont dat alle componenten essentieel zijn.
• Expert Activatie: Visualisaties tonen aan dat ondiepe lagen gedeelde experts gebruiken voor alle talen, terwijl diepere lagen duidelijk gespecialiseerde experts activeren per taal, wat de effectiviteit van de layer-aware strategie bevestigt.

Significantie

Lamer-SSL biedt een oplossing voor de schaalbaarheid en het vergeten-probleem in meertalige spraakverwerking. Het bewijst dat het niet nodig is om modellen volledig opnieuw te trainen of enorme datasets te verwerken om nieuwe talen toe te voegen. Door slimme architecturale keuzes (layer-aware MoE) en een lichte replay-mechanisme, kunnen bestaande zelftoezichtende modellen efficiënt en duurzaam worden uitgebreid naar nieuwe talen met een minimaal overhead aan trainbare parameters. Dit maakt de technologie toegankelijker voor talen met minder bronnen en vermindert de ecologische voetafdruk van AI-training.