Technische Samenvatting: MoLGE – Mixture of Language Group Experts voor Efficiënte Schaling van Massaal Multilinguale Spraakherkenning

Probleemstelling

Het schalen van automatische spraakherkenning (ASR) naar honderden talen binnen een uniform model staat voor een fundamentele spanning tussen taalschaalbaarheid en toegankelijkheid van middelen. Huidige benaderingen vertrouwen op uniforme schaling van modelcapaciteit (miljarden parameters) en trainingsdata (miljoenen uren), wat computationeel onhaalbaar en vaak onpraktisch is. Bovendien lijden deze dense modellen onder de vloek van multilingualiteit, waarbij de vaste modelcapaciteit wordt verdund over diverse talen, wat leidt tot prestatievermindering, met name voor talen met weinig middelen (low-resource languages). Bestaande Mixture-of-Experts (MoE) en Parameter-Efficient Fine-Tuning (PEFT) methoden wijzen experts meestal toe aan individuele talen, een strategie die onschaalbaar wordt bij het werken met honderden of duizenden talen. Daarnaast negeert eerder werk vaak de gestructureerde aard van linguïstische relaties door talen te behandelen als onafhankelijke entiteiten in plaats van hun fonologische, morfologische en genealogische gelijkenissen te benutten.

Methodologie: MoLGE

De auteurs stellen MoLGE (Mixture of Language Group Experts) voor, een framework dat ontworpen is om gestructureerde taal-specialisatie mogelijk te maken door linguïstische relaties direct te integreren in het mechanisme voor expert-allocatie. De aanpak is gebouwd op Speech Self-Supervised Models (S3Ms) en bevat twee primaire ontwerpprincipes:

1. Hiërarchische Spraakgeoriënteerde Adaptatie

MoLGE deelt de S3M-architectuur op in lagere akoestische lagen en hogere linguïstische lagen, waarbij voor elke laag een verschillende adaptatiestrategie wordt toegepast:

• Lagere Lagen (Gedeelde Akoestiek): Omdat lagere lagen universele, taal-agnostische akoestische kenmerken vastleggen, past MoLGE hier gedeelde Low-Rank Adaptation (LoRA) modules toe. Dit modelleert globale akoestische variabiliteit zonder routing-overhead te introduceren.
• Hogere Lagen (Taalspecifieke Experts): Hogere lagen coderen taal-specifieke informatie. MoLGE zet een Mixture of LoRA Experts (MoLE) in, uitsluitend in deze lagen.
• Gedeelde Expert voor Paralinguïstiek: Om paralinguïstische factoren (bijv. sprekeridentiteit, spreeksnelheid) te behandelen die invariant blijven over talen heen, wordt een gedeelde expert geïntroduceerd. Dit stelt taal-specifieke experts in staat om zich effectiever te concentreren op onderscheidende linguïstische representaties.
• Attentive Pooling Router: Gezien het feit dat spraaksignalen temporeel ongebalanceerde informatie bevatten (bijv. stiltes), gebruikt het framework een Attentive Statistical Pooling (ASP) classifier als routing-mechanisme. Dit legt de nadruk op saillante akoestische regio's om ervoor te zorgen dat de router informatieve representaties identificeert voor expert-toewijzing.

2. Gestructureerde Taal-groeperingsstrategieën

In plaats van experts aan individuele talen toe te wijzen, clustert MoLGE verwante talen en wijst gedeelde experts toe aan elke groep. Het paper onderzoekt zes groeperingsstrategieën binnen drie categorieën om de optimale injectie van linguïstische priors te bepalen:

• Impliciete Groepering: Groeperingen ontstaan natuurlijk uit het geleerde gedrag van de router zonder vooraf gedefinieerde labels. Varianten omvatten frame-level (token-level) en utterance-level routing.
• Embedding-Gestuurde Groepering: Clusters worden afgeleid van hoog-dimensionale representaties van vooraf getrainde spraakmodellen. Twee varianten worden getest:
  • SSL-gebaseerd: Gebruikmakend van embeddings van een algemeen zelf-gesuperviseerd model (OmniASR-W2V 1).
  • LID-gebaseerd: Gebruikmakend van embeddings van een taalidentificatiemodel (MMS-LID-4017).
  • Clustering wordt uitgevoerd met Agglomerative Hierarchical Clustering (AHC) met Ward's linkage.
• Kennis-Gestuurde Groepering: Clusters worden geconstrueerd met behulp van URIEL+ taalvectoren, die gecureerde linguïstische databases integreren. Twee varianten worden getest:
  • Geografisch: Gebaseerd op ruimtelijke nabijheid en regionale contacten.
  • Genetisch: Gebaseerd op genealogische relaties (taalfamilies en subfamilies).

3. Tweestaps Dense-naar-Sparse Upcycling

Het framework maakt gebruik van een tweestaps trainingsstrategie geïnspireerd door LLM upcycling:

1. Dense Training: Een dense ASR-model wordt getraind op basis van een vooraf getrainde S3M om robuuste globale representaties te vestigen.
2. Sparse Upcycling: Het MoLGE-framework wordt geïntroduceerd om het dense model te transformeren naar een sparse, parameter-efficiënte architectuur. LoRA wordt toegepast op alle lineaire lagen (attention projecties en Feed-Forward Networks) om expert-specialisatie over de vooraf gedefinieerde tal groepen mogelijk te maken.

Belangrijkste Bijdragen

1. MoLGE Framework: Een efficiënt, schaalbaar framework voor massaal multilinguale ASR dat taalstructuur als een architecturale prior incorporeert voor expert-specialisatie, waarmee het verder gaat dan uniforme schaling.
2. Spraakbewuste Architectuur: Integratie van spraakmodellering principes in LoRA en MoE, specifiek door middel van hiërarchische adaptatie, gedeelde experts voor paralinguïstische factoren en attentive pooling routers.
3. Systematische Studie van Groepering: Een uitgebreide evaluatie van zes taal-groeperingsstrategieën over 495 talen. De studie toont aan dat expliciete linguïstische priors (kennis-gestuurd en embedding-gestuurd) consequent beter presteren dan impliciete of willekeurige priors, en dat de voordelen toenemen met de complexiteit van de doelgerichte linguïstische ruimte.

Resultaten

Experimenten werden uitgevoerd op een benchmark die 495 talen omvat met behulp van twee backbone modellen: LAMA-UT (fonetische modellering via geromaniseerde transcriptie) en Omnilingual ASR (orthografische modellering via taal-specifieke scripts).

• Prestatiewinst: MoLGE presteert consequent beter dan dense multilinguale baselines met een minimale toename van de trainbare parameters.
  • Fonetisch Domein (LAMA-UT): Bereikte een relatieve reductie van 11,5% in Character Error Rate (CER).
  • Orthografisch Domein (OmniASR): Bereikte een relatieve reductie van 19,0% in CER.
• Effectiviteit van Groepering: Expliciete groeperingsstrategieën (met name LID-gebaseerd en Geografische kennis-gestuurde groepering) leverden substantiële verbeteringen op ten opzien van impliciete en willekeurige groepering. De voordelen waren meer uitgesproken in het orthografische domein, wat suggereert dat gestructureerde taal-specialisatie cruciaal is voor het modelleren van complexe linguïstische structuren.
• Generalisatie bij Lage Middelen: MoLGE verkleinde de prestatiekloof tussen talen met weinig middelen (low-resource) en talen met veel middelen (high-resource) aanzienlijk. In het orthografische domein daalde de CER voor talen met weinig middelen van 42% naar 30%, en de betrouwbaarheidsintervallen werden smaller, wat wijst op een consistentertere prestatie over verschillende middelen-niveaus.
• Ablatie-studies: Het verwijderen van gedeelde experts of hiërarchische adaptatie leidde tot prestatievermindering, wat het belang van deze componenten voor effectieve akoestische modellering en expert-specialisatie bevestigt.

Betekenis en Claims

Het paper claimt dat gestructureerde taal-specialisatie een effectief pad biedt voor het massaal schalen van de taaldekking van multilinguale ASR-systemen. Door over te stappen van uniforme capaciteit-schaling naar een gestructureerd architecturaal ontwerp geïnformeerd door taalrelaties, verlicht MoLGE de spanning tussen schaalbaarheid en toegankelijkheid van middelen.

De auteurs stellen het volgende:

1. Linguïstische Priors Doen Er Toe: Het expliciet benutten van de linguïstische structuur (via groepering) is effectiever dan enkel vertrouwen op data-gedreven router-leren, vooral in massaal multilinguale settings.
2. Complexiteitsafhankelijke Voordelen: De effectiviteit van taal-bewuste modellering neemt toe met de complexiteit van de doelgerichte linguïstische ruimte (bijv. orthografisch vs. fonetisch).
3. Kennisoverdracht: Het groeperen van talen op basis van gedeelde linguïstische eigenschappen faciliteert kennisoverdracht, waardoor talen met weinig middelen kunnen profiteren van de trainingssignalen van verwante talen met meer middelen binnen dezelfde expert-groep.

Uiteindelijk presenteert dit werk een verenigd framework dat schaalbare, parameter-efficiënte multilinguale spraakherkenning mogelijk maakt zonder de prohibitieve computationele kosten van het schalen van dense modellen naar miljarden parameters.