⚡ electrical engineering

Enhancing Multilingual LLM-based ASR with Mixture of Experts and Dynamic Downsampling

Dit artikel stelt een projector-gebaseerd LLM-ASR-framework voor dat een Mixture of Experts-architectuur benut voor kruislingse aanpasbaarheid en een Continuous Integrate-and-Fire-mechanisme voor dynamische downsampling, waarmee aanzienlijke prestatieverbeteringen wordt bereikt ten opzichte van sterke baselines in meertalige spraakherkenning.

Oorspronkelijke auteurs: Guodong Lin, Ziqi Chen, Yuxiang Fu, Ke Li, Wei-Qiang Zhang

Gepubliceerd 2026-06-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guodong Lin, Ziqi Chen, Yuxiang Fu, Ke Li, Wei-Qiang Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, meertalige vertaler hebt (een Large Language Model, of LLM) die bijna elke taal ter wereld kan spreken en begrijpen. Echter, deze vertaler is "doof" voor geluid; ze begrijpt alleen tekst. Jouw doel is om een systeem te bouwen waarmee deze vertaler gesproken woorden kan horen en ze nauwkeurig kan opschrijven. Dit is de uitdaging van Automatic Speech Recognition (ASR) (automatische spraakherkenning).

Het paper dat je deelde beschrijft een nieuwe manier om de "oren" (de audioverwerker) met de "hersenen" (de LLM) te verbinden, zodat ze perfect samenwerken, vooral bij het omgaan met veel verschillende talen en spreeksnelheden.

Hier is de onderverdeling van hun oplossing met behulp van eenvoudige analogieën:

Het Probleem: Een Starre Verbinding

In eerdere pogingen was de verbinding tussen de audioverwerker en de vertaler als een starre, vaste lopende band.

Het probleem: Spraak is rommelig. Soms praten mensen snel, soms langzaam. Soms is een zin kort, soms lang.
De oude manier: Het oude systeem probeerde de audio in gelijke, vaste stukken te hakken (zoals het snijden van een brood in plakjes van precies dezelfde grootte) voordat het aan de vertaler werd overhandigd. Als de spreker snel praatte, waren de plakjes te klein en ging er informatie verloren. Als ze langzaam praatten, waren de plakjes te groot en werd er ruimte verspild. Dit zorgde ervoor dat het systeem moeite had met verschillende talen en snelheden.

De Oplossing: Twee Upgrades

De auteurs introduceerden twee slimme upgrades om dit op te lossoven:

1. Het "Specialistische Team" (Mixture of Experts / MoE)

In plaats van één enkele, generieke vertaler te gebruiken om alle audio te verwerken, hebben ze een team van specialisten gebouwd.

Hoe het werkt: Stel je een drukke luchthaven voor. In plaats van één vermoeide medewerker die probeert passagiers voor 11 verschillende landen in te checken, heb je een team van specialisten. De een is een expert in Frans, een ander in Japans, een derde in Spaans.
De magie: Een slimme "poortwachter" (een gating-mechanisme) kijkt naar de binnenkomende klank en stuurt deze direct door naar de juiste specialist. Als de audio naar Koreaans klinkt, gaat het naar de Koreaanse expert. Als het naar Duits klinkt, gaat het naar de Duitse expert.
Het resultaat: Omdat elke "expert" zich alleen concentreert op de specifieke patronen van hun taal, wordt het systeem veel beter in het begrijpen van verschillende accenten en talen dan een enkel "alleskunner"-model.

2. De "Slimme Timer" (Continuous Integrate-and-Fire / CIF)

Dit lost het probleem van de "starre lopende band" op die eerder werd genoemd.

Hoe het werkt: In plaats van de audio in vaste groottes te hakken, gebruikt het systeem een slimme timer die luistert naar de stroom van de spraak.
Het mechanisme: Denk aan het vullen van een emmer met water. Het systeem laat "druppels" aan audio-informatie in een emmer vallen. Zodra het waterniveau een specifieke lijn (een drempelwaarde) bereikt, zegt het systeem: "Oké, dat is genoeg voor één woord!" en geeft dat woord door aan de vertaler. Daarna begint het de emmer weer te vullen voor het volgende woord.
Het voordeel: Als iemand snel spreekt, vult de emmer snel en worden woorden snel doorgegeven. Als ze langzaam spreken, vult de emmer langzaam. Dit creëert een perfecte, flexibele match tussen het geluid en de tekst, ongeacht hoe snel de persoon praat.
De twist: De auteurs ontdekten dat de oorspronkelijke "Slimme Timer" soms te enthousiast was, waardoor de emmer te snel volliep en details verloren gingen. Dus hebben ze de regels aangepast (een "ontspannen" versie) om ervoor te zorgen dat de emmer op precies het juiste tempo vult, waardoor alle belangrijke details behouden blijven terwijl de tekstlengte perfect wordt afgestemd.

De Resultaten

De auteurs hebben dit nieuwe systeem getest op een enorme dataset die 11 verschillende talen beslaat (waaronder Engels, Frans, Japans, Koreaans, etc.).

De Baseline: Het standaard systeem worstelde en maakte veel fouten.
Het Nieuwe Systeem: Door het combineren van het "Specialistische Team" (MoE) en de "Slimme Timer" (CIF), maakte het systeem aanzienlijk minder fouten.
Opschalen: Wanneer ze het systeem nog meer data voerden (8.000 uur spraak in plaats van 1.500), werd het zelfs beter in het begrijpen van talen die het minder vaak had gezien, wat bewijst dat het zeer goed is in het generaliseren naar nieuwe situaties.

Samenvattend

Het paper stelt dat door de AI een team van taalspecialisten en een flexibele, slimme timer te geven om geluid met tekst te matchen, ze een spraakherkenningssysteem hebben gecreëerd dat nauwkeuriger, robuuster en beter in staat is om met veel verschillende talen om te gaan dan eerdere methoden. Ze hebben niet beweerd dat dit voor medisch gebruik of specifieke toekomstige toepassingen is, maar simpelweg dat dit een grote stap voorwaarts is in het bouwen van betere, betrouwbaardere spraak-naar-tekstsystemen.

Technische Samenvatting: Verbeteren van Multilinguale LLM-gebaseerde ASR met Mixture of Experts en Dynamische Downsampling

1. Probleemstelling

De snelle vooruitgang van Large Language Models (LLM's) vormt een nieuwe grens voor Automatic Speech Recognition (ASR), wat superieure semantische redenering en contextueel begrip biedt vergeleken met traditionele statistische taalmodellen. Het integreren van LLM's in ASR-systemen blijft echter uitdagend. Hoewel vroege benaderingen LLM's slechts gebruikten als post-processors of externe taalmodellen, hebben recente "Encoder–Projector–LLM"-paradigma's veelbelovend gebleken, maar lijden ze onder twee kritieke beperkingen in meertalige omgevingen:

Multilinguale Generalisatie: Het afstemmen van spraakencoders op meertalige LLM's vereist flexibele mapping om diverse fonetische en linguïstische patronen te kunnen verwerken. Naïve integratie faalt vaak in het bereiken van robuuste cross-linguale adaptiviteit.
Modaliteitsafstemming: Bestaande projectorontwerpen vertrouwen doorgaans op vaste downsampling-snelheden om akoestische kenmerken te comprimeren tot teksttokens. Deze rigiditeit maakt de prestaties zeer gevoelig voor variaties in spreeksnelheid en mist expliciete alignment-modellering, wat leidt tot hallucinaties en gedegradeerde robuustheid wanneer de audio- en tekstsequentielengtes niet natuurlijk overeenkomen.

2. Methodologie

De auteurs stellen een nieuw projector-gebaseerd LLM-ASR-framework voor dat deze uitdagingen aanpakt via twee primaire architecturale verbeteringen: een Mixture of Experts (MoE) projector en een op Continuous Integrate-and-Fire (CIF) gebaseerd mechanisme voor dynamische downsampling.

2.1. Baseline Architectuur

Het systeem volgt het standaard Encoder–Projector–LLM paradigma:

Spraakencoder: Gebruikt de pre-trained Whisper-large-v3 encoder om akoestische kenmerken te extraheren.
LLM: Gebruikt het bevroren Qwen-2.5 7B model als de kern van de decoderingsmodule, waarbij gebruik wordt gemaakt van de semantische capaciteiten. Taalspecifieke prompts worden gebruikt om convergentie te versnellen.
Projector: Overbrugt de encoder en de LLM, waarbij akoestische kenmerken naar de embedding-ruimte van de LLM worden gemapt.

2.2. MoE-verbeterde Projector

Om de cross-linguale adaptiviteit te verbeteren, worden de standaard lineaire projectorlagen vervangen door een MoE-architectuur.

Structuur: De oorspronkelijke convolutionele lagen dienen als een gedeelde backbone. Een set expert-subnetwerken is toegevoegd, waarbij het aantal experts overeenkomt met het aantal trainings-talen.
Mechanisme: Een gating-mechanisme berekent de activatiegewichten voor elke expert op basis van de invoerakoestische kenmerken. De uiteindelijke output is een gewogen som van de geselecteerde experts:
$y = \sum_{k=1}^{K} g_k(x)E_k(x)$
waarbij $g_k(x)$ het gating-gewicht is en $E_k(x)$ de expert-output. Dit stelt het model in staat om inputs dynamisch naar gespecialiseerde netwerken te routeren, waardoor diverse linguïstische patronen effectiever gemodelleerd kunnen worden.

2.3. CIF-gebaseerde Modaliteitsafstemming

Om rigide vaste downsampling te vervangen, integreren de auteurs een Continuous Integrate-and-Fire (CIF) mechanisme.

Mechanisme: CIF wijst een gewicht (0 tot 1) toe aan elk akoestisch frame. Deze gewichten worden cumulatief opgeteld, en wanneer de som een drempelwaarde overschrijdt (bijv. 1), vindt er een "fire"-event plaats, wat signaleert dat een nieuwe token is gedetecteerd. Dit bepaalt dynamisch de outputlengte op basis van de inputaudio.
Modificatie: Standaard CIF leidt vaak tot overcompressie (agressieve downsampling) vergeleken met de vaste factor 4 van de baseline, wat informatieverlies veroorzaakt. Om dit te mitigeren, introduceren de auteurs een ontspannen CIF-variant (relaxed CIF variant). Het trainingsdoel wordt aangepast om de predictor aan te moedigen een outputsequentie te genereren die $n$ keer langer is dan de doel-tokensequentie. In experimenten werd $n=4$ gekozen om de effectieve downsampling-snelheid van de baseline te evenaren, terwijl de adaptiviteit van CIF aan variaties in spreeksnelheid behouden blijft.

3. Experimentele Opstelling

Datasets: De training werd uitgevoerd op een meertalige dataset van 1.500 uur (Nexdata/MLC-SLM Challenge) die 11 talen beslaat (Engels, Frans, Duits, Italiaans, Japans, Koreaans, Portugees, Russisch, Spaans, Thais, Vietnamees). Een expansie-experiment maakte gebruik van een aanvullende 6.500 uur van CommonVoice, GigaSpeech2, LibriSpeech, MLS en VoxPopuli (totaal 8.000 uur).
Evaluatie: Prestaties werden gemeten met behulp van de Word Error Rate (WER) op in-domain (MLCSLM-dev) en out-of-domain (FLEURS-test, CommonVoice-test) benchmarks.
Baselines: Vergelijkingen werden gemaakt met Whisper-large-v3 en een standaard LLM-ASR baseline (bevroren encoder/LLM met een eenvoudige lineaire projector en vaste downsampling).

4. Belangrijkste Resultaten

De experimentele resultaten tonen aan dat de voorgestelde componenten de prestaties aanzienlijk verbeteren:

Impact van MoE: De MoE-verbeterde projector alleen al verminderde de WER op de MLCSLM-dev set van 23,26% (Baseline) naar 16,10%, waarmee Whisper-large-v3 (21,48%) werd overtroffen en consistente verbeteringen werden getoond over de meeste talen.
Impact van CIF: Het vervangen van vaste downsampling door standaard CIF verslechterde de prestaties aanvankelijk (18,95%) door overcompressie. Echter, de Gemodificeerde CIF (ontspannen variant) herstelde de prestaties en behaalde een 15,27% WER op MLCSLM-dev.
Gecombineerde Prestaties: De volledige voorgestelde methode (MoE + Gemodificeerde CIF) behaalde de beste resultaten over alle datasets:
- MLCSLM-dev: 15,27%
- CommonVoice-test: 13,87%
- FLEURS-test: 10,46%
Data Schaling: Het uitbreiden van de trainingsdata naar 8.000 uur leverde substantiële winsten op voor out-of-domain datasets (CommonVoice-test daalde naar 9,86%; FLEURS-test naar 8,65%), hoewel dit resulteerde in een lichte toename van de in-domain WER (15,45%), wat suggereert dat de methode prioriteit geeft aan cross-domein generalisatie.

5. Betekenis en Claims

Het artikel beweert dat het voorgestelde framework een belangrijke stap is naar het bouwen van nauwkeurigere, robuustere en meer generaliseerbare LLM-gebaseerde ASR-systemen. De auteurs benadrukken dat:

MoE-architecturen effectief zijn voor het afhandelen van de complexe, diverse mapping die vereist is in meertalige ASR, en een superieure cross-linguale generalisatie bieden vergeleken met standaard projectoren.
Dynamische Downsampling via CIF cruciaal is voor modaliteitsafstemming, mits de compressiesnelheid zorgvuldig wordt gekalibreerd (via de ontspannen variant) om informatieverlies te voorkomen.
Goed ontworpen Projectors en Alignment-strategieën even cruciaal zijn als de LLM-backbone zelf voor het bereiken van robuuste prestaties in meertalige scenario's.

Het werk concludeert dat deze verbeteringen de beperkingen van naïeve LLM-integratie succesvol aanpakken, wat leidt tot substantiële prestatieverbeteringen ten opzichte van sterke baseline-modellen en de weg vrijmaakt voor betrouwbaardere meertalige spraakherkenningssystemen.