⚡ electrical engineering

MEUSLI: a Multilingual Projector for LLM-based ASR and Beyond

Het artikel introduceert MEUSLI, de eerste open-science meertalige projectorfamilie die een Whisper spraakencoder verbindt met open-source LLM's om schaalbare, end-to-end automatische spraakherkenning en andere spraakbegripstaken mogelijk te maken over 28 Europese talen.

Oorspronkelijke auteurs: Lorenzo Concina, Seraphina Fong, Marco Matassoni, Alessio Brutti

Gepubliceerd 2026-07-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lorenzo Concina, Seraphina Fong, Marco Matassoni, Alessio Brutti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligent robotbrein hebt dat elke tekst ter wereld kan lezen en schrijven, maar dat het volledig doof is. Het kan geen enkel woord horen dat wordt uitgesproken. Aan de andere kant heb je een superoor dat geluiden perfect kan horen, maar niet begrijpt wat ze betekenen. Lange tijd moesten ingenieurs, om hen met elkaar te laten communiceren, een onhandige tussenpersoon bouwen: het geluid ging naar een vertaler, dan naar een tekstconverter, en uiteindelijk naar het brein. Dit was traag, en als de vertaler een fout maakte, raakte het brein in de war.

Onlangs hebben wetenschappers ontdekt hoe ze een directe brug kunnen bouwen tussen het "superoor" en het "superbrein". Deze brug wordt een projector genoemd. Denk aan een universele adapterstekker. Het neemt de ruwe elektrische signalen van het geluid en vertaalt deze direct naar de taal die het brein begrijpt, waardoor de twee rechtstreeks met elkaar kunnen chatten. Dit is de wereld van Speech Language Models (SLM's). De grote vraag die onderzoekers stellen is: kunnen we een dergelijke adapter bouwen die voor iedereen werkt, en niet alleen voor Engelstaligen? Als dat lukt, zouden we eindelijk een stem kunnen geven aan duizenden talen die buiten het digitale gesprek zijn gevallen, vooral die met weinig sprekers of onvoldoende opgenomen data.

Maak kennis met MEUSLI, een nieuw project dat fungeert als een universele sleutel voor 28 Europese talen. De onderzoekers bouwden een familie van deze "adapterstekkers" die een krachtig oor (genaamd Whisper) verbinden met open-source, meertalige robotbreinen. Hun belangrijkste bevinding is dat dit systeem ongelooflijk goed werkt, niet alleen voor veelvoorkomende talen zoals Spaans of Duits, maar ook voor zeldzame talen zoals Bretons of Maltees. Ze ontdekten dat als je begint met hun vooraf gemaakte, meertalige adapter, je het systeem een gloednieuwe taal kunt leren met slechts een heel kleine hoeveelheid data—soms zelfs maar 46 minuten aan audio.

Er is echter een addertje onder het gras. Als je probeert deze adapter een nieuwe taal te leren zonder enige zorg, heeft hij de neiging om alles wat hij wist over de oorspronkelijke 28 talen te "vergeten", zoals een student die voor een nieuwe toets studeert en onmiddellijk zijn oude huiswerk vergeet. Het artikel suggereert dat je, om dit op te lossen, een techniek genaamd "data replay" moet gebruiken, waarbij je af en toe de oude talen oefent terwijl je de nieuwe leert, om het geheugen levend te houden.

Naast alleen opschrijven wat mensen zeggen (transcriptie), lieten de onderzoekers zien dat deze adapter kan worden aangepast om ook andere taken uit te voeren, zoals het vertalen van gesproken woorden naar het Engels of het raden van het onderwerp van een gesprek (zo zoals sport of politiek). Ze ontdekten dat het systeem, met slechts enkele uren specifieke training voor elke nieuwe taak, ook in staat is om deze dingen te doen.

Het artikel sluit expliciet de gedachte uit dat je enorme hoeveelheden data of propriëtaire (geheime) informatie nodig hebt om deze systemen te bouwen. Ze spreken zich uit tegen de opvatting dat talen met weinig middelen onmogelijk te ondersteunen zijn, en laten in plaats daarvan zien dat een goed startpunt (hun meertalige projector) het mogelijk maakt om nieuwe talen te "bootstrappen" vanuit zeer weinig data. Hoewel ze niet beweren dat ze alle problemen in de wereld hebben opgelost, leveren ze sterk bewijs dat deze aanpak schaalbaar, open en effectief is. Ze hebben deze resultaten gemeten met standaardtests op real-world data, waarbij ze lieten zien dat hun methode consequent wint van het vanaf nul beginnen, vooral voor de moeilijkste, zeldzamere talen.

Kortom, MEUSLI is een toolkit die bewijst dat we inclusieve, open-source spraaktechnologie kunnen bouwen die niet alleen werkt voor de enkelen, maar voor de velen, door een doof robotbrein te veranderen in een polyglotte luisteraar met behulp van een slimme, lichtgewicht adapter.

Technische Samenvatting: MEUSLI – Een Multilinguale Projector voor LLM-gebaseerde ASR en Verder

1. Probleemstelling

Hoewel Large Language Models (LLMs) de tekstgebaseerde NLP hebben gerevolutioneerd, blijft het uitbreiden van deze capaciteiten naar spraak voor natuurlijke multimodale interactie een uitdaging. Traditionele spraakgestuurde LLMs vertrouwen op gecascadeerde pipelines (ASR $\to$ LLM $\to$ TTS), die lijden onder foutpropagatie, verlies van paralinguïstische signalen en verhoogde latentie. Hoewel recente unificerende Speech Language Models (SLMs) proberen om speech-encoders direct met LLMs te verbinden via trainbare projectors, zijn bestaande oplossingen voornamelijk Engels-centrisch, beperkt tot hoog-resource talen, of afhankelijk van propriëtaire data en gewichten. Er is een aanzienlijke kloof in open-science, multilinguale SLMs die effectief laag-resource talen kunnen ondersteunen en reproduceerbare, schaalbare architecturen kunnen bieden voor diverse Europese talen.

2. Methodologie

Het artikel introduceert MEUSLI (Multilingual EU Speech LInear projector), een framework ontworpen om pre-trained speech-encoders te verbinden met open-source multilinguale LLMs.

Architectuur: MEUSLI neemt de SLAM-ASR architectuur over. Het maakt gebruik van een bevroren Whisper-large-v3-turbo encoder om audio om te zetten in hoogdimensionale akoestische kenmerken. Deze kenmerken worden via een lichtgewicht lineaire projector in de embedding-ruimte van de LLM gemapt. De gebruikte LLMs zijn EuroLLM 1.7B-Instruct, EuroLLM 9B, en Apertus-8B. Zowel de encoder als de LLM blijven bevroren tijdens de training; alleen de projector (en optioneel LoRA-adapters op de LLM) worden getraind.
Projector Ontwerp: De projector bestaat uit één verborgen laag met ReLU-activatie gevolgd door een regressielaag, met ongeveer 17,31 miljoen trainbare parameters. Low-Rank Adaptation (LoRA) wordt toegepast op de LLM met rank $r=8$ en een schaalfactor $\alpha=32$ om een extra 1,38 miljoen verstelbare parameters toe te voegen.
Trainingsdata: Het model wordt getraind op 7.622 uur audio verspreid over 28 Europese talen (inclusief Engels, Frans, Duits, Italiaans en laag-resource talen zoals Bretons, Maltees en Baskisch). De data is afkomstig van Common Voice 17.0, FLEURS, en VoxPopuli. Om data-imbalans te beheren, zijn audiofragmenten beperkt tot 100K per taal per dataset.
Trainingsconfiguratie: Audio wordt omgezet naar 128-bin mel-spectrogrammen. Speech-embeddings worden gedownsampled met een factor $k=5$ . De training maakt gebruik van de Adam-optimizer met een initiële leersnelheid van $1 \times 10^{-4}$ , een lineaire warmup van 1.000 stappen, en cross-entropy loss op LLM-outputs.
Continual Learning: Om catastrofale vergetelheid aan te pakken bij het toevoegen van nieuwe talen, gebruiken de auteurs data replay strategieën, waarbij een buffer van samples uit de oorspronkelijke talen wordt door elkaar gehusseld tijdens het fine-tunen op nieuwe talen.

3. Belangrijkste Bijdragen

Eerste Open Multilinguale Projector Familie: MEUSLI is de eerste volledig open-source projectorfamilie die Whisper verbindt met open-source multilinguale LLMs, ondersteunend voor 28 Europese talen. De projectors worden op HuggingFace vrijgegeven.
Low-Resource Adaptatie: Het artikel demonstreert dat MEUSLI dient als een robuust startpunt voor het fine-tunen op laag-resource talen. Het toont aan dat multilinguale pretraining effectieve bootstrapping van nieuwe talen mogelijk maakt met minimale data (bijv. 2,5 uur voor het Bretons, 46 minuten voor het Albans).
Continual Learning voor Nieuwe Talen: De auteurs laten zien dat nieuwe talen kunnen worden toegevoegd met state-of-the-art continual learning methodologieën (data replay) zonder dat de prestaties op eerder geleerde talen instorten.
Verder dan ASR: Het framework wordt uitgebreid naar Spraakvertaling (ST) en Onderwerpidentificatie (TID). De auteurs demonstreren dat de multilinguale projector kan worden aangepast aan deze taken met slechts enkele uren taalspecifieke supervisie per taal-taak paar.

4. Resultaten

Multilinguale ASR Prestaties: MEUSLI bereikt sterke Word Error Rate (WER) resultaten over 28 talen. Hoog-resource talen vertonen lage WERs, terwijl medium-resource talen consistente verbeteringen laten zien. Hoewel zeer laag-resource talen (bijv. Bretons, Iers) uitdagend blijven, presteert MEUSLI beter dan monolinguale systemen die vanaf nul zijn getraind in deze scenario's.
Efficiëntie van Fine-tuning:
- Bretons (2,5u data): Fine-tuning van MEUSLI verminderde de WER van 95,7% (multilinguale baseline) naar 24,5% (met een gespecialiseerde encoder), waarmee het een monolinguaal systeem dat vanaf nul is getraind (27,7%) versloeg.
- Albans (46 min data): Fine-tuning van MEUSLI bereikte een 75,61% WER, terwijl een projector getraind vanaf nul niet convergeerde (389,12% WER).
Mitigatie van Catastrofale Vergetelheid: Naïeve fine-tuning op het Oekraïens veroorzaakte een significante degradatie van de WER op basistalen (bijv. Spaans van 4,09% naar 90,34%). Het gebruik van een data replay buffer (1.000 samples per taal) herstelde de prestaties van de basistalen naar bijna het originele niveau, terwijl de prestaties voor het Oekraïens behouden bleven (17,56% WER).
Multitask Transfer: Wanneer uitgebreid naar ST en TID met minder dan 5 uur data per taal-taak paar, presteerde de door MEUSLI gebootstrapt fine-tuning aanzienlijk beter dan training vanaf nul. Bijvoorbeeld, op het Fins daalde de ASR WER van 53,0% (vanaf nul) naar 18,6% (MEUSLI), en de Topic ID nauwkeurigheid steeg van 57,5% naar 81,7%.

5. Betekenis en Claims

Het artikel claimt dat MEUSLI een solide fundament biedt voor multilingale spraakbegripstaken, en daarmee schaalbare en inclusieve open-source SpeechLLMs ondersteunt.

Schaalbaarheid: De aanpak bewijst dat multilingale pretraining effectieve kennisoverdracht mogelijk maakt, waardoor functionele ASR-systemen kunnen worden gebootstrapt voor ongeziene talen met extreem beperkte data.
Openheid: Door gebruik te maken van volledig open-source modellen (Whisper, EuroLLM, Apertus) en open datasets, adresseert dit werk het gebrek aan transparantie en reproduceerbaarheid in de huidige SLM-literatuur.
Veelzijdigheid: Het systeem is niet beperkt tot transcriptie; het dient als een sterk startpunt voor andere spraakverwerkingstaken (vertaling, classificatie) in scenario's met weinig data.

De auteurs concluderen dat hoewel taal-specifieke fine-tuning voordelig blijft voor ASR, multilingale fine-tuning robuuste gedeelde semantische representaties biedt voor downstream begripstaken, wat de weg vrijmaakt voor universele, door LLM ondersteunde spraaktechnologieën.