💬 NLP

Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling

Deze paper introduceert 'Multimodal Depth Upscaling', een methode die nieuwe transformerlagen aan een bevroren tekst-LLM toevoegt en alleen deze lagen traint op spraakdata, waardoor de prestaties voor spraakherkenning vergelijkbaar blijven met volledige fine-tuning maar de tekstcapaciteiten aanzienlijk beter behouden blijven.

Oorspronkelijke auteurs: Kazuki Yano, Jun Suzuki, Shinji Watanabe

Gepubliceerd 2026-04-03

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kazuki Yano, Jun Suzuki, Shinji Watanabe

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok hebt die al jarenlang de allerbeste Italiaanse gerechten maakt. Hij kent elk recept uit zijn hoofd, kan perfect pasta koken en is een genie in het combineren van smaken. Dit is jouw Tekst-LLM (een kunstmatige intelligentie die gespecialiseerd is in taal).

Nu wil je deze meesterkok ook luisteren leren. Je wilt dat hij niet alleen recepten schrijft, maar ook naar mensen luistert die praten en die gesprekken in tekst omzet (zoals bij spraakherkenning).

Het probleem? Als je de kok gewoon dwingt om ook te koken met nieuwe ingrediënten (spraakdata), vergeten zijn oude Italiaanse recepten vaak. Hij wordt verward, zijn oude vaardigheden verdwijnen en hij maakt minder goede pasta. Dit noemen onderzoekers "vergeten" of "degradatie".

De auteurs van dit paper hebben een slimme oplossing bedacht: Multimodale Diepte-Up-Scaling.

Hier is hoe het werkt, vertaald naar een alledaags verhaal:

1. De "Toevoeging" in plaats van de "Verbouwing"

In plaats van de kok zelf te hervormen (wat zijn oude vaardigheden verstoort), bouwen ze een nieuwe, speciale vleugel aan het restaurant.

De originele keuken (de tekst-LLM) blijft vrijwel ongemoeid. De meesterkok doet precies wat hij altijd deed.
Ze voegen een paar nieuwe, getrainde assistenten toe in de keuken. Deze assistenten zijn gespecialiseerd in het luisteren naar geluid en het omzetten daarvan naar instructies voor de kok.
Tijdens het trainen leren alleen deze nieuwe assistenten hoe ze met geluid om moeten gaan. De meesterkok (de oude lagen) slaapt gewoon rustig door.

2. De "Magische Schakelaar" (Inferentie)

Dit is het meest geniale deel.

Als je wilt dat de AI luistert, schakel je de nieuwe assistenten in. Ze werken samen met de kok om de spraak om te zetten.
Maar als je de AI weer vraagt om een schoon Italiaans recept te schrijven (alleen tekst), doe je de nieuwe vleugel gewoon af. Je haalt de assistenten eruit en laat alleen de meesterkok achter.
Resultaat: De AI is weer 100% de meesterkok die hij altijd was. Hij heeft niets vergeten! Bij andere methoden (zoals het volledig aanpassen van de kok) is die oude vaardigheid vaak voor altijd weg.

3. De Speciale Architectuur (E-Branchformer)

De auteurs ontdekten dat de nieuwe assistenten niet zomaar elke soort kok moesten zijn. Ze gebruikten een speciaal type assistent, de E-Branchformer.

Stel je voor dat een gewone assistent alleen naar de geluidsgolven kijkt via één raam.
De E-Branchformer heeft twee ramen: één dat naar de lange afstand kijkt (het hele gesprek begrijpen) en één dat naar de details kijkt (de specifieke klanken en accenten).
Door deze slimme dubbele-blik te gebruiken, wordt de spraakherkenning zelfs nog beter dan wanneer je de hele kok had vervangen, terwijl de tekstvaardigheden perfect behouden blijven.

Waarom is dit belangrijk?

Vroeger was het een "of-of" keuze:

Of je had een slimme tekst-AI die geen spraak kon.
Of je had een spraak-AI die vergeten was hoe ze tekst moest schrijven.

Met deze nieuwe methode krijg je het beste van beide werelden:

Je hebt een AI die spraak herkent (net zo goed als de beste bestaande systemen).
Je hebt een AI die nog steeds perfect kan vertalen, samenvatten en praten, alsof hij nooit naar geluid had geluisterd.
Je kunt de "spraak-module" zelfs uitschakelen als je alleen tekst nodig hebt, zodat de computer weer snel en zuinig werkt.

Kortom: Ze hebben een slimme "plug-in" bedacht die je kunt in- en uitschakelen. Zo leer je je computer spreken zonder dat hij zijn gedichten vergeet.

Probleemstelling

Het aanpassen van vooraf getrainde tekst-Grote Taalmodellen (LLMs) naar Spraak-Taalmodellen (Speech LMs) via continu vooraf trainen (Continual Pre-Training of CPT) op spraakdata is een veelbelovende richting. Echter, een groot nadeel van deze aanpak is dat de oorspronkelijke tekstcapaciteiten van het model vaak sterk verslechteren ("catastrophic forgetting").

Bestaande oplossingen hebben beperkingen:

Data Replay: Het opnieuw trainen op tekstdata tijdens de spraaktraining helpt, maar vereist extra tekstdata en verhoogt de trainingskosten aanzienlijk. Veel open-weight LLMs publiceren hun trainingsdata niet, wat dit in de praktijk onuitvoerbaar maakt.
LoRA (Low-Rank Adaptation): Hoewel LoRA populair is om parameters te besparen en tekstprestaties te behouden, blijkt uit experimenten dat het vaak onvoldoende capaciteit biedt om een nieuwe modality (spraak) effectief te leren, vooral bij kleinere modellen.

Methodologie: Multimodal Depth Up-Scaling

De auteurs stellen Multimodal Depth Up-Scaling voor, een uitbreiding van de "depth up-scaling"-strategie voor cross-modale adaptatie. De kern van de methode is als volgt:

Vocabulaire Uitbreiding: De tokenizer van het bestaande tekst-LLM wordt uitgebreid met discrete spraaktokens (semantisch en akoestisch). De embedding-laag wordt aangepast, maar de originele embedding-weights blijven bevroren.
Invoegen van Nieuwe Layers: In plaats van bestaande parameters aan te passen, worden er $m$ $m$ nieuwe transformer-lagen ingevoegd in een model dat oorspronkelijk uit $n$ $n$ lagen bestaat.
- De originele $n$ lagen worden bevroren (niet getraind).
- Alleen de nieuw toegevoegde $m$ lagen worden getraind op de spraakdata.
Architectuur van Toegevoegde Lagen:
- Standaard Transformer: Nieuwe lagen die identiek zijn aan de originele lagen.
- E-Branchformer: Een alternatieve architectuur specifiek ontworpen voor spraakherkenning. Deze gebruikt twee parallelle takken: een globale extractor (MHSA voor lange-afstand afhankelijkheden) en een lokale extractor (Convolutional Spatial Gating Unit voor lokale patronen).
Initialisatie: Om te voorkomen dat de toegevoegde lagen de bestaande representaties direct verstoren, wordt gebruik gemaakt van function preserving initialization. De output-projectiematrices worden zo geïnitieerd dat de laag bij start een identiteitsfunctie is ( $Y=X$ ). Voor E-Branchformer wordt een specifieke initialisatie ( $W_{Merge} = [I; 0]$ ) gebruikt om dit te garanderen.
Inference (Afdaling): Een uniek kenmerk is dat de toegevoegde lagen tijdens inferentie kunnen worden verwijderd ("dropped"). Hierdoor wordt het originele, vooraf getrainde tekstmodel exact hersteld, wat zorgt voor nul degradatie op teksttaken wanneer geen spraak nodig is.

Experimentele Opzet

Modellen: SmolLM2-360M en SmolLM2-1.7B.
Data: 48.000 uur Engels Automatic Speech Recognition (ASR) data (OWSM v3.2 suite).
Baselines: Vergelijking met Full Fine-tuning (alle parameters bijgewerkt) en LoRA.
Strategieën voor plaatsing: De auteurs testten verschillende locaties voor de nieuwe lagen: verspreid (INTERLEAVED), onderaan, midden, bovenaan, en sandwich (boven en onder).

Belangrijkste Resultaten

1. ASR Prestaties vs. Tekstbehoud:

Full Fine-tuning: Bereikt goede ASR-resultaten (lage Word Error Rate), maar veroorzaakt een enorme daling in tekstprestaties (tot -32,6% bij het 1.7B model).
LoRA: Valt slecht af op ASR, vooral bij het kleinere model, en behoudt tekstprestaties beter dan full fine-tuning maar niet perfect.
Multimodal Depth Up-Scaling:
- Bereikt ASR-prestaties die vergelijkbaar zijn met full fine-tuning.
- Veroorzaakt veel minder degradatie op teksttaken. Bij het 1.7B model was de daling in tekstprestaties slechts -6,8% (met E-Branchformer) in plaats van -32,6%.
- INTERLEAVED (verspreide plaatsing) gaf de beste ASR-resultaten, terwijl TOP de beste tekstbehoud gaf.

2. Invloed van Architectuur (E-Branchformer):

Het gebruik van E-Branchformer als toegevoegde lagen verbeterde de ASR-prestaties ten opzichte van standaard transformer-lagen.
Bij het 1.7B model overtrof de E-Branchformer-versie zelfs de full fine-tuning op ASR, terwijl het tegelijkertijd de tekstdegradatie met meer dan 75% reduceerde ten opzichte van full fine-tuning.
Dit gebeurde met 60% minder trainbare parameters dan full fine-tuning.

3. Zero-Shot Instructievolging:

Kwalitatieve analyses toonden aan dat het model, zelfs zonder tekstdata-replay, in staat blijft om instructies te volgen (zoals vertalen, samenvatten en vereenvoudigen) op basis van spraakinvoer.
Full fine-tuning faalde hier volledig (vaak met herhalende tokens), terwijl de diepte-upscaling-methode coherente en taakgeschikte outputs genereerde.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

Nieuwe Strategie: Introductie van "Multimodal Depth Up-Scaling" als een effectieve methode om tekst-LLMs aan te passen aan spraak zonder de oorspronkelijke kennis te verliezen.
Architecturale Innovatie: Het succesvol toepassen van E-Branchformer als toegevoegde lagen, wat aantoont dat gespecialiseerde spraakarchitecturen binnen een tekst-LLM de modale aanpassing kunnen verbeteren.
Flexibiliteit: Het vermogen om de toegevoegde lagen te verwijderen bij inferentie, waardoor een model dynamisch kan schakelen tussen een volledig spraakcapaciteit en een zuiver tekstmodel zonder extra kosten.
Efficiëntie: Het bereiken van state-of-the-art ASR-resultaten met aanzienlijk minder trainbare parameters en zonder de noodzaak van dure tekstdata-replay.

Conclusie:
De paper toont aan dat het toevoegen van nieuwe lagen aan een bevroren tekst-LLM een superieure route is voor cross-modale adaptie vergeleken met full fine-tuning of LoRA. Het biedt een balans tussen het verwerven van nieuwe spraakvaardigheden en het behoud van de rijke linguïstische kennis van het basismodel, wat cruciaal is voor de ontwikkeling van robuuste en veelzijdige spraak-LLMs.