Language-Aware Distillation for Multilingual Instruction-Following Speech LLMs with ASR-Only Supervision

Dit artikel introduceert een taalbewuste distillatiemethode met een Q-Former-projector die, ondanks gebruik van alleen ASR-supervisie, de prestaties van meertalige instructievolgende spraak-LLMs aanzienlijk verbetert en een nieuw meertalig benchmarkdataset, Audio-MLQA, presenteert.

De kern

Stel je voor dat je een zeer slimme, multilingue robot wilt bouwen die niet alleen tekst begrijpt, maar ook spraak. Deze robot moet kunnen luisteren naar instructies in verschillende talen (zoals Engels, Chinees, Indonesisch, etc.) en daarop een goed antwoord geven.

Het probleem is dat het trainen van zo'n robot normaal gesproken enorme hoeveelheden specifieke spraakdata vereist, wat voor veel talen gewoon niet bestaat. De auteurs van dit papier hebben een slimme oplossing bedacht die we hieronder uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Eén-Size-Fits-All" Hoed

Stel je voor dat je een groep mensen uit heel verschillende culturen (Engels, Chinees, Spaans) in één kamer zet en ze allemaal één en dezelfde hoed opzet.

• De hoed is een stukje software (een "projector") dat probeert geluid om te zetten in iets wat de robot kan begrijpen.
• Het probleem: De hoed past perfect op het hoofd van de Engelse spreker, maar op de Chinese spreker zit hij scheef, en op de Indonesische spreker valt hij bijna van zijn hoofd.
• In de techniek noemen ze dit taalinterferentie. De talen "ruilen" met elkaar in de hoed, waardoor de robot verward raakt. De talen die veel voorkomen (zoals Engels) domineren, en de minder voorkomende talen worden overgeslagen.

2. De Oplossing: Een Slimme Garderobe met een Portier

De auteurs hebben een nieuwe methode bedacht: Taalbewuste Distillatie. In plaats van één hoed voor iedereen, bouwen ze een slimme garderobe met een slimme portier (de "gating network").

• De Query Bank (De Garderobe): In plaats van één vaste reeks "vragen" (tokens) te gebruiken, hebben ze een hele kast met verschillende sets vragen, één set voor elke taal.
• De Portier (De Gating Network): Zodra de robot een geluid hoort, kijkt de portier direct: "Ah, dit is Chinees!" of "Dit is Spaans!".
• De Actie: De portier pakt de juiste set vragen uit de kast en geeft die aan de robot.
  • Soms (Soft Gating) laat hij een beetje van de Spaanse set en een beetje van de Engelse set door als de talen op elkaar lijken.
  • Meestal (Hard Gating) kiest hij streng één set uit, zodat de talen elkaar niet verstoren.

Dit zorgt ervoor dat de robot voor elke taal precies de juiste "bril" opzet om de instructie te begrijpen, zonder dat de andere talen in de weg zitten.

3. Hoe hebben ze dit getraind? (De "Ghost" Methode)

Normaal gesproken heb je duizenden uren aan gespecialiseerde spraakdata nodig (bijvoorbeeld: "Zeg 'open de deur' in het Chinees"). Die data bestaat niet voor elke taal.

De auteurs gebruiken een slimme truc:

1. Ze nemen bestaande tekstdata (zoals een script).
2. Ze gebruiken een TTS-systeem (Text-to-Speech, een robotstem) om die tekst om te zetten in spraak.
3. Ze laten de robot luisteren naar die "robotstem" en proberen te leren wat de tekst was.
4. Ze vergelijken het antwoord van de robot met wat een "perfecte" tekst-robot zou zeggen.

Het is alsof je een student (de robot) laat oefenen met een audio-opname van een leraar, terwijl je de antwoorden vergelijkt met het antwoordboekje. Ze hoeven geen menselijke leraren voor elke taal te betalen; de "ghost" van de tekst doet het werk.

4. De Resultaten: Een Winnaar

De robot met deze nieuwe "slimme garderobe" deed het veel beter dan de oude modellen:

• Bij open vragen: Hij gaf 14% betere antwoorden op instructies in verschillende talen. Vooral voor talen die vaak over het hoofd werden gezien (zoals het Indonesisch), was de verbetering enorm.
• Bij gesloten vragen: Hij kon vragen uit een tekst beter beantwoorden (32% beter dan andere modellen).

Samenvattend

Stel je voor dat je eerder een robot had die alleen Engels sprak en als je hem in het Chinees iets vroeg, hij probeerde het in zijn "Engelse hoofd" te vertalen, wat vaak fout ging.

Nu hebben ze een robot gebouwd die een slimme vertaler heeft die direct weet: "Oh, dit is Chinees, ik gebruik mijn Chinese vertaalboekje, niet het Engelse." Hierdoor is de robot veel slimmer, sneller en werkt hij goed voor veel meer talen, zonder dat ze miljoenen uren aan dure menselijke opnames nodig hadden. Ze hebben zelfs een nieuwe testbank (Audio-MLQA) gemaakt om dit te bewijzen.

Kortom: Ze hebben een manier gevonden om spraak-AI te maken die voor veel talen werkt, door de robot een "taal-sensor" te geven die de juiste gereedschapskist kiest, in plaats van één gereedschap voor alles.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Language-Aware Distillation for Multilingual Instruction-Following Speech LLMs with ASR-Only Supervision", vertaald en samengevat in het Nederlands.

Probleemstelling

De huidige Speech Large Language Models (Speech LLM's) die instructies in meerdere talen kunnen volgen, zijn moeilijk te trainen met traditionele methoden zoals Supervised Fine-Tuning (SFT). Deze methoden vereisen enorme, taalspecifieke spraakcorpora, die vaak ontbreken voor minderheidstalen.
Recente distillatiebenaderingen (zoals DiVA) trainen succesvolle Engelstalige Speech LLM's door alleen geannoteerde ASR-data (Automatic Speech Recognition) te gebruiken en spraak-embeddings uit te lijnen met tekst via een lichte projector. Echter, wanneer deze modellen worden geschaald naar meertalige settings, presteren ze slechter. De oorzaak is taalinterferentie in de gedeelde projector: een statische reeks query-tokens is onvoldoende om de fonetische en semantische nuances van verschillende talen (zeker verre talen zoals Engels en Chinees) te onderscheiden. Dit leidt tot een prestatiedaling waarbij dominante talen de minder vertegenwoordigde talen in de gedeelde representatieruimte overschaduwen.

Methodologie

Het paper introduceert een taalbewuste distillatieframework dat de beperkingen van statische projectoren oplost zonder de onderliggende spraakencoder of de LLM te finetunen (ze blijven bevroren). De architectuur bestaat uit vier componenten:

1. Bevroren Speech Encoder: Whisper-large-v3 wordt gebruikt om spraak-embeddings te genereren.
2. Bevroren LLM: Llama-SEA-LION-v3-8B-IT dient als tekstbackbone, wat zorgt voor goede dekking van Zuidoost-Aziatische talen.
3. Modality Adapter (Q-Former): Een projectie-laag die spraak-embeddings omzet in tekst-achtige representaties.
4. Taalbewuste Query-Selectie (De Kerninnovatie):
   • In plaats van één statische reeks query-tokens, wordt een Query Bank gebruikt met leerbare query-sequenties voor elke taal ($K$ talen).
   • Een Gating Network analyseert de spraak-embeddings en voert een taaldetectie uit.
   • Op basis van deze detectie worden de query-tokens geselecteerd of gemixt:
     • Soft Query Mixing: Een gewogen som van query's van verschillende talen (voor taalkundig verwante talen).
     • Hard Query Selection: De selectie van één specifieke taal-query (voor maximale scheiding).
   • Het model wordt getraind met een Scheduled Teacher Forcing strategie om de query-selectie te stabiliseren in de vroege trainingsfasen.

Trainingsdoelwit (Loss Function):
Het model wordt getraind met drie componenten:

• Language Identification Loss: Supervisie van het gating-netwerk om de taal correct te identificeren.
• Input Distillation Loss: De projectie van spraak-embeddings moet overeenkomen met de input-embeddings van de teksttranscriptie.
• Output Distillation Loss: De verborgen staten van de LLM (geconditioneerd op spraak) moeten overeenkomen met die van de LLM (geconditioneerd op tekst), zodat het model zich gedraagt alsof het tekst leest, zelfs bij spraakinvoer.

Belangrijkste Bijdragen

1. Nieuwe Methode: Een taalbewuste distillatiemethode die aanzienlijk minder ASR-trainingsbronnen vereist voor meertalige Speech LLM's.
2. Prestatieverbetering: Consistente winst ten opzichte van bestaande meertalige baselines en externe modellen, zowel bij open-ended instructievolging als gesloten gesproken vraag-antwoordtaken.
3. Nieuwe Benchmark: Introductie van Audio-MLQA, een synthetisch meertalig benchmark voor gesproken vraag-antwoord (QA) gebaseerd op MLQA, met hoogwaardige TTS-generatie.
4. Efficiëntie: Het model ondersteunt 6 talen met slechts 5.800 uur aan ASR-data, waarbij de zware encoder en LLM bevroren blijven.

Resultaten

De experimenten zijn uitgevoerd op 6 talen (Engels, Vietnamees, Spaans, Duits, Chinees, Indonesisch) en vergeleken met baselines zoals EN-DiVA, ML-DiVA en state-of-the-art Speech LLM's.

• Open-ended Instructievolging: Het beste model (met hard-gating) boekte een gemiddelde verbetering van 14% ten opzichte van de ML-DiVA-baseline. Vooral voor Indonesisch (een minder vertegenwoordigde taal) was de verbetering opvallend (van 3,04 naar 3,71), wat aantoont dat de methode interferentie voorkomt.
• Gesloten Vraag-Antwoord (Audio-MLQA): Het model verbeterde de bestaande baselines met 32% (vergeleken met SeaLLMs-Audio) en 31% (vergeleken met MERaLiON). De hard-gating variant bereikte een score van 3,96, wat dicht in de buurt komt van de tekst-only referentie (4,14).
• Ablatie Studies:
  • Het verhogen van de query-lengte ($L$) van 64 naar 256 verlaagde de input-distillatiefout met 89%.
  • Hard gating bleek superieur aan soft mixing, omdat het een sterkere ontkoppeling van taalspecifieke informatie biedt en het "vergemakkelijkingseffect" (waarbij dominante talen minderheidstalen beïnvloeden) voorkomt.
  • Het gating-netwerk bereikte een taaldetectie-accuraatheid van >94,9%.

Significantie

Dit onderzoek biedt een schaalbaar en hulpbron-efficiënt paradigma voor het uitbreiden van geavanceerd spraakbegrip naar een breder scala aan wereldtalen. Door de noodzaak van grote, taalspecifieke datasets en het finetunen van zware modellen te omzeilen, maken de auteurs het mogelijk om robuuste meertalige Speech LLM's te bouwen met beperkte resources. De introductie van taalbewuste routing via een query-bank lost het fundamentele probleem van taalinterferentie in gedeelde projectoren op, wat een belangrijke stap is voor inclusieve AI-toepassingen in laag-resourced taalscenario's.