Polyglot-Lion: Efficient Multilingual ASR for Singapore via Balanced Fine-Tuning of Qwen3-ASR

Probleemstelling

Singapore stelt unieke en uitdagende eisen aan systemen voor automatische spraakherkenning (ASR). Het land kent vier officiële talen (Engels, Mandarijn, Tamil en Maleis) die vaak binnen één gesprek of zelfs één uitspraak worden gecombineerd (code-switching), verrijkt met het creoolse "Singlish". Bestaande oplossingen hebben hierin tekortkomingen:

• Algemene modellen (zoals Whisper of MMS) presteren slecht op minder vertegenwoordigde talen zoals Tamil en Maleis en op Singaporese accenten.
• Grote Audio-Taalmodellen (zoals Qwen2.5-Omni) zijn te groot en duur om te fine-tunen en in te zetten.
• Specialistische modellen (zoals MERaLiON-2-10B-ASR) presteren uitstekend, maar vereisen enorme rekenkracht (128 GPU's) en kosten (ongeveer $18.862 voor training), waardoor ze onbereikbaar zijn voor de meeste academische groepen en kleine bedrijven.

Er is dus behoefte aan een compact, kostenefficiënt en open-source ASR-systeem dat alle vier de talen van Singapore even goed beheerst, inclusief code-switching, zonder afhankelijk te zijn van gesloten data of exorbitante rekenresources.

Methodologie

De auteurs introduceren Polyglot-Lion, een familie van compacte multilinguale ASR-modellen (0.6B en 1.7B parameters) die zijn gebaseerd op het fine-tunen van de bestaande Qwen3-ASR-modellen. De kern van de methode bestaat uit twee cruciale ontwerpbeslissingen:

1. Balanced Multilingual Sampling (Gelijkmatige Steekproefneming):

   • De oorspronkelijke openbare trainingsdata is sterk onbalans: Engels en Mandarijn domineren, terwijl Tamil en Maleis ondervertegenwoordigd zijn.
   • In plaats van complexe temperatuur-gestuurde sampling, gebruiken de auteurs een twee-staps deterministische upsampling-strategie:
     • Stap 1 (Intra-taal): Binnen elke taal worden datasets zo vaak gerepliceerd dat ze even groot zijn als de grootste dataset binnen die taal.
     • Stap 2 (Inter-taal): De resulterende datasets per taal worden vervolgens zo vaak gerepliceerd dat alle vier de talen exact evenveel trainingszinnen hebben (elk 25% van de totale batch).
   • Dit garandeert dat het model geen bias ontwikkelt naar de talen met meer data.

2. Taal-agnostische Transcriptie (Language-Agnostic Decoding):

   • Veel multilinguale systemen vereisen een taal-ID-token als input (bijv. <en>, <zh>). Dit faalt echter bij code-switching of als de taal onbekend is.
   • Polyglot-Lion wordt getraind zonder taal-tokens. Het model moet de gesproken taal impliciet afleiden uit de akoestische en linguïstische patronen in het audiosignaal. Dit maakt het systeem robuust voor de wisselende talen in Singaporese gesprekken.

3. Training:

   • De modellen worden getraind op uitsluitend publiek beschikbare data (zoals Librispeech, AISHELL, Common Voice, NSC, Mesolitica).
   • Training vindt plaats op één enkele NVIDIA RTX PRO 6000 GPU gedurende 48 uur.

Belangrijkste Bijdragen

1. Een nieuwe fine-tuning-recipe: Een eenvoudige maar effectieve methode om ondervertegenwoordigde talen (Tamil, Maleis) te upsamplen tot een perfecte balans, wat de herkenning nauwkeurigheid drastisch verbetert zonder proprietary data.
2. Implicit Language Identification: Het bewijs dat een model van gemiddelde grootte (1.7B) betrouwbare taalherkenning kan uitvoeren zonder expliciete taalconditioning, wat essentieel is voor code-switching-scenario's.
3. Uitgebreide Benchmarking: Een evaluatie over 12 verschillende datasets die alle vier de officiële talen van Singapore bestrijken, met directe vergelijking met acht bestaande baselines.
4. Kostenefficiëntie-analyse: Een demonstratie dat state-of-the-art prestaties bereikt kunnen worden met een fractie van de kosten en rekencapaciteit van bestaande specialistische systemen.

Resultaten

De prestaties van Polyglot-Lion-1.7B zijn opmerkelijk vergeleken met veel grotere modellen:

• Nauwkeurigheid: Het model bereikt een gemiddelde foutenrate (WER/CER) van 14,85% over 12 benchmarks. Dit is bijna gelijk aan MERaLiON-2-10B-ASR (14,32%), een model dat 6 keer groter is (10B parameters).
  • Tamil: De foutenrate daalde van >120% bij het basismodel naar 39,19% na fine-tuning.
  • Maleis: Het model presteerde zelfs beter dan MERaLiON op de conversatie-dataset Mesolitica (21,51% vs 25,90%).
  • Engels/Mandarijn: De prestaties bleven behouden of verbeterden ten opzichte van het basismodel.
• Snelheid: Polyglot-Lion is ongeveer 20 keer sneller in inferentie dan MERaLiON (0,10 seconde per sample vs 2,02 seconde).
• Kosten: De training kostte slechts $81 (op één GPU), vergeleken met de geschatte $18.862 voor het trainen van MERaLiON op 128 GPU's. Dit is een kostenreductie van 233 keer.

Betekenis en Impact

Dit paper toont aan dat de "grootte" van een model niet de enige determinant is voor succes in multilinguale spraakherkenning. Door zorgvuldige data-balancering en het elimineren van onnodige afhankelijkheden (zoals taal-tokens), kunnen compacte modellen (1.7B parameters) concurreren met gigantische specialistische systemen.

De belangrijkste implicaties zijn:

• Democratisering van ASR: Het maakt het mogelijk voor academische groepen en kleine bedrijven om hoogwaardige, multilinguale ASR-systemen voor complexe taalsituaties (zoals Singapore) te ontwikkelen en te implementeren.
• Efficiëntie: Het bewijst dat fine-tuning van bestaande sterke modellen een veel kosteneffectievere route is dan het trainen van enorme modellen van scratch.
• Toepasbaarheid: De taal-agnostische aanpak maakt het systeem direct inzetbaar in real-world scenario's waar code-switching de norm is, zonder dat voorafgaande taalidentificatie nodig is.

Kortom, Polyglot-Lion biedt een nieuwe standaard voor efficiënte, betaalbare en nauwkeurige multilinguale spraakherkenning in complexe, meertalige omgevingen.