🤖 AI

MERaLiON-GR: Speech Gender Recognition Model for English and SEA Languages

Het artikel introduceert MERaLiON-GR, een model voor spraakgenderherkenning dat gebruikmaakt van LoRA-fijninstelling van de MERaLiON-SpeechEncoder-2 en een multi-schaal ECAPA-TDNN-classificator om state-of-the-art prestaties te behalen bij het identificeren van mannelijke en vrouwelijke sprekers in het Engels en meerdere Zuidoost-Aziatische talen.

Oorspronkelijke auteurs: Qiongqiong Wang, Ai Ti Aw, Nancy F. Chen, Ying Lay Chiu, Yang Ding, Yingxu He, Ridong Jiang, Zhuohan Liu, Yanfeng Lu, Yi Ma, Muhammad Huzaifah, Nabilah Binte Md Johan, Nattadaporn Lertcheva, Pham Minh

Gepubliceerd 2026-08-06

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qiongqiong Wang, Ai Ti Aw, Nancy F. Chen, Ying Lay Chiu, Yang Ding, Yingxu He, Ridong Jiang, Zhuohan Liu, Yanfeng Lu, Yi Ma, Muhammad Huzaifah, Nabilah Binte Md Johan, Nattadaporn Lertcheva, Pham Minh Duc, Sailor Hardik Bhupendra, Siti Umairah Binte Mohammad Salleh, Shuo Sun, Tarun Kumar Vangani, Jeremy H. M. Wong, Jinyang Wu, Longyin Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je op een bruisend, lawaaierig feestje bent waar mensen verschillende talen spreken, lachen, schreeuwen en fluisteren, allemaal tegelijkertijd. Als je je ogen sluit, kun je vaak aan het geluid van iemands stem horen of het een man of een vrouw is. Je brein doet dit automatisch door aanwijzingen zoals toonhoogte, textuur en ritme te combineren. Maar een computer leren om hetzelfde te doen, is als proberen een robot te leren een vriend te herkennen in een orkaan. Dit wetenschappelijke veld wordt spraakgeslachtsherkenning genoemd. Het is een tak van kunstmatige intelligentie die probeert te achterhalen of een spreker man of vrouw is door alleen naar hun stem te luisteren, zonder hen te zien.

Om te begrijpen hoe computers dit leren, denk aan twee verschillende instrumenten. Het eerste is als een gespecialiseerde detective. Dit instrument is specifiek getraind om te luisteren naar stemaanwijzingen. Het negeert wat de persoon zegt en focust zich volledig op hoe ze het zeggen. Het tweede instrument is als een algemene kennisencyclopedie. Dit is een enorme AI die bijna alles heeft gelezen en vragen over de wereld kan beantwoorden, maar niet specifiek is getraind als stemdetective. Een tijdlang vroegen wetenschappers zich af: "Hebben we een gespecialiseerde detective nodig, of is de encyclopedie slim genoeg om het uit zichzelf te ontdekken?" Dit is de grote vraag die de onderzoekers in dit artikel wilden beantwoorden. Ze wilden een stemdetective bouwen die niet alleen in het Engels werkt, maar ook in de vele talen die in Zuidoost-Azië worden gesproken, en ze wilden zien of deze de beste tools die momenteel beschikbaar zijn kon verslaan.

De Nieuwe Stemdetective: MERaLiON-GR

Het team achter dit artikel, bekend als het MERaLiON-Team, heeft een nieuwe stemdetective gebouwd genaamd MERaLiON-GR. Beschouw dit model als een superintelligent robotoor dat is getraind op een enorme bibliotheek van stemmen uit het Engels en acht verschillende Zuidoost-Aziatische talen, waaronder Chinees, Maleis, Tamil, Thais, Vietnamees, Indonesisch en Khmer.

Hoe het werkt (Het Recept)
Stel je voor dat het brein van de robot is opgebouwd uit drie lagen:

Het Grote Brein (De Ruggengraat): De kern bestaat uit een gigantisch, vooraf getraind brein genaamd MERaLiON-SpeechEncoder-2. Dit brein heeft al miljoenen uren aan spraak beluisterd en weet hoe geluiden werken. De onderzoekers wilden echter niet het hele brein vanaf nul opnieuw trainen, want dat zou zijn alsof je een hele encyclopedie probeert te herschrijven om slechts een nieuw hoofdstuk over "stemgeslacht" toe te voegen. Dat kost te veel energie en tijd.
De Slimme Adapter (LoRA): In plaats van het hele brein te herschrijven, gebruikten ze een slimme truc genaamd LoRA (Low-Rank Adaptation). Stel je voor dat het grote brein een enorme, zware bibliotheek is. LoRA is als het toevoegen van een kleine, lichte set plaknotities aan de planken. Deze briefjes vertellen de bibliotheek hoe ze hun bestaande kennis specifiek moet herordenen voor de taak van het herkennen van mannelijke versus vrouwelijke stemmen. Het is efficiënt, snel en verstoort de andere kennis van de bibliotheek niet.
De Laatste Rechter (ECAPA-TDNN): Het brein geeft de bevindingen vervolgens door aan een gespecialiseerde rechter genaamd ECAPA-TDNN. Deze rechter bekijkt de aanwijzingen uit verschillende lagen van het brein, combineert ze en neemt de uiteindelijke beslissing: "Man" of "Vrouw".

De Grote Test
Het team heeft hun nieuwe detective getest tegen twee andere contenders:

Vox-Profile: De huidige kampioen van stemgeslachtsherkenning.
MERaLiON-v2: Een algemene "encyclopedie"-AI (een Audio-LLM) die kan praten en luisteren, maar geen gespecialiseerde stemdetective is.

Ze hebben iedereen getest op een enorme variëteit aan stemmen: heldere studio-opnames, rommelig straatlawaai, korte fragmenten van 2 seconden en lange gesprekken. De talen varieerden van standaard Engels tot de unieke mix van Singlish en diverse Zuidoost-Aziatische dialecten.

De Resultaten: De Specialist wint
De resultaten waren duidelijk. De gespecialiseerde detective, MERaLiON-GR, verpletterde de concurrentie in bijna elke categorie.

De Kampioen Verslaan: Op 12 van de 15 verschillende testsets was MERaLiON-GR nauwkeuriger dan de huidige kampioen, Vox-Profile. In sommige gevallen, zoals bij oudere stemmen in het Tamil en Thais, behaalde het een perfecte score van 100,00%.
De "Wild"-Test: De echte uitdaging waren de "in-the-wild"-opnames—korte, rommelige fragmenten uit het echte leven (10 tot 30 seconden lang). Hier was MERaLiON-GR nog steeds de winnaar en versloeg Vox-Profile met wel 4,32 procentpunt. Dit is een grote prestatie, omdat audio uit de echte wereld vol zit met achtergrondruis en korte fragmenten die andere modellen in verwarring brengen.
De Strijd van de Encyclopedie: De algemene AI (de "encyclopedie") deed het oké, maar verloor consequent van de gespecialiseerde detective. Zonder specifieke training had het moeite om de fijne details goed te krijgen. Zo haalde de encyclopedie op de Engelse FLEURS-test bijvoorbeeld slechts 49,61% goed, terwijl de gespecialiseerde detective 100,00% haalde.

De Magische Truk: De Encyclopedie Helpen
Dit is het meest interessante deel. Het team ontdekte dat zelfs al is de algemene AI (de encyclopedie) op zichzelf geen goede stemdetective, hij wordt veel slimmer als je hem eerst het antwoord vertelt.
Toen ze de geslachtsschatting van hun gespecialiseerde detective (MERaLiON-GR) namen en deze aan de encyclopedie gaven als een "hint" (metadata), schoot de prestatie van de encyclopedie omhoog.

Op de Vietnamese Common Voice sprong de nauwkeurigheid van de encyclopedie van 36,08% naar 96,08% door simpelweg eerst het geslacht te worden verteld.
Op de Engelse FLEURS sprong het van 49,61% naar 97,31%.

Dit suggereert dat hoewel algemene AI-modellen krachtig zijn, ze nog steeds een gespecialiseerde "assistent" nodig hebben om specifieke taken zoals het identificeren van geslacht aan te pakken. Zodod ze die aanwijzing hebben, kunnen ze hun enorme kennis gebruiken om de rest van het gesprek veel beter te begrijpen.

Waarom dit ertoe doet
Het artikel concludeert dat voor taken zoals het herkennen van geslacht in een mix van talen en lawaaierige omgevingen, je echt een toegewijde, gespecialiseerde tool nodig hebt. Je kunt niet alleen vertrouwen op een algemene AI om het uit te zoeken. Het MERaLiON-GR-model laat zien dat we door een slimme, efficiënte methode (LoRA) te gebruiken om een groot brein aan te passen aan een specifieke taak, systemen kunnen bouwen die de diverse stemmen van Zuidoost-Azië beter begrijpen dan ooit tevoren. Het is een herinnering dat de beste manier om een specifiek probleem op te lossen soms is om een specialist te bouwen, in plaats van alleen op een generalist te vertrouwen.

Technische Samenvatting: MERaLiON-GR

Probleemstelling

Spraakgenderherkenning (GR) is een fundamentele paralinguïstische taak die essentieel is voor spraakdiarisatie, profilering en forensische toepassingen. Hoewel menselijke luisteraars geslacht kunnen afleiden uit korte uitingen, hebben automatische systemen moeite om te generaliseren over diverse opnamecondities, talen, accenten, leeftijdsgroepen en kanaalkenmerken. Bestaande benaderingen kampen met twee primaire uitdagingen:

Generalisatie: Traditionele methoden die vertrouwen op handmatig ontworkte kenmerken (bijv. F0, formantfrequenties) of zelfs moderne deep learning-modellen, falen vaak in het behouden van robuustheid over de brede linguïstische diversiteit van Zuidoost-Azië (SEA) en Engels.
Efficiëntie versus Prestaties: Het volledig finetunen van grote voorgetrainde spraakmodellen (bijv. 24+ lagen) voor specifieke downstream-taken is computationeel duur en brengt het risico op catastrofale vergetelheid van de voorgetrainde representaties met zich mee.

Methodologie

De auteurs stellen MERaLiON-GR voor, een binair classificatiesysteem (vrouw/man) ontworpen voor Engels en Zuidoost-Aziatische talen. De architectuur integreert een grote voorgetrainde backbone met een parameter-efficiënte adaptatiestrategie en een gespecialiseerd downstream-netwerk.

1. Backbone: MERaLiON-SpeechEncoder-2 met LoRA

De kern van het systeem is MERaLiON-SpeechEncoder-2, een grote Conformer-gebaseerde transformer die is voorgetraind op een meertalige corpus die sterk rijk is aan Singaporeans Engels en andere Zuidoost-Aziatische talen.

Parameter-Efficient Fine-Tuning (PEFT): In plaats van alle 24 transformerlagen bij te werken, gebruiken de auteurs Low-Rank Adaptation (LoRA). LoRA-adapters worden ingevoegd in de attention-projectielagen, waarbij gewichtsupdates worden geparametriseerd via low-rank factoren (rank en schaleringsfactor ingesteld op 16). Dit vermindert de computationele kosten en de risico's op overfitting.
Normalisatie en Regularisatie: Het model maakt gebruik van rsLoRA-normalisatie en een LoRA-dropoutrate van 0,05.
Laagaggregatie: Alle 25 verborgen toestandsoutputs (input embeddings + 24 lagen) worden behouden. Een geleerd soft-attention mechanisme aggregeert deze per-laag gemiddelde representaties in een gewogen combinatie ( $H = \sum a_l h_l$ ), waardoor complementaire fonetische en spreker-niveau kenmerken worden gevangen.

2. Downstream Netwerk: ECAPA-TDNN

De geaggregeerde representatie wordt verwerkt door een ECAPA-TDNN netwerk dat is aangepast voor genderherkenning:

Architectuur: De input wordt geprojecteerd naar 512 dimensies en door drie SE-Res2Net blokken geleid met dilaties $\{1, 2, 3\}$ en een SE reductiefactor van 8.
Normalisatie: Alle BatchNorm-lagen zijn vervangen door GroupNorm-lagen om aan te sluiten bij de oorspronkelijke ECAPA-TDNN structuur.
Pooling en Classificatie: Attention pooling aggregeert temporele frames tot een embedding met een vaste lengte, die wordt geprojecteerd naar 256 dimensies. Een lineaire classificatiekop met RMSNorm en GELU-activatie brengt dit in kaart naar twee class-logits.

3. Trainingsstrategie

Datasets: Training maakt gebruik van zes partities: VoxCeleb1 (gender-gelabeld) en vijf partities van de IMDA Singapore spraakcorpus (dekking van geprompte scripts, spontane conversatie, code-switching en gestileerde spraak).
Optimalisatie: Het model gebruikt een multi-dataset trainingsstrategie met een klasse-gebalanceerde weighted cross-entropy loss om klasse-imbalans aan te pakken.
Hyperparameters: De LoRA-adapters en het downstream-netwerk gebruiken verschillende leersnelheden ( $5\times10^{-5}$ en $6\times10^{-4}$ , respectievelijk). Training maakt gebruik van een cosine scheduler met lineaire warm-up en label smoothing ( $\epsilon=0,1$ ).
Ensembling: Om robuustheid te verbeteren zonder extra overhead tijdens de inferentie, zijn de uiteindelijke modelparameters het gemiddelde van de vier checkpoints met de laagste categorische loss op de development set.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Een Parameter-Efficiënt Meertalig GR-Model: Een model gebouwd op MERaLiON-SpeechEncoder-2 met LoRA en ECAPA-TDNN dat de state-of-the-art Vox-Profile overtreft op 12 van de 15 publieke benchmarks over acht talen.
Robuuste Segment-Niveau Herkenning: Gedemonstreerde capaciteit om nauwkeurige genderherkenning uit te voeren op korte, "in-the-wild" spraaksegmenten (10–30 seconden), waarbij winsten tot 4,32 procentpunten (pp) worden behaald ten opzichte van Vox-Profile op Singaporeanse taalsets.
Verbeterde Audio-LLM Prestaties: Een demonstratie dat het injecteren van GR-schattingen als paralinguïstische metadata de prestaties van algemene Audio-LLM's aanzienlijk verbetert bij gender-gerelateerde vraag en antwoord, wat het nut van expliciete paralinguïstische kenmerken valideert.

Resultaten

Prestaties op Publieke Benchmarks

Geëvalueerd over acht talen (Engels, Chinees, Maleis, Tamil, Thais, Vietnamees, Indonesisch, Khmer) op 15 testsets:

Nauwkeurigheid: MERaLiON-GR behaalde een hogere nauwkeurigheid dan Vox-Profile op 12 van de 15 testsets en evenaarde de prestaties op de Khmer FLEURS benchmark.
Perfecte Scores: Het model behaalde een nauwkeurigheid van 100,00% op English FLEURS, Tamil OpenSLR en Thai Elderly benchmarks.
Significante Winsten: Opmerkelijke verbeteringen werden waargenomen op Tamil EmoTa (+4,71 pp), Vietnamese Common Voice (+3,14 pp) en Indonesian IndoWave (+3,00 pp).
Beperkingen: De prestaties namen af op Malay SMALDUSC (-4,40 pp) en Thai SER (-2,09 pp), toegeschreven aan domeinverschillen in opnamecondities en spraakstijlen vergeleken met de trainingsdata.

In-the-Wild Prestaties

Op een handmatig samengestelde Singapore evaluatieset (SG-ECMT) bestaande uit 10–30 seconden segmenten:

MERaLiON-GR presteerde consequent beter dan Vox-Profile over alle vier de talen (Singlish, Chinees, Maleis, Tamil).
De grootste verbetering werd gezien op Maleis (+4,32 pp), gevolgd door Tamil (+4,16 pp), wat de robuustheid van het model voor fijnmazige, segment-niveau pseudo-labeling onderstreept.

Audio-LLM Integratie

Wanneer de voorspelde gender als metadata in de Audio-LLM (GR-AudioLLM) werd geïnjecteerd:

De nauwkeurigheid verbeterde aanzienlijk over alle geëvalueerde datasets vergeleken met de basis Audio-LLM.
De winsten waren bijzonder spectaculair op Vietnamese Common Voice (+60,00 pp), English FLEURS (+47,70 pp) en Malay SMALDUSC (+41,20 pp), wat bevestigt dat expliciete paralinguïstische kenmerken effectieve conditioneringssignalen vormen voor spraak-taal begrip.

Betekenis en Claims

Het artikel claimt dat MERaLiON-GR de voortdurende waarde onderstreept van gespecialiseerde spraakmodellen voor het bereiken van nauwkeurige paralinguïstische begripsvorming en sterke cross-linguale generalisatie. De resultaten suggerieën dat:

Specialisatie Ertoe Doet: Algemene Audio-LLM's zijn minder effectief voor fijnmazige genderherkenning zonder taakspecifieke optimalisatie.
Efficiëntie Haalbaar Is: Parameter-efficiënte fine-tuning (LoRA) op grote voorgetrainde encoders kan state-of-the-art prestaties opleveren zonder de computationele kosten van volledige fine-tuning.
Metadata Nut Heeft: Het expliciet verstrekken van paralinguïstische metadata (zoals gender) verbetert de capaciteiten van multimodale modellen aanzienlijk bij het begrijpen van de spraakcontext, wat de integratie van gespecialiseerde encoders in bredere AI-pipelines ondersteunt.

Het werk positioneert MERaLiON-GR als een praktisch alternatief voor externe GR-modellen, met name voor toepassingen die een robuuste prestatie vereisen over diverse Zuidoost-Aziatische talen en ongecontroleerde opnameomgevingen.