JaiTTS: A Thai Voice Cloning Model

1. Probleemstelling

Het paper adresseert drie kritieke gaten in de huidige Tekst-naar-Spraak (TTS) technologie, specifiek met betrekking tot de Thaise taal:

• Engels-gecentreerde Bias: De meeste state-of-the-art open-source en commerciële TTS-modellen zijn zwaar geoptimaliseerd voor het Engels. Hoewel meertalige modellen (bijv. Qwen3-TTS) bestaan, lijden ze vaak aan uitspraak- en prosodie-fouten in het Thai vanwege de schaarste aan Thaise data in hun trainingscorpora.
• Beperkingen van Bestaande Thaise Modellen: Toegewijde Thaise systemen (bijv. ThonburianTTS) zijn vaak beperkt in zero-shot spreker-kloonmogelijkheden en worstelen met spraakgeneratie van lange duur omdat ze zijn getraind op datasets die worden gedomineerd door korte uitingen.
• Complexe Voorverwerkingsvereisten: Traditionele Thaise TTS-pijplijnen vertrouwen zwaar op complexe tekstnormalisatie om cijfers en frequente Thai-Engelse code-switching (gemeenschappelijk in het echte gebruik) te verwerken. Dit voegt implementatiecomplexiteit en potentiële foutpunten toe.
• Codec-beperkingen: Recente autoregressieve modellen die discrete audiocodecs gebruiken (zoals X-codec2) missen een geverifieerd vermogen om Thais-specifieke fonetische contrasten te reconstrueren, zoals lexicaal toon en medeklinkerclusters, aangezien hun trainingsdata naar verluidt het Thai uitsluit.

2. Methodologie

De auteurs presenteren JaiTTS-v1.0, een state-of-the-art stemkloonmodel dat is aangepast van VoxCPM. Het systeem is ontworpen om tokenizer-vrij te zijn, waardoor externe spraakcodecs volledig worden omzeild.

Architectuur Overzicht

Het model werkt via een hiërarchische pijplijn van vier kerncomponenten (geïllustreerd in Figuur 1 van het paper):

1. Text-Semantisch Taalmodel (TSLM): Een decoder-only Transformer (geïnitieerd vanuit MiniCPM-4) die conditieert op getokeniseerde tekst en historische akoestische context. Het genereert een continue semantisch-prosodische representatie, waarbij inhoud en leveringsstijl gezamenlijk worden vastgelegd.
2. Finite Scalar Quantization (FSQ): Deze laag comprimeert de continue output van het TSLM tot een "semi-discrete skelet". Het fungeert als een regularisator, stabiliseert het planningsignaal en behoudt tegelijkertijd differentieerbaarheid via een straight-through estimator.
3. Residual Acoustic Language Model (RALM): Een decoder-only Transformer die het semi-discrete skelet verfijnt. Het specialiseert zich in akoestische expressiviteit en sprekerkenmerken, en voegt details toe die de discrete bottleneck niet kan representeren.
4. Local Diffusion Transformer (LocDiT): Een bidirectionele Transformer die de uiteindelijke continue latente spraakpatches decodeert. Het gebruikt flow-matching denoising, geconditioneerd op het gecombineerde signaal van het FSQ-skelet en RALM-residuen, evenals de vorige audiopatch om continuïteit tussen patches te waarborgen.
5. Stop Predictor: Een lichtgewicht kop die het einde van de sequentie voorspelt om de generatie te beëindigen.

Trainingsstrategie

• Data: Getraind op een Thai-gecentreerd corpus van ~10.000 uur, waarbij algemeen conversatie-/formeel spraak wordt gecombineerd met domeinspecifieke content (Financiën, Gezondheidszorg, Onderwijs, Recht).
• Directe Verwerking: Het model is getraind om ruwe tekst direct te verwerken, waarbij Thai-Engelse code-switching en cijfers worden verwerkt zonder expliciete tekstnormalisatie.
• Doel: Het systeem is end-to-end geoptimaliseerd met een gecombineerde verliesfunctie van Flow Matching (voor het diffusieproces) en Binary Cross-Entropy (voor de stoppredictor).

3. Belangrijkste Bijdragen

• Eerste Hoogpresterende Thaise Stemkloon: JaiTTS-v1.0 is het eerste model dat state-of-the-art (SOTA) prestaties bereikt in Thaise stemkloon, waarbij het menselijke grondwaarheid overtreft in taken van korte duur en hiermee gelijktrekt in taken van lange duur.
• Tokenizer-vrije Architectuur: Door VoxCPM aan te passen, vermijdt het model de beperkingen van fonetische reconstructie van discrete audiocodecs, waardoor een nauwkeurigere modellering van Thaise tonen en clusters mogelijk wordt.
• Robuustheid tegen Real-World Input: Het model elimineert de noodzaak voor complexe tekstnormalisatiepijplijnen en synthetiseert spraak direct vanuit ruwe tekst die gemengde talen en cijfers bevat.
• Nieuwe Benchmark: De auteurs introduceren een nieuw evaluatiekader dat taken splitst in Korte Duur (1–15s) en Lange Duur (16–30s) om real-world use cases beter te reflecteren en stabiliteit in de tijd te testen.

4. Experimentele Resultaten

Objectieve Metrieken

• Taken van Korte Duur: JaiTTS-v1.0 behaalde een Character Error Rate (CER) van 1,94%, wat de menselijke grondwaarheid (1,98%) overtrof en alle baselines versloeg (Qwen3-TTS-1.7B: 2,56%; ThonburianTTS: 6,26%).
• Taken van Lange Duur: Het model behield een CER van 2,55%, wat dicht bij menselijke prestaties (2,47%) lag. Daarentegen degradeerde Qwen3-TTS-1.7B naar 3,64%, en ThonburianTTS slaagde er niet in om zinnige output te genereren.
• Spreker Similariteit (SIM): Bereikte een competitieve SIM van 0,62 voor korte taken en 0,76 voor lange taken.

Efficiëntie

• Real-Time Factor (RTF): JaiTTS-v1.0 behaalde een RTF van 0,1136, wat betekent dat het spraak bijna 9x sneller dan real-time genereert. Dit is ongeveer 13x sneller dan de autoregressieve Qwen3-TTS-modellen (RTF > 1,5) en iets sneller dan de niet-autoregressieve ThonburianTTS (0,1150).

Menselijke Beoordeling Evaluatie

• Vergelijking: Getest tegen commerciële vlaggenschepen ElevenLabs (eleven_v3) en MiniMax (speech-2.8-hd).
• Uitkomst: In 400 paarwijze vergelijkingen won JaiTTS-v1.0 283 keer, eindigde 59 keer gelijk en verloor slechts 58 keer.
• Voorkeur: Menselijke beoordelaars gaven JaiTTS-v1.0 ongeveer 70% van de tijd de voorkeur, waarbij ze superieure natuurlijkheid, verstaanbaarheid (vooral bij code-switching/cijfers) en spreker similariteit aanhaalden.

5. Betekenis

JaiTTS-v1.0 vertegenwoordigt een grote sprong voorwaarts in TTS voor talen met beperkte middelen. Het demonstreert dat tokenizer-vrije, autoregressieve architecturen zowel traditionele meertalige modellen als toegewijde modellen voor kleine talen kunnen overtreffen wanneer ze worden getraind op hoogwaardige, domein-diverse data.

Het vermogen om ruwe tekst met code-switching en cijfers te verwerken zonder normalisatie vereenvoudigt implementatiepijplijnen aanzienlijk. Bovendien lost zijn superieure prestatie in generatie van lange duur een kritiek faalpunt op in bestaande modellen op, waardoor het levensvatbaar wordt voor toepassingen zoals luisterboeken, het maken van langformaat content en complexe dialogsystemen. Het model stelt een nieuwe benchmark voor Thaise spraaksynthese, bewijzend dat gespecialiseerde, hoogwaardige trainingsdata de beperkingen van generalistische meertalige modellen kan overwinnen.