Closing the Quality Gap in Low-Resource Text-to-Speech: LoRA Fine-Tuning of VoxCPM2 for Khmer and Korean

Technische Samenvatting: Het dichten van de kwaliteitskloof in tekst-naar-spraak voor bronarme talen via LoRA-fijnregeling van VoxCPM2

Probleemstelling
Hoewel grote vooraf getrainde tekst-naar-spraakmodellen (TTS) een bijna menselijke kwaliteit bereiken voor talen met voldoende middelen (bijv. Engels, Mandarijn), vertonen ze een aanzienlijke kwaliteitskloof voor talen met weinig middelen. Deze kloof wordt gekenmerkt door foutieve uitspraak, ongemakkelijke klemtoon en intonatie, en een merkbare synthetische kwaliteit. Het probleem is bijzonder acuut voor talen zoals Khmer, die ondervertegenwoordigd zijn in de pretraining-data en unieke orthografische kenmerken bezitten (bijv. het ontbreken van spaties tussen woorden). Conventionele volledige fijnregeling (full fine-tuning) is computationeel duur, vereist aparte checkpoints voor elke taal en brengt het risico op catastrofale vergetelheid (catastrophic forgetting) met zich mee. Parameter-efficiënte fijnregeling (PEFT), specifelijk Low-Rank Adaptation (LoRA), biedt een potentiële oplossing, maar de effectiviteit ervan in het dichten van de kwaliteitskloof voor low-resource TTS en het vermogen om meerdere typologisch verschillende talen via een enkele gedeelde adapter te bedienen, blijven openstaande vragen.

Methodologie
De auteurs onderzoeken deze vragen met behulp van VoxCPM2, een 2.4B-parameter, tokenizer-vrij TTS-model dat een MiniCPM-4 taalmodel-backbone combineert met een flow-matching diffusie-decoder.

• Corpusconstructie: Er is een gedeeld, taal-getagd corpus gecreëerd bestaande uit ongeveer 26 uur audio van Khmer (3.96 uur) en Koreaans (22.21 uur). De Khmer-data werd afkomstig van het Institute of Digital Research & Innovation (Cambodja), terwijl de Koreaanse data afkomstig was van de KSS-corpus en Common Voice/FLEURS. Om het tekort aan data aan te pakken, werden de Khmer-trainingsfragmenten geupsampled zodat ze 40% van de trainingsmix vormden.
• Modeladaptatie: In plaats van volledige fijnregeling werd een enkele gedeelde LoRA-adapter bevestigd aan de bevroren VoxCPM2-backbone. Deze adapter werd toegepast op de query-, key-, value- en output-projecties van de aandachtmechanismen in zowel de MiniCPM-4 taalmodel (basis- en residuele lagen) als de flow-matching diffusie-decoder.
• Trainingsconfiguratie: De adapter werd met nul geïnitialiseerd ($\Delta W = 0$), wat garandeerde dat de training exact begon bij de zero-shot baseline. De studie testte vijf rank-configuraties ($r \in \{8, 16, 32, 64, 128\}$), wat overeenkomt met 0.19% tot 3.03% van de totale parameters. De training maakte gebruik van de AdamW-optimizer met mixed precision op een enkele NVIDIA H200 GPU.
• Evaluatie: Prestaties werden gemeten via:
  1. Automatische metrieken: Validatie flow-matching loss en stop-token loss.
  2. Menselijke evaluatie: Mean Opinion Scores (MOS) van moedertaalsprekers op een 5-punts schaal over drie assen: natuurlijkheid, prosodie en uitspraak. Statistische significantie werd beoordeeld met gepaarde Wilcoxon signed-rank tests.

Belangrijkste Resultaten
De studie leverde uiteenlopende resultaten voor de twee talen op, wat de afhankelijkheid van de effectiviteit van adaptatie benadrukt van de initiële bekwaamheid van het basismodel:

• Khmer (Low-Resource): De adapter produceerde een zeer significante verbetering in kwaliteit. De algemene MOS steeg van 3.85 (zero-shot) naar 4.23 bij rank 64 ($p < 0.001$). De meest substantiële winst werd waargenomen in prosodie (stijgend van 3.76 naar 4.36), wat aangeeft dat de primaire zwakte van het basismodel lag in ritme en intonatie. Opvallend genoeg behaalde zelfs de kleinste adapter (rank 8) de meeste winst, met een MOS van 3.91.
• Koreaans (Well-Resourced): Het basismodel verwerkte Koreaans al goed, en de adapter bood geen significante algemene verbetering. Sterker nog, hogere ranks (specifiek rank 64) verslechterden de kwaliteit aanzienlijk (MOS daalde naar 3.48, $p = 0.02$), voornamelijk door een verlies aan natuurlijkheid. Dit suggereert dat voor talen die het model al goed kent, extra capaciteit leidt tot overfitting op de kleine fine-tuning dataset.
• Discrepantie tussen Loss en Perceptie: Een kritieke bevinding is de mismatch tussen automatische loss en menselijke perceptie. De validatie loss was het laagst bij rank 128 (0.7094), terwijl de hoogste MOS voor Khmer optrad bij rank 64. De loss bleef dalen bij rank 128, maar de perceptuele kwaliteit daalde, wat suggereert dat validatie loss de waarde van extra capaciteit overschat.

Belangrijkste Bijdragen

1. Gedeelde Meertalige Adapter: De auteurs presenteren de eerste parameter-efficiënte adaptatie van een foundation TTS-model voor Khmer. Ze demonstreren dat een enkele, kleine LoRA-adapter (0.19–3.03% van de parameters) effectief kan dienen voor twee typologisch verschillende talen (Khmer en Koreaans) tegelijkertijd, zonder dat er aparte modellen nodig zijn.
2. Gerichte Adaptatie-effectiviteit: De studie valideert empirisch dat adaptatie alleen significante winst oplevert waar het basismodel werkelijk zwak is. De "nuttige" adaptergrootte schaalt met de afstand tussen de taal en de bestaande kennis van het model; grote gaten (Khmer) absorberen meer capaciteit, terwijl kleine gaten (Koreaans) lijden onder overfitting.
3. Inzicht in Rank-selectie: Het artikel daagt het vertrouwen in validatie loss voor hyperparameterselectie in TTS uit. Het demonstreert dat de optimale rank voor perceptuele kwaliteit (rank 64 voor Khmer) niet noodzakelijkerwijs overeenkomt met de laagste validatie loss (rank 128), en pleit voor luistertests als de primaire metriek voor rank-selectie.
4. Diagnostisch Nut: De auteurs stellen voor dat de omvang van de verbetering die een met nul geïnitialiseerde adapter biedt, dient als een sonde voor de bestaande kennis van het basismodel over een taal.

Betekenis en Claims
Het artikel claimt dat kleine LoRA-adapters een zeer effectief, hulpbron-efficiënt mechanisme zijn om de kwaliteitskloof in low-resource TTS te dichten, mits het basismodel onvoldoende voorkennis heeft van de doeltaal. De studie benadrukt dat een "one-size-fits-all" globale rank ongepast is; in plaats daarvan moet de rank-selectie taalspecifiek zijn en geleid worden door perceptuele evaluatie in plaats van automatische loss.

De auteurs merken bescheiden beperkingen op, waaronder het ontbreken van een volledige fine-tuning upper bound, de mogelijke verstorende factoren tussen taaldekking en de kwaliteit van de databron (private versus publieke corpora), en de relatief kleine panelen van beoordelaars voor de MOS-evaluatie. Ze concluderen dat toekomstig werk zich moet richten op het vaststellen van volledige fine-tuning baselines en het uitbreiden van de evaluatie naar meer low-resource talen en objectieve metrieken.