When Fine-Tuning Fails and when it Generalises: Role of Data Diversity and Mixed Training in LLM-based TTS

Dit onderzoek toont aan dat LoRA-finetuning van een compact LLM (Qwen-0.5B) voor tekst-naar-spraak, mits ondersteund door diverse trainingsdata, aanzienlijke verbeteringen oplevert in perceptuele kwaliteit, sprekerstrouw en signaalruisverhouding vergeleken met een bevroren basismodel.

De kern

Stel je voor dat je een digitale stem wilt maken die precies klinkt als een specifieke persoon. Dit is wat "Text-to-Speech" (TTS) doet: het zet tekst om in spraak.

In dit onderzoek kijken de auteurs naar een nieuwe manier om deze digitale stemmen te verbeteren. Ze gebruiken een slimme computer (een "Large Language Model" of LLM) als de hersenen van het systeem. Maar deze hersenen zijn eerst nog te "algemeen". Ze moeten getraind worden om die specifieke stem te leren.

Hier is wat ze hebben ontdekt, vertaald naar simpele taal met een paar leuke vergelijkingen:

1. Het probleem: De "Grote Leraar" vs. De "Specifieke Stem"

Stel je voor dat je een zeer intelligente leraar hebt (het basis-model) die alles over de wereld weet, maar nooit een specifieke persoon heeft ontmoet. Als je vraagt: "Spreek als mijn oom", zal de leraar een heel goede, neutrale stem gebruiken, maar hij klinkt niet echt als je oom.

Om dat te veranderen, moeten we de leraar een korte, speciale training geven. Dit noemen ze Fine-Tuning. Ze gebruiken een slimme truc genaamd LoRA.

• De Analogie: In plaats van de hele leraar opnieuw te laten studeren (wat heel duur en traag is), plakken ze een klein, slim "sticker-pakketje" (LoRA) op de leraar. Dit pakketje leert alleen de specifieke kenmerken van die ene stem.

2. De Grote Ontdekking: Het hangt af van de "Kwaliteit van de Oefeningen"

Dit is het belangrijkste punt van het onderzoek. Het sticker-pakketje werkt niet altijd even goed. Het succes hangt af van de audio die je gebruikt om te trainen.

• Scenario A: De Variabele Oefening (Succesvol)
  Stel je voor dat je de leraar laat oefenen met opnames van je oom die in verschillende situaties zijn gemaakt: in de auto, in de tuin, fluisterend, hard schreeuwend, met wat achtergrondgeluid.

  • Resultaat: De leraar leert de essentie van de stem. Hij leert hoe je oom klinkt, ongeacht de omstandigheden. De digitale stem klinkt niet alleen als je oom, maar ook heel natuurlijk en schoon.
  • Wetenschappelijke term: Hoge "acoustische variabiliteit".

• Scenario B: De Eenduidige Oefening (Mislukking)
  Stel je voor dat je de leraar alleen maar laat oefenen met opnames van je oom die allemaal in dezelfde kamer zijn gemaakt, met dezelfde microfoon, en altijd op precies dezelfde toon.

  • Resultaat: De leraar wordt een "overgevoelige" kopie. Hij leert niet alleen de stem, maar ook de foutjes van die opname. Hij leert het piepen van de microfoon, het geluid van de airco, en de ruis. De digitale stem klinkt misschien wel als je oom, maar dan alsof hij in een slechte telefoon zit.
  • Wetenschappelijke term: Lage variabiliteit / "Acoustisch homogeen".

De les: Als je een digitale stem wilt maken die goed klinkt, moet je veel verschillende opnames gebruiken. Als je alleen maar saaie, identieke opnames gebruikt, leert de computer de ruis mee.

3. De Valstrik: "Hoe lager de score, hoe beter?"

Normaal gesproken kijken programmeurs naar een "verlies-score" (een cijfer dat aangeeft hoe fout het model is). Als dit cijfer daalt, denken ze: "Super, het wordt beter!"

Maar in dit onderzoek vonden ze iets vreemds:

• Voor sommige stemmen daalde de score (het model werd "slimmer" in wiskundige zin), maar de menselijke kwaliteit werd juist slechter.
• De Analogie: Het is alsof een student die examen doet voor een taal. Hij leert de grammatica perfect (de score daalt), maar hij spreekt met een rare, robotachtige accent omdat hij alleen maar uit een droge handleiding heeft geleerd. Hij is "wiskundig perfect", maar klinkt niet menselijk.
• Conclusie: Je kunt niet alleen naar de computercijfers kijken; je moet ook met je oren luisteren.

4. De Oplossing: Een "Mix" van Stemmen

Wat als je niet genoeg opnames van één persoon hebt?
De auteurs ontdekten dat je het beste een mengsel kunt maken. Als je de leraar laat oefenen met 10 verschillende mensen (elk een beetje), leert hij een heel sterke basis van "hoe een mens klinkt".

• Als je daarna vraagt om een nieuwe stem te imiteren (die hij nog nooit heeft gezien), doet hij het verrassend goed.
• Vergelijking: Het is alsof je een kok die in 10 verschillende restaurants heeft gewerkt. Als je hem vraagt een nieuw gerecht te maken, kan hij dat veel beter dan een kok die alleen maar in één klein café heeft gewerkt.

5. Snelheid: De "GGUF" Truc

Tot slot kijken ze naar snelheid. Een slimme computer kan soms heel traag zijn. Ze gebruikten een techniek (GGUF) om het model te "verkleinen" zonder dat de kwaliteit te veel zakt.

• Resultaat: Het model werd 5 tot 6 keer sneller.
• Vergelijking: Het is alsof je een zware, dure vrachtwagen vervangt door een snelle, wendbare sportauto die net zo goed kan rijden, maar veel minder brandstof verbruikt. Hierdoor kun je de stem in realtime gebruiken (bijvoorbeeld voor een chatbot).

Samenvatting in één zin

Om een perfecte digitale stem te maken, moet je de computer niet alleen "slimmer" maken, maar vooral veelzijdige oefeningen geven; anders leert hij de ruis en de foutjes van de opname mee, in plaats van de echte stem.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "When Fine-Tuning Fails and when it Generalises: Role of Data Diversity and Mixed Training in LLM-based TTS", vertaald en samengevat in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker gebruikt als semantische ruggengraat voor neurale Text-to-Speech (TTS) systemen. Echter, de standaard, "bevroren" (frozen) LLM-representaties zijn onvoldoende om spraakspecifieke akoestische en perceptuele kenmerken (zoals stemkarakteristieken) nauwkeurig te modelleren.
Bestaande literatuur richt zich vaak op het aanpassen van downstream-componenten (zoals akoestische decoders of spreker-embeddings) terwijl de taalmodelleringskern ongewijzigd blijft. Er is een gebrek aan systematisch onderzoek naar het LoRA (Low-Rank Adaptation) fine-tunen van de LLM-ruggengraat zelf voor TTS-taken. Het is onduidelijk hoe dit de perceptuele kwaliteit, de spreker-identiteit en de stabiliteit beïnvloedt, en welke rol de diversiteit van de trainingsdata speelt bij succes of falen.

Methodologie

De auteurs hebben een empirisch onderzoek uitgevoerd waarbij ze de Qwen-0.5B taalmodel-ruggengraat (gebruikt in het NeuTTS-systeem) hebben gefinetuned met LoRA voor voice cloning-taken.

• Aanpak: In plaats van alleen de syntheselaag aan te passen, werd LoRA direct toegepast op de attention-lagen (q_proj, k_proj, v_proj) van het taalmodel. Dit stelt het model in staat om akoestische tokens te voorspellen die zijn geconditioneerd op tekst en een spreker-prompt.
• Data: Er werden twee datasets gebruikt: HiFi-TTS (publieke audioboeken, hoge variabiliteit) en Libriheavy-HQ (langere clips, soms lagere kwaliteit). Er werden zes verschillende sprekers getest met variërende akoestische eigenschappen.
• Vergelijkingen:
  • Volledige fine-tuning (Full Finetuning) vs. LoRA fine-tuning.
  • Fine-tuning op specifieke sprekers vs. multi-spreker training (gemengde data).
  • Verschillende inferentie-temperaturen en top-k sampling parameters.
  • Gebruik van GGUF-quantisatie (Q8) voor inferentie-optimalisatie.
• Metingen: De prestaties werden gemeten aan de hand van:
  • DNS-MOS: Een gesimuleerde Mean Opinion Score voor perceptuele kwaliteit (1-5 schaal).
  • Sprekersimilariteit: Cosine-similariteit van embeddings (WeSpeaker).
  • SNR (Signal-to-Noise Ratio): Geschat met WADA-SNR.
  • Latentie: Eerste chunk latency en generatietijd.

Belangrijkste Bijdragen

1. LoRA op de LLM-ruggengraat: Het paper toont aan dat het direct aanpassen van de taalmodel-laag (in plaats van alleen de decoder) effectief is voor spreker-adaptatie in compacte TTS-systemen.
2. Decoupling van Loss en Kwaliteit: De auteurs identificeren een kritiek fenomeen waarbij de trainings- en validatie-loss monotoon verbetert, terwijl de perceptuele kwaliteit (DNS-MOS) juist verslechtert, vooral bij sprekers met weinig variatie in de trainingsdata.
3. Rol van Data-Variabiliteit: Er wordt aangetoond dat akoestische variabiliteit (met name de standaardafwijking van energie in de audio) de sterkste voorspeller is voor succesvolle fine-tuning.
4. Optimalisatie van Hyperparameters: Het paper laat zien dat inferentie-parameters (zoals temperatuur) de perceptuele kwaliteit kunnen beïnvloeden en dat deze afhankelijk zijn van de variabiliteit van de trainingsdata.
5. Latentie en Quantisatie: Demonstratie dat het gebruik van GGUF-quantisatie de inferentietijd drastisch verlaagt (van ~25s naar ~5s) zonder significante kwaliteitsverlies, wat toepasbaar is in productieomgevingen.

Resultaten

• Succesvolle Adaptatie (Hoge Variabiliteit): Sprekers met trainingsdata die hoge variatie in akoestische energie en perceptuele kwaliteit vertonen (bijv. spreker 2 met een energie-std > 13 dB), lieten significante verbeteringen zien:
  • DNS-MOS verbetering tot +0.42 punten.
  • Verbeterde sprekersimilariteit.
  • SNR-stijging tot 34%.
• Falende Adaptatie (Lage Variabiliteit): Sprekers met homogeen, "schone" maar weinig variabele data (lage energie-std < 10 dB) ervoeren vaak een perceptuele degradatie, ondanks dat de loss daalde. Het model versterkte hierbij zelfs ruis en opname-artefacten uit de smalle trainingsdistributie.
• Loss-Kwaliteit Divergentie: Bij sprekers met lage variabiliteit bleef de loss dalen terwijl de MOS daalde. Dit betekent dat standaard vroege stop-criteria (early stopping) gebaseerd op loss niet betrouwbaar zijn voor LLM-based TTS; perceptuele evaluatie is noodzakelijk.
• Multi-Spreker Generalisatie:
  • Modellen getraind op een mix van sprekers (zelfs met slechts 11-22% van de data per spreker) presteerden beter dan zero-shot baselines op onbekende sprekers.
  • Een gedeeld model kon binnen 5-9% van de sprekersimilariteit van een dedicated single-speaker model blijven, maar voor alle sprekers tegelijkertijd.
• Inferentie: Het gebruik van GGUF Q8 quantisatie resulteerde in een 5-6x versnelling in generatietijd ten opzichte van full-precision modellen, met een eerste chunk latency van ongeveer 0.3-0.4 seconden op GPU.

Significantie en Conclusie

Dit werk stelt vast dat LoRA fine-tuning niet slechts een parameter-efficiënte optimalisatietechniek is, maar een krachtig mechanisme voor spreker-adaptatie in compacte LLM-based TTS-systemen. De kernconclusie is dat data-diversiteit de bepalende factor is voor succes.

• Voorwaarde voor succes: Om perceptuele kwaliteit te verbeteren, moet de trainingsdata voldoende akoestische variabiliteit bevatten (hoge energie-std). Homogene data leidt tot overfitting op artefacten en kwaliteitsverlies.
• Praktische implicatie: Voor voice cloning moet men niet alleen kijken naar de lengte of helderheid van de referentieaudio, maar vooral naar de diversiteit van de opnames (verschillende microfoons, ruimtes, energie-niveaus).
• Toekomst: De auteurs bevelen aan om perceptuele metrics (zoals DNS-MOS) te gebruiken in plaats van alleen loss-curves voor het selecteren van checkpoints en om gemengde trainingstrategieën te gebruiken voor schaalbare, multi-spreker systemen.

Kortom, dit paper biedt een blauwdruk voor het bouwen van robuuste, lage-latentie voice-to-voice systemen die gebruikmaken van LLM's, mits de trainingsdata-strategie zorgvuldig is afgestemd op de vereiste akoestische diversiteit.