Technische Samenvatting: Betrouwbare Neural-Codec Tekst-naar-Spraak door ASR Zelfverificatie en Distillatie

1. Probleemstelling

Neural-codec Tekst-naar-Spraak (TTS) modellen, die autoregressieve taalmodellen gebruiken over discrete akoestische tokens gedecodeerd door neurale codecs, zijn een dominante open paradigma geworden. Ze lijden echter aan stochastische catastrofale fouten. Hoewel deze modellen de meeste zinnen helder renderen, falen ze onvoorspelbaar bij een betekenend deel van de uitingen door:

• Uitval (Dropping out): Het uitzenden van stilte of voortijdig stoppen (spraak-token aantal < 25).
• Instorting (Collapsing): Het genereren van repetitieve loops of gehallucineerde inhoud.

Deze foutmodi maken de modellen ongeschikt voor implementatie. Eerder werk heeft deze foutmodi gekarakteriseerd, maar een algemene, goedkope oplossing die toepasbaar is op verschillende modellen en codecs is tot nu toe onbereikbaar gebleven. Het artikel identificeert dat de standaard Word Error Rate (WER) onvoldoende is om robuustheid in deze context te meten, met name voor getallen en datums, vanwege ruis door canonisering van cijfers versus woorden.

2. Methodologie

A. Metriek: ASR Round-Trip Verificatie

De auteurs stellen een formaat-robuuste metriek voor gebaseerd op een Automatic Speech Recognition (ASR) round-trip. Een generatie $g$ voor referentietekst $x$ wordt gemarkeerd als een catastrofale fout als:

1. Uitval: Het aantal gedecodeerde spraak-tokens $n(g) < 25$ OF het ASR-transcript woordenaantal $|h(g)| \le 1$.
2. Instorting/Verkeerde Inhoud: De Word Error Rate $WER(h(g), x) > 0.5$.

Deze metriek vermijdt de verwarrende artefacten van nummer-/datumformattering die de standaard WER plagen.

B. Test-Time Oplossing: Best-of-N Zelfverificatie

De primaire interventie is een test-time procedure waarbij $N$ kandidaten worden gesampled voor een enkele prompt. Elke kandidaat wordt getranscribeerd via ASR, en de kandidaat met de laagste WER (die geen uitval is) wordt geselecteerd.

• Een prompt wordt alleen als een "fout" beschouwd als alle $N$ kandidaten falen.
• Dit fungeert als een oracle selectiemechanisme, waardoor de catastrofale foutenrate (CFR) daalt naarmate $N$ toeneemt.

C. Inference-Time Oplossing: Distillatie

Om de $N \times$ inference kosten van Best-of-N te elimineren, distilleren de auteurs het geverifieerde gedrag terug naar het model:

• Supervised Fine-Tuning (SFT): Het model wordt gefinetuned (met behulp van LoRA) op de enkele beste zelf-geverifieerde sample voor elke trainingsprompt.
• Preference Optimization: De auteurs vergelijken SFT met offline Direct Preference Optimization (DPO), Iterative Preference Optimization (IPO) en een Failure-Targeted Pairing (FTPO) waarbij afgewezen samples specifiek uitvallers of instortingen zijn.
• Online Iteratieve Variant: Een on-policy benadering waarbij het model in rondes opnieuw samplet, opnieuw scoort en opnieuw traint.

3. Experimentele Opzet

• Modellen: Vier open systemen werden getest: Llasa-1B, Llasa-3B, Orpheus-3B en CSM-1B.
• Codecs: Drie verschillende neurale codecs werden gebruikt: XCodec2, SNAC en Mimi.
• Datasets:
  • Hard Set: 26 handgeschreven prompts (normaal, lang, tongbrekers) ontworpen om robuustheid te testen (156 generaties).
  • Standard Corpus: 120 uitgesloten LibriSpeech test-clean transcripten (360 generaties).
• Baseline: Single-shot (Best-of-1) catastrofale foutenrates varieerden van ~0.008 tot ~0.36, afhankelijk van het model en de moeilijkheidsgraad van de input.

4. Belangrijkste Resultaten

A. Best-of-N Brengt Fouten Bijna naar Nul

Het zelfverificatiemechanisme elimineert catastrofale fouten effectief over diverse architecturen:

• LibriSpeech (Standaard): Voor Llasa-1B, Orpheus-3B en CSM-1B daalde de foutenrate naar 0 geobserveerde fouten (95% bovengrens $\approx 0.008$) bij $N=2$.
• Hard Set: Voor Llasa-1B daalde de rate van 0.269 (single-shot) naar 0 geobserveerde fouten bij $N=4$.
• Generalisatie: Deze reductie werd gereproduceerd over drie verschillende codecs (XCodec2, SNAC, Mimi) en vier modellen, wat suggereert dat de fix een algemene eigenschap is van codec-TTS en geen modelspecifiek artefact.
• Beperking: Llasa-3B bereikte de nul-vloer niet (plateauerde op 0.033), en de auteurs schrijven dit toe aan een strikter generatiebudget dat tijdens de 3B run werd gebruikt, in plaats van een fundamentele schaalbeperking.

B. Distillatie Maakt de Fix "Gratis"

Het distilleren van het zelf-geverifieerde gedrag in het model herstelt de robuustheid in single-shot decoding:

• Hard Inputs: Op de hard set daalden de single-shot foutenrates van 0.199 (basis) naar 0.083–0.096 (gedistilleerd), waarmee ~52–58% van de foutenmassa werd gedicht.
• Easy Inputs: Op standaard LibriSpeech proza, waar het basismodel al betrouwbaar was (0.058), toonde distillatie geen detecteerbare verandering, wat bevestigt dat de winst geconcentreerd is waar het nodig is.
• Kosten: Het gedistilleerde model behaalt deze winsten met geen test-time kosten (single-shot inference).

C. Preference Optimization vs. Supervised Distillatie

• Offline Methoden: Offline DPO, IPO en FTPO presteerden niet beter dan gewone supervised distillatie (SFT). De verschillen waren statistisch ononderscheidbaar (intervallen overlapten sterk).
• Online Iteratief: Een online, iteratieve on-policy variant vertoonde de laagste foutenrates (0.013–0.026), maar werd geëvalueerd op een kleinere subset. De auteurs merken op dat dit een veelbelovende richting is, maar dat het op dit moment statistisch niet scheidbaar is van single-pass distillatie op hun huidige evaluatieschaal.

D. Capaciteitsplafonds

De studie identificeert twee limieten die zelf-distillatie niet kan overwinnen:

1. Zeldzame Woorden: Voor prompts met zeldzame woorden (bijv. otorhinolaryngologist) mist het basismodel vaak de capaciteit om een getrouwe sample te genereren, zelfs met $N=3$. Distillatie kan geen capaciteit creëren die het basismodel niet bezit.
2. Robuustheid van Getallen/Datums: De metriek voor deze inputs wordt gedomineerd door tokenisatie/canonicalisatie-artefacten in plaats van akoestische fouten, wat een meetlimiet maakt in plaats van een oplosbaar robuustheidsprobleem via deze methode.

5. Betekenis en Claims

De paper claimt dat catastrofale fouten in neural-codec TTS niet een intrinsieke prijs van het paradigma zijn, maar een oplosbaar betrouwbaarheidsprobleem.

• Algemene Fix: De combinatie van Best-of-N verificatie en distillatie is een algemene oplossing die werkt over meerdere modellen en codecs, niet slechts een specifiek systeemkenmerk.
• Kostenefficiëntie: De "fix" is goedkoop te implementeren tijdens test-time (sampling) en kan gratis worden gemaakt tijdens inference-time (distillatie).
• Gerichte Verbetering: De methode richt zich specifiek op de "foutbudget" (harde inputs) zonder de prestaties op reeds betrouwbare inputs te verslechteren.
• Eerlijke Beperkingen: De auteurs geven expliciet aan dat hun methode de gap in capaciteit voor zeldzame woorden niet oplost, en dat de online iteratieve variant, hoewel veelbelovend, verdere validatie op schaal vereist. Ze erkennen ook dat de winst van distillatie momenteel wordt afgeleid uit een cross-regime vergelijking (hard vs. easy sets) en een binnen-corpus moeilijkheidsgraad sweep vereist om het mechanisme volledig te isoleren.

Concluderend demonstreert het artikel dat een eenvoudige, referentie-bewuste verificatieloop de catastrofale foutenrates bijna naar nul kan brengen, en dat deze robuustheid succesvol kan worden overgedragen naar single-shot inference, waardoor neural-codec TTS aanzienlijk levensvatbaarder wordt voor implementatie.