Kinetic-Optimal Scheduling with Moment Correction for Metric-Induced Discrete Flow Matching in Zero-Shot Text-to-Speech

Technische Samenvatting: Kinetisch-Optimale Planning met Momentcorrectie voor Metrisch-Geïnduceerde Discrete Flow Matching in Zero-Shot Tekst-naar-Spraak

Probleemstelling
Metrisch-Geïnduceerde Discrete Flow Matching (MI-DFM) biedt een principiële aanpak voor discrete generatieve modellering door gebruik te maken van de geometrie van token-latente ruimten, waarbij tussentijdse verdelingen worden gedefinieerd als Gibbs-verdelingen over token-latente afstanden. De praktische implementatie van MI-DFM wordt momenteel echter belemmerd door twee hoofdbeperkingen:

1. Heuristische Planning: Bestaande tijdsplanners voor MI-DFM zijn doorgaans heuristisch en vereisen een uitgebreide zoektocht naar hyperparameters om de snelheid te bepalen waarmee de Gibbs-verdeling convergeert naar de doel-token. Deze zoektocht heeft een aanzienlijke impact op de steekproefkwaliteit.
2. Fout in het Volgen van het Pad bij Eindige Stappen: De inferentie van MI-DFM is gebaseerd op een Continuous-Time Markov Chain (CTMC)-oplosser die is afgeleid van infinitesimale dynamica. In de praktijk wordt inferentie uitgevoerd met een eindig aantal stappen. De standaard oplosser van de eerste orde die in deze context wordt gebruikt, leidt tot aanzienlijke fouten bij het volgen van het pad, waardoor wordt afgeweken van het beoogde waarschijnlijkheidspad.

Methodologie
De auteurs stellen een unifyend kader voor, genaamd GibbsTTS, dat beide beperkingen aanpakt via twee kernbijdragen op het gebied van algoritmes:

1. Kinetisch-Optimale Tijdsplanning:

   • De auteurs leiden een kinetisch-optimale planner af voor voorgeschreven discrete waarschijnlijkheidspaden die zijn geparametriseerd met een scalair. In tegenstelling tot eerdere werken die zich richten op kinetisch-optimale snelheden, optimaliseert dit werk de tijdsreparametrisatie $\kappa_t$ om de Fisher-Rao-padenergie te minimaliseren.
   • Zij bewijzen dat de kinetisch-optimale planner het waarschijnlijkheidspad aflegt met een constante Fisher-Rao-snelheid.
   • Voor MI-DFM, waarbij de Fisher-informatie afhangt van de volledige token-afstandsverdeling, construeren de auteurs deze planner numeriek. Zij berekenen afstandsmatrices uit token-embeddings en gebruiken deze om een trainingsvrije numerieke planning af te leiden die heuristische families en downstream zoektochten naar hyperparameters vermijdt.

2. Momentcorrectie bij Eindige Stappen:

   • Om padvolgsfouten bij CTMC-steekproeven met een eindig aantal stappen te mitigeren, introduceren de auteurs een momentcorrectiemechanisme.
   • Deze correctie behoudt de verdeling van de bestemming van de CTMC-sprong (de richting van de sprong), maar past de sprongkans aan.
   • De aanpassing zorgt ervoor dat een gekozen scalair moment (specifiek, een lokale Fisher-Rao-tangentiestatistiek voor MI-DFM) in de volgende tijdstap beter overeenkomt met een referentiemoment. Hierdoor kan de steekproefnemer het referentiepader nauwkeuriger volgen zonder dat een integrator van hogere orde of een exacte overgangskern voor eindige stappen nodig is.

Modelarchitectuur en Implementatie
De voorgestelde methode wordt geïmplementeerd als een zero-shot Tekst-naar-Spraak (TTS)-systeem met een DiT (Diffusion Transformer) als ruggegraat.

• Input: Het model verwerkt tekst (via fonem-embeddings) en spraakprompts. Het maakt gebruik van een op codec gebaseerde aanpak waarbij akoestische tokens direct worden gegenereerd vanuit RVQ (Residual Vector Quantization) codeboeken.
• Training: Het model maakt gebruik van training en inferentie met het volledige codeboek, waarbij alle RVQ-codeboeken gezamenlijk worden voorspeld. Er wordt een loss-wegingsstrategie per codeboek geïntroduceerd om training te stabiliseren, aangezien het gelijk behandelen van alle codeboeken in de vroege fasen kan leiden tot gradiëntexplosie.
• Inferentie: Het systeem maakt gebruik van de afgeleide numerieke kinetisch-optimale planner en de met moment gecorrigeerde CTMC-oplosser.

Experimentele Resultaten
De auteurs valideren GibbsTTS op een op codec gebaseerde zero-shot TTS met behulp van Engelse en Chinese datasets (Emilia voor training; LibriTTS, Seed-TTS en CosyVoice 3 voor evaluatie).

• Gestuurde Vergelijkingen: Onder een unifyende architectuur en een grote dataset presteert GibbsTTS beter dan gemaskerde discrete generatieve baselines (inclusief standaard Discrete Flow Matching en varianten van Discrete Diffusion) op objectieve metrieken (UTMOS voor natuurlijkheid, WER/CER voor verstaanbaarheid en sprekersimilariteit).
• Ablatiestudies:
  • De numerieke kinetisch-optimale planner verbetert de prestaties consistent ten opzichte van via grid-search gevonden heuristische planners, waardoor handmatige aanpassing van de planner overbodig wordt.
  • De momentcorrectie bij eindige stappen levert consistente winst op voor alle testsets en keuzes van planners, wat bevestigt dat deze een rol speelt bij het verminderen van discretisatiefouten.
• Vergelijking met SOTA: Bij vergelijking met recente state-of-the-art zero-shot TTS-systemen (inclusief autoregressieve en niet-autoregressieve modellen zoals MaskGCT, F5-TTS en CosyVoice 3):
  • GibbsTTS behaalt de hoogste sprekersimilariteit op drie van de vier testsets en staat tweede op de vierde.
  • Hoewel sommige grotere autoregressieve modellen een hogere natuurlijkheid (UTMOS) bereiken of lagere foutpercentages, toont GibbsTTS aan dat MI-DFM bijzonder effectief is in het behoud van sprekeridentiteit bij op codec gebaseerde generatie.
  • GibbsTTS presteert beter dan MaskGCT (een toonaangevend gemaskerd generatief codec-model) op alle gerapporteerde objectieve metrieken, ondanks het gebruik van een kleiner model en een eenvoudigere tokenrepresentatie (directe codec-generatie zonder een tussenliggende semantische tokenfase).

Betekenis en Claims
Het artikel beweert dat MI-DFM, wanneer uitgerust met de voorgestelde kinetisch-optimale planner en momentcorrectie, een geloofwaardig en effectief testbed biedt voor het evalueren van discrete generatieve algoritmen in TTS. De auteurs benadrukken dat hun werk het eerste onderzoek is naar MI-DFM specifiek voor TTS.

De belangrijkste bijdragen die door de auteurs worden benadrukt, zijn:

1. Het formuleren van kinetisch-optimale tijdsplanning voor paden geparametriseerd met een scalair, wat de bestaande werken over snelheden aanvult.
2. Het introduceren van een lichtgewicht momentcorrectie bij eindige stappen die de fout bij het volgen van het pad vermindert terwijl de verdeling van de bestemming van de CTMC-sprong behouden blijft.
3. Het bieden van een eerlijke, gestuurde evaluatie van MI-DFM tegenover gemaskerde discrete baselines, waarmee wordt aangetoond dat de metrisch-geïnduceerde pad effectief is voor op codec gebaseerde zero-shot TTS.
4. Het aantonen dat MI-DFM sterke sprekersimilariteit kan bereiken, wat wijst op zijn potentieel voor het behoud van sprekeridentiteit in generatieve spraaktaken.

De auteurs blijven bescheiden wat betreft bredere implicaties, en merken op dat hoewel de algoritmen algemeen zijn, ze momenteel alleen worden geëvalueerd op zero-shot TTS. Zij erkennen beperkingen, zoals de afhankelijkheid van $\ell_2$-genormaliseerde codeboek-embeddings (equivalent aan cosinusafstand) en de noodzaak voor toekomstige verkenning van andere waarschijnlijkheidspaden en referentiemomenten.