Technische Samenvatting: HoliTok

Probleemstelling

Gecombineerde spraakfoundationmodellen hebben als doel zowel spraakbegrip (bijv. herkenning) als generatie (bijv. synthese) uit te voeren binnen een gedeelde parameterruimte. Echter, bestaande methoden voor spraaktokenisatie slagen er niet in om gelijktijdig te voldoen aan de tegenstrijdige eisen van leerbaarheid door taalkundige modellen, decodeerbaarheid naar hoogwaardige golfvormen en informatieve waarde voor semantisch begrip.

• Traditionele akoestische kenmerken (bijv. mel-spectrogrammen) behouden de signaalstructuur, maar produceren dichte, redundante sequenties die moeilijk te leren zijn voor downstream-modellen.
• Zelftoezicht-gebaseerde representaties bieden rijke semantische informatie, maar zijn vaak niet van nature decodeerbaar naar hoogwaardige golfvormen.
• Discrete tokenizers (codec-gebaseerd) comprimeren spraak tot taalvriendelijke symbolen, maar introduceren kwantisatie-artefacten en modelcomplexiteit.
• Bestaande continue tokenizers optimaliseren vaak geïsoleerd voor reconstructie of synthese, en missen een gedeelde representatieruimte die gecombineerde generatie-begrip-architecturen ondersteunt zonder complexe, taakspecifieke architecturale aanpassingen.

Bijgevolg wordt de last van unificatie verschoven van de representatie zelf naar steeds complexere modelontwerpen, zoals multi-stream tokenizers of ontkoppelde modules.

Methodologie

De auteurs stellen HoliTok voor, een continue Holistische spraakTokenisatiemodel ontworpen als een uniforme interface voor generatie en begrip.

Architectuur

HoliTok is gebouwd op een low-latency Variational Autoencoder (VAE)-ruggengraat:

• Encoder: Een causaal convolutioneel netwerk met een 2-kader lookahead, dat 48 kHz-audio downsampt naar een 25 Hz-sequentie van 128-dimensionale continue latente variabelen.
• Temporeel Variational Bottleneck: Een op LSTM gebaseerde bottleneck die stochasticiteit introduceert via een reparameterisatietrick, geregulariseerd door een normaliserende flow om de expressiviteit te verhogen.
• Decoder: Een BigVGAN-stijl generator die de 48 kHz-golfvorm reconstrueert vanuit de latente sequentie.
• Supervisie-netwerk: Een downstream-bewust onderdeel (0,6B Transformer-encoder + Qwen2.5-0,5B-decoder) dat wordt gebruikt om semantische en taakspecifieke informatie tijdens het trainen in te brengen.

Progressieve Trainingsstrategie

HoliTok hanteert een drie-traps progressieve trainingsrecept om fideliteit, leerbaarheid en semantische rijkdom in evenwicht te brengen:

1. Fase I (Hoogwaardige Autoencoding): Een deterministische autoencoder wordt getraind om een betrouwbare reconstructiemaniifold te vestigen met behulp van multi-schaal spectrale, adversariële en feature-matching verliezen. Dit zorgt ervoor dat de decoder golfvormen getrouw kan reconstrueren voordat stochasticiteit wordt geïntroduceerd.
2. Fase II (Impliciete Fideliteitsoverdracht): De encoder en decoder worden bevroren. Alleen de temporele variational bottleneck wordt getraind met een zwakke KL-regularisatie. Dit verplaatst de deterministische ruimte naar een stochastische ruimte terwijl de latente steekproeven dicht bij het hoogwaardige decodeergebied blijven, waardoor het verlies van akoestische details wordt voorkomen.
3. Fase III (Downstream-bewuste Verrijking): Het volledige model (encoder en bottleneck) wordt gezamenlijk geoptimaliseerd met een sterke KL-gewicht. Deze fase verrijkt de latente ruimte door middel van:
   • Multi-granulariteit Distillatie: Het afstemmen van latente variabelen met bevroren leraar-representaties (WavLM voor frame-niveau context, x-vector voor sprekeridentiteit).
   • Multi-task Supervisie: Het gebruik van een taalmodellering-objctive om taakdoelen (ASR, emotie, bijschriften, etc.) te voorspellen, geconditioneerd op de latente representatie. Dit dwingt de latente ruimte om informatie te behouden die cruciaal is voor begrip, zelfs als deze niet strikt noodzakelijk is voor golfvormreconstructie.

Downstream Gecombineerde Modellering

Om de tokenizer te evalueren, construeren de auteurs een gecombineerd AR+DiT (Autoregressief + Diffusion Transformer) model:

• Begrip: Een LLM verwerkt gemengde tekst- en audio-latente patches om het volgende teksttoken te voorspellen (ASR).
• Generatie: De LLM voorspelt semantische verborgen toestanden, die een op DiT gebaseerde flow-matching-head conditioneren om de volgende latente patch te voorspellen (TTS).
• Evaluatie: Het systeem test of dezelfde latente sequentie beide taken robuust kan ondersteunen zonder extra architecturale trucs.

Belangrijkste Bijdragen

1. HoliTok Tokenizer: Een continue spraaktokenizer die 48 kHz-spraak encodeert in een compacte 25 Hz, 128-dimensionale latente sequentie.
2. Progressieve Trainingsrecept: Een innovatieve drie-traps strategie die sequentieel fideliteit vestigt, variational regulariteit introduceert en semantiek verrijkt, waardoor de latente ruimte zowel decodeerbaar als leerbaar blijft.
3. Gecombineerde Interface: Demonstratie dat een enkele continue representatie effectief kan dienen als de gedeelde interface voor een AR+DiT-architectuur, die zowel hoogwaardige synthese als nauwkeurige herkenning ondersteunt zonder taakspecifieke encoders of meerdere tokenstromen.

Experimentele Resultaten

De auteurs evalueren HoliTok op reconstructie, spraaksynthese en gecombineerde modelleringstaken tegen baselines zoals Semantic-VAE en MingTok-Audio.

• Reconstructie: HoliTok bereikt concurrerende signaalfideliteit (PESQ, STOI) met een hoge compressieverhouding (7,5×) en lage latentie (25 TPS). Het presteert beter dan baselines in het behoud van spreker- en emotie-ähnelijkheid (SPKSIM, EMOSIM).
• Spraaksynthese: In zero-shot en controleerbare TTS-instellingen demonstreert HoliTok hoge leerbaarheid, met de beste winpercentages in expressieve en paralinguïstische dimensies en sterke prestaties in controleerbare synthese (lage WER, hoge CLSP-scores).
• Gecombineerde Generatie-Begrip:
  • HoliTok-Base (alleen gebruikmakend van de VAE-latente variabelen) presteert al beter dan baselines in TTS-intelligibiliteit, terwijl het vergelijkbare ASR-prestaties behoudt.
  • HoliTok-Unite (met inbegrip van de causale semantische encoder uit Fase III) verbetert zowel TTS als ASR verder, en vermindert de WER in beide taken aanzienlijk in vergelijking met HoliTok-Base en baselines.
  • In tegenstelling hiermee verslechteren baselines zoals Semantic-VAE scherp in TTS wanneer ze in een gecombineerde setting worden gebruikt, en toont MingTok-Audio een onevenwicht dat begrip ten opzichte van generatie bevoordeelt.

Betekenis en Beweringen

Het artikel beweert dat HoliTok dient als een effectieve spraaktokenizer en een fundamentele representatie-interface voor gecombineerde gesproken taalmodellering.

• Robuustheid: In tegenstelling tot bestaande representaties die complexe architecturale modificaties of incrementele trainingsontwerpen vereisen om taken te unificeren, werkt HoliTok robuust in een gecombineerde AR+DiT-architectuur zonder extra optimalisatietricks.
• Overbrugging van de Kloof: Het slaagt erin de kloof te overbruggen tussen semantische abstractie, akoestische fideliteit en modelleerbaarheid, wat suggereert dat een enkele continue ruimte kan voldoen aan de gezamenlijke eisen van generatie (akoestische behoud) en begrip (semantische toegankelijkheid).
• Beperkte Omvang: De auteurs erkennen dat hun huidige evaluatie zich richt op spraakgerelateerde taken (reconstructie, TTS, ASR). Zij claimen geen generalisatie naar bredere audiodomeinen (bijv. muziek, omgevingsgeluid) of andere generatieve architecturen (bijv. pure DiT) binnen dit werk, en noteren deze als richtingen voor toekomstig onderzoek.

De code is beschikbaar op: https://github.com/bovod-sjtu/HoliTok.