💬 NLP

Confucius4-TTS: Transcript-Free Cross-Lingual Zero-Shot TTS with a Learnable Speaker Encoder

Confucius4-TTS is een meertalig zero-shot tekst-naar-spraak systeem dat transcriptievrije cross-linguale stemklonering mogelijk maakt door een tweestapsarchitectuur te gebruiken met een leerbare spreker-encoder om timbre-kenmerken te extraheren uit zelfgesuperviseerde spraakrepresentaties, waarbij een hoge verstaanbaarheid en sprekerovereenkomst over 14 talen wordt bereikt.

Oorspronkelijke auteurs: Huaxuan Wang, Huimin Wang, Ruiyu Zhang, Yingjie Li, Yitao Duan

Gepubliceerd 2026-08-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Huaxuan Wang, Huimin Wang, Ruiyu Zhang, Yingjie Li, Yitao Duan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren praten als je favoriete filmpersonage. In de wereld van de informatica wordt dit "Text-to-Speech" (TTS) genoemd. Meestal heb je om een robot precies te laten klinken als dat personage twee dingen nodig te hebben: een korte audiofragment van hen pratend, en een geschreven transcript (een script) van precies wat ze in die clip zeiden. Denk aan het transcript als een kaart; zonder de kaart raakt de robot de weg kwijt bij het koppelen van de stem aan de woorden. Maar hier is het probleem: in de echte wereld komen de meeste audiofragmenten die we vinden — zoals een willekeurige TikTok-video of een fragment uit een podcast — niet met een script. Ze zijn "ongetranscribeerd". Dit maakt het ongelooflijk moeilijk om stemmen uit de vrije natuur te klonen, vooral wanneer je wilt dat de robot een andere taal spreekt dan het originele fragment. Dit artikel pakt precies dat hoofdpijnprobleem aan: hoe krijgen we een robot om te klinken als een specifiek persoon in een nieuwe taal, zelfs als we niet het script hebben van de originele clip?

Maak kennis met Confucius4-TTS, een nieuw systeem van NetEase Youdao dat fungeert als een meesterlijke stem-chameleon. De onderzoekers hebben een tweetrapsmachine gebouwd die een kort audiofragment van een vreemde en een stuk tekst in een andere taal kan nemen, en spraak kan genereren die klinkt alsof die vreemde die nieuwe taal spreekt — en dat alles zonder het originele script nodig te hebben.

Zo werkt het, met behulp van een eenvoudige analogie. Stel je voor dat het systeem een tweetal team is: een Vertaler en een Acteur.

Eerst kijkt de Vertaler (de Text-to-Semantic module) naar de doeltekst die gesproken moet worden. Maar in plaats van alleen de woorden te lezen, luistert hij ook naar het referentie-audiofragment. Cruciaal is dat de vertaler niet hoeft te weten wat de referentie-audio zegt; hij hoeft alleen maar te weten wie het zegt. Om dit te doen, gebruikt het een speciale "Learnable Speaker Encoder". Denk aan deze encoder als een vingerafdrukscanner voor de stem. Het neemt de rommelige, ongetranscribeerde audio en extraheert de unieke "timbre" of "kleur" van de stem — zoals de textuur van een gitaarsnaar — waarbij de specifieke woorden worden genegeerd. Vervolgens geeft het deze "stemvingerafdruk" aan de Vertaler, die deze combineert met je nieuwe tekst om een reeks "semantische tokens" te creëren. Deze tokens zijn als een blauwdruk voor de spraak: ze bevatten de betekenis en het ritme, maar nog niet het uiteindelijke geluid.

Vervolgens neemt de Acteur (de Semantic-to-Acoustic module) die blauwdruk en de stemvingerafdruk. Dit deel gebruikt een geavanceerde techniek genaamd "conditional flow matching", wat lijkt op een beeldhouwer die langzaam een blok klei in een standbeeld verandert. Het begint met willekeurige ruis en vormt het geleidelijk tot een mel-spectrogram (een visuele kaart van geluidsgolven) dat overeenkomt met de stemvingerafdruk en de blauwdruk. Ten slotte verandert een "vocoder" (een geluidssynthesizer) die kaart in werkelijke audiofragmenten die je kunt horen.

De belangrijkste bevinding van het artikel is dat dit systeem ongelooflijk goed werkt zonder het script. De auteurs testten het op 14 talen, waaronder Chinees, Engels, Japans, Koreaans en verschillende Europese en Zuidoost-Aziatische talen. Wanneer ze Confucius4-TTS tegenover andere top-systemen zetten op een benchmark genaamd CV3-Eval (die cross-linguale stemklonering test), behaalde het een gemiddelde Word Error Rate (WER) van 3,73% over zes verschillende taalrichtingen. Dat is een zeer lage foutmarge, wat betekent dat de spraak zeer begrijpelijk is. Sterker nog, op de X-Voice benchmark versloeg of evenaarde het andere leidende systemen in zeven verschillende bron-naar-Chinees taalparen.

De onderzoekers ontdekten ook dat als je toevallig wel het script voor het referentie-audiofragment hebt, het systeem kan overschakelen naar een "continuation cloning" modus. Dit is also kind als je de Acteur zowel het script als de stemvingerafdruk geeft. Hoewel dit ervoor zorgt dat de stem nog meer lijkt op de oorspronkelijke spreker (wat de speaker similarity scores verbetert), brengt dit een kleine afruil met zich mee: de spraak kan iets minder verstaanbaar zijn dan de versie zonder script. De standaard "transcript-free" modus is echter de echte ster, omdat het bewijst dat je geen kaart nodig hebt om de stem te vinden.

In menselijke tests, waarbij echte mensen de resultaten beluisterden en rangschikten, nam Confucius4-TTS vaak de bovenste plek in voor timbre similarity (hoeveel het klonk als de oorspronkelijke persoon) en naturalness (hoe menselijk het klonk). Bijvoorbeeld, in tests waarbij Chinees naar Engels werd omgezet, kwam het in bijna elke categorie op de eerste of tweede plaats, waarmee het commerciële reuzen en andere open-source modellen versloeg.

Het artikel sluit expliciet de mogelijkheid uit dat je een transcript moet hebben om hoogwaardige cross-linguale klonering te krijgen. Eerdere methoden vertrouwden zwaar op "forced alignment" (het perfect matchen van woorden aan klanken) of synthetische trainingsparen, maar Confucius4-TTS suggereert dat je door gebruik te maken van zelf-gesuperviseerde spraakrepresentaties (AI die leerde de spraak te begrijpen door simpelweg te luisteren, zonder dat het woorden aangeleerd kreeg), je de stemidentiteit direct kunt extraheren. De auteurs zijn zelfverzekerd over deze resultaten omdat ze het testten op grootschalige data (ongeveer 500.000 uur aan spraak) en het valideerden via meerdere publieke benchmarks en interne menselijke evaluaties.

Dus, wat betekent dit voor de toekomst? De auteurs suggereren dat dit de deur opent naar videodubbing, audioboeken en toegankelijkheidstools waarbij je direct een stem kunt klonen uit een willekeurig fragment en deze elke taal kan laten spreken, zonder script vereist. Ze hebben zelfs de code en modellen publiekelijk vrijgegeven, in een uitnodiging aan anderen om voort te bouwen op deze "transcript-free" magie. Hoewel het systeem niet perfect is (het heeft nog steeds een kleine foutmarge en zou sneller kunnen zijn), vertegenwoordigt het een belangrijke stap naar het gemak van stemklonering, net zo eenvoudig als op "play" drukken bij een video.

Technische Samenvatting: Confucius4-TTS

Probleemstelling

Recente vooruitgang in zero-shot text-to-speech (TTS) heeft de spraakkwaliteit en de getrouwheid van stemklonering aanzienlijk verbeterd. Echter, een kritieke beperking blijft bestaan: veel state-of-the-art zero-shot TTS-systemen vereisen een transcript van het referentie-audioprompter tijdens de inferentie. Deze afhankelijkheid belemmert cross-linguale stemklonering, aangezien "in-the-wild" referentie-audio, met name voor minder ondersteunde talen en dialecten, vaak niet getranscribeerd is. Hoewel sommige benaderingen proberen dit te verzachten met behulp van forced alignment of synthetische promptparen, blijft een robuuste oplossing die de transcriptievereiste elimineert terwijl een hoge verstaanbaarheid en sprekerovereenkomst over talen heen behouden blijft, een uitdaging.

Methodologie

Confucius4-TTS is een meertalig zero-shot TTS-systeem ontworpen om ongeziene sprekers te klonen in 14 talen zonder dat er een referentietranscript vereist is. Het systeem maakt gebruik van een twee-fasen architectuur:

1. Text-to-Semantic (T2S) Module

Architectuur: Een decoder-only Transformer (24 lagen, verborgen grootte 1280) die semantische spraaktokens voorspelt.
Input Conditionering: Het model neemt doeltekst-embeddings en een spreker-embedding als input.
- Tekstverwerking: Gebruikt een BPE-gebaseerde tokenizer van een pre-trained Large Language Model (LLM). Een lichtgewicht MLP projecteert deze embeddings naar de T2S verborgen dimensie.
- Spreker Conditionering: In plaats van een pre-trained speaker verification encoder te gebruiken, maakt het systeem gebruik van een gezamenlijk getrainde spreker encoder. Deze encoder werkt op zelfgesuperviseerde spraakrepresentaties (SSL) afgeleid van een w2v-BERT 2.0 encoder. Het poolt frame-niveau SSL-features naar een vaste spreker-embedding ( $e_r$ ). Deze aanpak maakt het mogelijk om timbre-features direct uit ruwe audio te extraheren zonder transcripten.
Training: De T2S-module wordt getraind met een autoregressieve cross-entropy doelstelling om semantische tokens te voorspellen, geconditioneerd op de doeltekst en de spreker-embedding. De pre-trained LLM embedding tabel blijft bevroren.

2. Semantic-to-Acoustic (S2A) Module

Architectuur: Een conditional flow-matching (CFM) model met een Diffusion Transformer (DiT) backbone.
Functie: Converteert voorspelde semantische tokens naar mel-spectrogrammen.
Conditionering:
- Semantisch: Combineert semantische-token embeddings met verborgen toestanden uit de T2S-module ( $H_{T2S}$ ). Het gebruik van continue verborgen toestanden naast discrete tokens hels de informatie-bottleneck te verminderen en de context voor prosodie en timbre te behouden.
- Spreker: Gebruikt een globale spreker-embedding ( $g$ ) geëxtraheerd uit een bevroren speaker verification model (CAM++).
- Acoustisch Context: Integreert een prompt mel-spectrogram afgeleid van de referentie-audio.
Training: Geoptimaliseerd met behulp van conditional flow matching langs een optimal transport pad. Het model wordt getraind met classifier-free guidance (CFG) door condities (semantisch, spreker, prompt) met een vaste waarschijnlijkheid gezamenlijk te laten vallen.

Dual-Mode Inferentie

Het systeem ondersteunt twee inferentie-recepten met hetzelfde model:

Reference Cloning (Standaard): Conditioneert alleen op de doeltekst en de spreker-embedding geëxtraheerd uit de referentie-audio. Deze modus vereist geen transcript en biedt flexibiliteit in prosodie en stijl.
Continuation Cloning: Als een referentietranscript beschikbaar is, conditioneert het model op het referentietranscript en de referentie semantische tokens naast de spreker-embedding. Deze modus levert een hogere sprekerovereenkomst op tegen de kosten van een iets hogere foutmarge.

Belangrijkste Bijdragen

Transcript-vrije Cross-Linguale Klonering: Confucius4-TTS is een meertalig zero-shot TTS-systeem dat in staat is om ongeziene sprekers in 14 talen te klonen zonder een referentietranscript te vereisen.
Gezamenlijk Getrainde Spreker Encoder: Introduceert een spreker encoder die gezamenlijk met de T2S-module is getraind en werkt op zelfgesuperviseerde spraakrepresentaties, wat effectieve timbre-extractie mogelijk maakt zonder forced alignment of synthetische promptparen.
Flexibele Inferentie Modi: Ondersteunt zowel transcript-vrije reference cloning als transcript-gebaseerde continuation cloning binnen een enkele modelarchitectuur.
Uitgebreide Evaluatie en Release: Biedt objectieve en subjectieve evaluaties ten opzichte van open-source en commerciële baselines, vergezeld van een open-source release van code, model checkpoints en demo's.

Experimentele Resultaten

Het systeem werd getraind op ongeveer 500.000 uur aan meertalige spraakdata die 14 talen beslaat (Chinees, Engels, Japans, Koreaans, Duits, Frans, Spaans, Indonesisch, Italiaans, Thais, Portugees, Russisch, Maleis en Vietnamees).

Cross-Linguale Prestaties

CV3-Eval: Op de cross-linguale subset van deze benchmark behaalde Confucius4-TTS een gemiddelde Word Error Rate (WER) van 3,73% over zes taalrichtingen. Het behaalde de laagste foutmarge op vier van de zes richtingen, waarmee het systemen zoals CosyVoice 2 aanzienlijk versloeg (bijv. 4,87% vs. 48,10% voor Japans-naar-Chinees).
X-Voice: Geëvalueerd op zeven bron-talen gericht op Chinees, behaalde het systeem de laagste Character Error Rate (CER) op vier richtingen en bleef het binnen 0,3 absolute punten van het beste systeem op de overige richtingen.

Intra-Linguale en Meertalige Prestaties

Seed-TTS-eval: In intra-linguale zero-shot taken behaalde het systeem een 1,49 WER en 0,700 Speaker Similarity (SIM) voor Engels, en een 0,94 CER en 0,765 SIM voor Chinees. Continuation cloning verbeterde de SIM naar 0,715 (Engels) en 0,766 (Chinees).
MiniMax-MLS-Test: Over 11 geëvalueerde talen behaalde Confucius4-TTS een sprekerovereenkomst boven de 72% in reference cloning modus. Continuation cloning verbeterde de SIM consistent over alle talen wanneer transcripten beschikbaar waren.

Menselijke Evaluatie

Op een interne cross-linguale testset (zh↔en, zh↔ko, zh↔ja) rangschikte Confucius4-TTS eerste of tweede in timbre-gelijkenis en natuurlijkheid over alle taalparen. Het behaalde de beste algemene rangschikking in menselijke evaluatie voor en→zh, zh→ko en zh→ja, waarbij het sterke baselines inclusief commerciële systemen zoals ElevenLabs en MiniMax-Speech overtrof.

Betekenis

Confucius4-TTS adresseert de praktische bottleneck van de afhankelijkheid van transcripties in zero-shot TTS, waardoor hoogwaardige stemklonering mogelijk is voor real-world, niet-getranscribeerde audio. Door gebruik te maken van zelfgesuperviseerde representaties en een gezamenlijk getrainde spreker encoder, bereikt het systeem concurrerende verstaanbaarheid en sprekerovereenkomst over diverse talen zonder hulpmodulen voor alignment. De auteurs stellen dat het systeem competitief presteert ten opzien van zowel open-source als commerciële systemen, en biedt een robuuste oplossing voor toepassingen zoals videodubbing, audioboeken en toegankelijkheidstools waarvoor geen referentietranscripten beschikbaar zijn. De open-source release beoogt verder onderzoek in meertalige en cross-linguale spraakgeneratie te faciliteren.