⚡ electrical engineering

UniVoice: A Unified Model for Speech and Singing Voice Generation

UniVoice is een verenigd framework voor spraak- en zangstemgeneratie gebaseerd op conditional flow matching dat conditionering factoriseert in inhoud, melodie en timbre, waarbij een geleerd null-melodie-token wordt gebruikt om expliciete melodiecontrole voor zang mogelijk te maken terwijl natuurlijke prosodie-inferentie voor spraak wordt toegestaan.

Oorspronkelijke auteurs: Junjie Zheng, Huixin Xue, Shihong Ren, Chaofan Ding, Hao Liu, Zihao Chen

Gepubliceerd 2026-06-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junjie Zheng, Huixin Xue, Shihong Ren, Chaofan Ding, Hao Liu, Zihao Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je één robot probeert te leren om twee heel verschillende taken te doen: een verhaal vertellen (spreken) en een opera op te voeren (zingen).

Normaal gesproken zou je twee aparte robots bouwen. Eén is ontworpen om natuurlijk en conversationeel te klinken, waarbij hij zijn ritme oppikt uit de woorden die hij leest. De andere is ontworpen om een strikte partituur te volgen, waarbij elke noot en elke tel exact volgens de bladmuziek wordt geraakt.

Het probleem met het proberen te bouwen van slechts één robot voor beide taken, is dat de instructies voor de twee taken elkaar tegenspreken.

Voor zingen moet je de robot dwingen om een specifieke melodie te volgen (zoals een trein op een spoor).
Voor spreken, als je de robot dwingt een spoor te volgen, klinkt hij robotachtig en onnatuurlijk. Hij moet vrij kunnen dwalen op basis van de emotie van het verhaal.

Als je de trainingsdata gewoon bij elkaar mengt, raakt de robot in de war. Hij probeert het spoor te volgen wanneer hij vrij zou moeten zijn, en probeert vrij te zijn wanneer hij het spoor zou moeten volgen. Het resultaat is meestal slecht in beide.

De Oplossing: UniVoice

De onderzoekers creëerden UniVoice, een nieuwe "robot" (een computermodel) die dit oplost door een slimme truc te gebruiken genaamd Factorized Conditioning. Denk hierbij aan het geven van drie aparte regelknoppen in plaats van één grote, rommelige schakelaar.

Zo werken deze drie knoppen:

De Content-knop (Wat er gezegd wordt): Deze leest de tekst of de songtekst. Dit is hetzelfde voor zowel spreken als zingen.
De Timbre-knop (Wie het zegt): Deze luistert naar een korte sample van iemands stem (zoals een clip van 5 seconden) om hun unieke geluid te kopiëren, of ze nu fluisteren of een hoge noot zingen.
De Melody-knop (De melodie): Dit is het magische deel.
- Bij Zingen: Je plugt een specifieke muzikale partituur in (MIDI-noten). De robot moet dit spoor volgen.
- Bij Spreken: In plaats van een spoor in te pluggen, plug je een speciale "Null Token" in. Denk aan een "Niet Storen"-bordje voor de melodie. Het vertelt de robot: "Negeer het muziekspoor; luister alleen naar de woorden en bepaal zelf het ritme."

De Motor: Een Gedeelde Hersenen

Onder de motorkap gebruikt UniVoice een krachtige motor genaamd een Diffusion Transformer (DiT). Stel je dit voor als een zeer bekwame kunstenaar die alles kan schilderen.

In het verleden had je misschien twee verschillende kunstenaars nodig (één voor spraak en één voor zang).
UniVoice gebruikt één kunstenaar die heel goed is in het luisteren naar de drie regelknoppen.
Wanneer de "Melody-knop" op de "Null Token" staat, weet de kunstenaar dat hij het ritme natuurlijk moet improviseren. Wanneer de knop op een specifiek lied staat, volgt de kunstenaar de bladmuziek perfect.

Waarom dit Belangrijk Is (De Resultaten)

De onderzoekers hebben dit getest op een enorme hoeveelheid data (30.000 uur spraak en 35.000 uur zang). Dit is wat ze vonden:

Het is een meester in beide: UniVoice spreekt bijna net zo goed als de beste spraak-alleen robots (zoals F5-TTS) en zingt veel beter dan eerdere "alles-in-één" robots.
Het is efficiënt: Het doet dit allemaal met een relatief kleine omvang (0,3 miljard parameters), terwijl oudere verenigde modellen veel groter waren en nog slechter presteerden.
De "Null Token" werkt: Ze hebben bewezen dat het gebruik van dat speciale "Niet Storen"-bordje voor spraak wiskundig de juiste manier is om het model de melodie te laten negeren zonder dat dit later zijn vermogen om te zingen breekt.

De Nieuwe Test: UNISINGING-EVAL

Om te controleren of hun robot echt goed was, bouwde het team een nieuwe test genaamd UNISINGING-EVAL. Stel je een talentenjacht voor met 12 verschillende muziekgenres (van Pop tot Jazz tot Hip-Hop). Ze testten de robot om te zien of hij kon schakelen tussen spreken en zingen terwijl hij dezelfde stem behield en verschillende stijlen aankon.

De Kern van het Verhaal

UniVoice is als een universele stemacteur. Het hoeft niet opnieuw getraind te worden of een ander brein te hebben voor spreken versus zingen. Het kijkt simpelweg naar de instructies:

"Hier is de tekst, hier is de stem, en hier is een lied" -> Zingt perfect.
"Hier is de tekst, hier is de stem, en hier is geen lied" -> Spreekt natuurlijk.

Door de instructies te scheiden, voorkomden ze dat de robot in de war raakte, waardoor hij in staat is om in beide taken uitstekend te zijn.

Technische Samenvatting: UniVoice

Probleemstelling

Tekst-naar-spraak (TTS) en zangstem-synthese (SVS) delen het doel om menselijke vocale audio te genereren uit symbolische inputs, maar leggen fundamenteel conflicterende eisen op aan het generatieproces. TTS vertrouwt op flexibele, door taal gestuurde prosodie die wordt afgeleid uit linguïstische context, terwijl SVS expliciete melodische controle vereist (bijv. MIDI-noten) en precieze ritmische uitlijning.

Het trainen van een enkel verenigd model op gemengde data is uitdagend omdat de conditionering-semantiek incompatibel is: melodische condities moeten fungeren als sterke beperkingen voor zang, maar mogen de natuurlijke, contextafhankelijke prosodie van spraak niet beperken. Naïeve gezamenlijke training dwingt het model om conflicterende betekenissen toe te kennen aan melodie-gerelateerde condities, wat leidt tot gradiëntinterferentie en een verslechterde generatiekwaliteit voor beide modaliteiten.

Methodologie

UniVoice is een verenigd framework voor spraak- en zanggeneratie gebaseerd op Conditional Flow Matching (CFM) met een Diffusion Transformer (DiT) backbone. De kerninnovatie ligt in gefactoriseerde conditionering en een geleerd nul-melodie-token.

1. Architectuur

Het model maakt gebruik van een gedeelde DiT-backbone (aangepast van Wan-DiT) met 24 lagen, 16 attention heads en ongeveer 0,3 miljard parameters. Het opereert op latente kenmerken geëxtraheerd door een Song Bloom VAE op 25 Hz.

Gedeelde Backbone: Zowel spraak als zang worden behandeld als conditionele modi van dezelfde continue flow.
Adaptieve Modulatie: Een lichtgewicht Task Token (die "spraak" of "zang" aangeeft) wordt geïnjecteerd via Adaptive Layer Normalization (AdaLN) om de gedeelde backbone te moduleren zonder aparte taakspecifieke heads te introduceren.

2. Gefactoriseerde Conditionering

Om het representatieconflict op te lossen, ontbindt UniVoice het conditioneringsignaal $c$ in vier orthogonale assen:

Inhoud ( $c_{cnt}$ ): Fonemen-sequenties gecodeerd door een ConvNeXt-gebaseerde encoder.
Melodie ( $c_{mel}$ ):
- Voor Zang: Gecodeerd als MIDI-nootsequenties met behulp van een Conformer encoder.
- Voor Spraak: Vervangen door een geleerd nul-melodie-token ( $e_\emptyset$ ). Dit token signaleert het model om prosodie af te leiden uit linguïstische en akoestische context in plaats van expliciete melodische beperkingen.
Timbre ( $c_{tmb}$ ): Afgeleid van een 3–10 seconden durende referentie-audio prompt, gecodeerd via dezelfde VAE die wordt gebruikt voor de doel-audio. Dit maakt zero-shot stemklonen over beide modaliteiten mogelijk.
Taak Token ( $c_{tsk}$ ): Discrete embedding om generatiemodi te onderscheiden.

3. Theoretische Rechtvaardiging

Het artikel stelt dat het geleerde nul-token fungeert als een efficiënte geamortiseerde benadering van melodie-marginalisering. Bij spraakgeneratie moet het ideale vectorfeld marginaliseren over alle mogbare melodische realisaties. Het nul-token stelt het model in staat om de optimale "melodie-afwezige" representatie te leren zonder interferentie van zangspecifieke gradiënten, wat effectief werkt als as-selectieve classifier-free guidance.

4. Training en Inferentie

Data: Getraind op een gemengde dataset van 30.000 uur spraak (uit de Emilia dataset) en 35.000 uur zang (studio- en opnames uit de vrije natuur).
Training: Gebruikt een batchgrootte van 32.000 frames over 8 A800 GPU's gedurende 100 epochs. Condities (tekst, melodie, audio prompt) worden willekeurig met 10% kans weggelaten om classifier-free guidance mogelijk te maken.
Inferentie: Genereert audio met behulp van een Euler ODE-solver met 32 stappen. As-specifieke guidance scales worden toegepast (bijv. $w_{txt}=5$ voor tekst, $w_{mel}=1$ voor melodie).

Belangrijkste Bijdragen

Verenigde Architectuur: Eén enkele flow-matching model met een gedeelde DiT-backbone die zowel spraak als zang genereert zonder taakspecifieke heads.
Gefactoriseerde Conditionering: Een schema dat inhoud, melodie en timbre scheidt om gradiëntconflicten tussen spraak-prosodie modellering en zang-melodie controle te elimineren.
Geleerd Nul-Melodie-Token: Een mechanisme voor spraakgeneratie dat expliciete melodie-inputs vervangt door een geleerd token, theoretisch onderbouwd als een marginalisering over de melodie-variabele.
UNISINGING-EVAL Benchmark: Een nieuwe evaluatiebenchmark die 12 muzikale stijlen dekt, ontworpen om verenigde stemgeneratie te testen over diverse stijlen, frase-niveau timestamps en cross-modale consistentie.

Experimentele Resultaten

Geëvalueerd op een cross-sentence generatietaak met 10-seconden clips:

Spraakgeneratie: UniVoice bereikt een Phoneme Error Rate (PER) van 5,26%, vergelijkbaar met dedicated TTS-systemen zoals F5-TTS (5,21%) en CosyVoice3 (5,30%), ondanks het gebruik van aanzienlijk minder spraakdata en een verenigde architectuur. Het bereikt de hoogste spraak natuurlijkheidsscore (S-MOS 3,76) onder verenigde modellen.
Zanggeneratie: UniVoice bereikt een PER van 16,22% en een Speaker Similarity (SIM) van 35,70%. Dit presteert aanzienlijk beter dan de verenigde baseline Vevo1.5 (PER 45,07%) en het dedicated zangmodel Soul-X-Singer (PER 26,22%).
Efficiëntie: Met slechts 0,3B parameters en 65k trainingsuren presteert UniVoice beter dan grotere verenigde (Vevo1.5, 1B params) en dedicated zangmodellen, wat de efficiëntie van gefactoriseerde conditionering aantoont.

Ablatie-studies bevestigen dat:

Het verwijderen van gefactoriseerde conditionering zorgt voor ernstige degradatie (Spraak PER stijgt naar 12,31%; Zang PER naar 23,45%).
Het geleerde nul-token superieur is aan een vaste nul-vector.
Taak tokens essentieel zijn voor modaliteitsadaptatie.
Expliciete melodische conditionering cruciaal is voor zang, maar nadelig als het op spraak wordt afgedwongen.

Betekenis en Beperkingen

Betekenis:
UniVoice demonstreert dat een enkel model effectief de kloof tussen spraak en zang kan overbruggen door hun conflicterende conditioneringseisen te ontkoppelen. Het vestigt een nieuwe standaard voor verenigde stemgeneratie, waarbij het concurrerende kwaliteit biedt aan dedicated systemen terwijl het een consistente sprekeridentiteit over spraak- en zangstijlen mogelijk maakt. De introductie van UNISINGING-EVAL adresseert het gebrek aan uitgebreide benchmarks voor dit opkomende veld.

Beperkingen:

Speaker Similarity: Er blijft een gat bestaan in Speaker Similarity (SIM) vergeleken met spraak-alleen systemen, wat wijst op een trade-off tussen cross-modale sharing en stemkloningsgetrouwheid.
Taalbereik: Evaluatie is momenteel beperkt tot Engels en Chinees.
Latentie: Het 32-stappen ODE sampling proces introduceert hogere latentie vergeleken met few-step generatiemethoden.
Stijldekking: Gemengde vocale stijlen zoals rap of gesproken zang worden niet expliciet gemodelleerd.
Ethische Risico's: De capaciteit voor zero-shot stemklonen over modaliteiten heen roept zorgen op over deepfakes en auteursrecht, wat maatregelen voor verantwoorde implementatie zoals watermarking en op toestemming gebaseerde inschrijving noodzakelijk maakt.