⚡ electrical engineering

UniVoice: A Unified Model for Speech and Singing Voice Generation

UniVoice ist ein vereinheitlichtes Framework zur Generierung von Sprach- und Gesangsstimmen auf Basis von Conditional Flow Matching, das die Konditionierung in Inhalt, Melodie und Timbre faktorisiert und dabei ein gelerntes Null-Melodie-Token nutzt, um eine explizite Melodiekontrolle für Gesang zu ermöglichen und gleichzeitig eine natürliche Prosodie-Inferenz für Sprache zu erlauben.

Ursprüngliche Autoren: Junjie Zheng, Huixin Xue, Shihong Ren, Chaofan Ding, Hao Liu, Zihao Chen

Veröffentlicht 2026-06-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Junjie Zheng, Huixin Xue, Shihong Ren, Chaofan Ding, Hao Liu, Zihao Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem einzelnen Roboter zwei sehr unterschiedliche Aufgaben beizubringen: eine Geschichte zu erzählen (sprechen) und eine Oper aufzuführen (singen).

Normalerweise würden Sie zwei separate Roboter bauen. Einer ist darauf ausgelegt, natürlich und konversationell zu klingen, indem er seinen Rhythmus aus den Worten bezieht, die er liest. Der andere ist darauf ausgelegt, einer strengen Partitur zu folgen, indem er jede Note und jeden Takt exakt trifft.

Das Problem bei dem Versuch, nur einen Roboter für beides zu bauen, ist, dass sich die Anweisungen für die beiden Aufgaben widersprechen.

Für das Singen müssen Sie den Roboter zwingen, einer bestimmten Melodie zu folgen (wie ein Zug auf einer Schiene).
Für das Sprechen muss der Roboter, wenn man ihn zwingt, einer Schiene zu folgen, roboterhaft und unnatürlich klingen. Er muss frei sein, basierend auf der Emotion der Geschichte zu wandern.

Wenn man einfach die Trainingsdaten zusammenmischt, wird der Roboter verwirrt. Er versucht, der Schiene zu folgen, wenn er eigentlich frei sein sollte, und versucht, frei zu sein, wenn er eigentlich der Schiene folgen sollte. Das Ergebnis ist in der Regel bei beidem schlecht.

Die Lösung: UniVoice

Die Forscher entwickelten UniVoice, einen neuen „Roboter“ (ein Computermodell), der dies durch einen cleveren Trick namens Factorized Conditioning löst. Stellen Sie sich das wie das Geben von drei separaten Reglern statt eines großen, unordentlichen Schalters vor.

So funktionieren die drei Regler:

Der Inhalts-Regler (Was gesagt wird): Dieser liest den Text oder die Liedtexte. Er ist sowohl beim Sprechen als auch beim Singen identisch.
Der Timbre-Regler (Wer es sagt): Dieser hört sich eine kurze Probe der Stimme einer Person an (wie einen 5-sekündigen Clip), um deren einzigartigen Klang zu kopieren, egal ob sie flüstert oder eine hohe Note schmettert.
Der Melodie-Regler (Die Melodie): Das ist der magische Teil.
- Beim Singen: Sie stecken eine spezifische Partitur (MIDI-Noten) ein. Der Roboter muss dieser Spur folgen.
- Beim Sprechen: Anstatt eine Spur einzustecken, stecken Sie ein spezielles „Null-Token“ ein. Stellen Sie sich das wie ein „Bitte nicht stören“-Schild für die Melodie vor. Es sagt dem Roboter: „Ignoriere die Musikspur; höre einfach auf die Wörter und finde deinen eigenen Rhythmus selbst heraus.“

Der Motor: Ein gemeinsames Gehirn

Unter der Haube verwendet UniVoice einen leistungsstarken Motor namens Diffusion Transformer (DiT). Stellen Sie sich dies als einen hochqualifizierten Künstler vor, der alles malen kann.

In der Vergangenheit hätten Sie vielleicht zwei verschiedene Künstler gebraucht (einen für Sprache und einen für Gesang).
UniVoice nutzt einen Künstler, der sehr gut darin ist, auf die drei Regler zu hören.
Wenn der „Melodie-Regler“ auf das „Null-Token“ eingestellt ist, weiß der Künstler, wie er den Rhythmus natürlich improvisiert. Wenn der Regler auf ein bestimmtes Lied eingestellt ist, folgt der Künstler der Partitur perfekt.

Warum das wichtig ist (Die Ergebnisse)

Die Forscher testeten dies mit einer riesigen Menge an Daten (30.000 Stunden Sprache und 35.000 Stunden Gesang). Hier ist, was sie fanden:

Es ist ein Meister in beidem: UniVoice spricht fast so gut wie die besten sprachspezifischen Roboter (wie F5-TTS) und singt viel besser als bisherige „All-in-One“-Roboter.
Es ist effizient: Es erledigt all das mit einer relativ geringen Größe (0,3 Milliarden Parameter), während ältere vereinheitlichte Modelle viel größer waren und dennoch schlechter abschnitten.
Das „Null-Token“ funktioniert: Sie haben bewiesen, dass die Verwendung dieses speziellen „Bitte nicht stören“-Schilds für die Sprache mathematisch der richtige Weg ist, um dem Modell zu ermöglichen, die Melodie zu ignorieren, ohne dadurch die Fähigkeit zu beeinträchtigen, später zu singen.

Der neue Test: UNISINGING-EVAL

Um sicherzustellen, dass ihr Roboter wirklich gut war, entwickelte das Team einen neuen Test namens UNISINGING-EVAL. Stellen Sie sich eine Talentshow mit 12 verschiedenen Musikgenres (von Pop bis Jazz bis Hip-Hop) vor. Sie testeten den Roboter, um zu sehen, ob er zwischen Sprechen und Singen wechseln kann, während er dieselbe Stimme beibehält und verschiedene Stile bewältigt.

Das Fazament

UniVoice ist wie ein universeller Synchronsprecher. Er muss nicht neu trainiert werden oder ein anderes Gehirn für Sprechen vs. Singen haben. Er schaut einfach auf die Anweisungen:

„Hier ist der Text, hier ist die Stimme und hier ist ein Lied“ -> Singt perfekt.
„Hier ist der Text, hier ist die Stimme und hier ist kein Lied“ -> Spricht natürlich.

Durch die Trennung der Anweisungen haben sie verhindert, dass der Roboter verwirrt wird, was es ihm ermöglicht, in beiden Aufgaben gleichzeitig exzellent zu sein.

Technisches Resümee: UniVoice

Problemstellung

Text-to-Speech (TTS) und Gesangssynthese (SVS) verfolgen das Ziel, menschliche vokale Audiosignale aus symbolischen Eingaben zu erzeugen, stellen jedoch grundlegend gegensätzliche Anforderungen an den Generierungsprozess. TTS stützt sich auf eine flexible, sprachgesteuerte Prosodie, die aus dem linguistischen Kontext abgeleayt wird, während SVS eine explizite Melodiekontrolle (z. B. MIDI-Noten) und eine präzise rhythmische Ausrichtung erfordert.

Das Training eines einzigen, vereinheitlichten Modells auf gemischten Daten ist schwierig, da die semantischen Konditionierungen inkompatibel sind: Melodiekonditionen müssen als starke Beschränkungen für den Gesang fungieren, dürfen aber die natürliche, kontextabhängige Prosodie der Sprache nicht einschränken. Ein naives gemeinsames Training zwingt das Modell dazu, widersprüchliche Bedeutungen für melodiebezogene Konditionen zuzuweisen, was zu Gradienteninterferenzen und einer Verschlechterung der Generierungsqualität für beide Modalitäten führt.

Methodik

UniVoice ist ein vereinheitlichtes Framework für Sprach- und Gesangserzeugung basierend auf Conditional Flow Matching (CFM) mit einem Diffusion Transformer (DiT) Backbone. Die zentrale Innovation liegt in der faktorisierten Konditionierung und einem erlernten Null-Melodie-Token.

1. Architektur

Das Modell nutzt einen gemeinsamen DiT-Backbone (adaptiert von Wan-DiT) mit 24 Schichten, 16 Attention-Heads und etwa 0,3 Milliarden Parametern. Es operiert auf latenten Merkmalen, die von einem Song Bloom VAE bei 25 Hz extrahiert werden.

Gemeinsamer Backbone: Sowohl Sprache als auch Gesang werden als konditionierte Modi desselben kontinuierlichen Flows behandelt.
Adaptive Modulation: Ein leichtgewichtiges Task Token (das „Sprache“ oder „Gesang“ angibt) wird via Adaptive Layer Normalization (AdaLN) injiziert, um den gemeinsamen Backbone zu modulieren, ohne separate aufgabenspezifische Heads einzuführen.

2. Faktorisierte Konditionierung

Um den Repräsentationskonflikt zu lösen, zerlegt UniVoice das Konditionierungssignal $c$ in vier orthogonale Achsen:

Inhalt ( $c_{cnt}$ ): Phonemsequenzen, kodiert durch einen ConvNeXt-basierten Encoder.
Melodie ( $c_{mel}$ ):
- Für Gesang: Kodiert als MIDI-Notensequenzen mittels eines Conformer-Encoders.
- Für Sprache: Ersetzt durch ein erlerntes Null-Melodie-Token ( $e_\emptyset$ ). Dieses Token signalisiert dem Modell, die Prosodie aus dem linguistischen und akustischen Kontext abzuleiten, anstatt aus expliziten Melodiebeschränkungen.
Timbre ( $c_{tmb}$ ): Abgeleitet von einem 3–10 Sekunden langen Referenz-Audio-Prompt, kodiert über denselben VAE, der auch für das Ziel-Audio verwendet wird. Dies ermöglicht Zero-Shot Voice Cloning über beide Modalitäten hinweg.
Task Token ( $c_{tsk}$ ): Diskrete Embedding zur Unterscheidung der Generierungsmodi.

3. Theoretische Begründung

Die Arbeit postuliert, dass das erlernte Null-Token als effiziente amortisierte Approximation der Melodie-Marginalisierung fungiert. Bei der Spracherzeugung sollte das ideale Vektorfeld über alle möglichen Melodie-Realisierungen marginalisieren. Das Null-Token ermöglicht es dem Modell, die optimale „melodie-abwesende“ Repräsentation zu lernen, ohne durch gesangs-spezifische Gradienten gestört zu werden, was effektiv eine achsenspezifische Classifier-Free Guidance ermöglicht.

4. Training und Inferenz

Daten: Trainiert auf einem gemischten Datensatz von 30.000 Stunden Sprache (aus dem Emilia-Datensatz) und 35.000 Stunden Gesang (Studio- und Wild-Aufnahmen).
Training: Verwendet eine Batch-Größe von 32.000 Frames auf 8 A800 GPUs über 100 Epochen. Konditionen (Text, Melodie, Audio-Prompt) werden mit einer Wahrscheinlichkeit von 10 % zufällig entfernt, um Classifier-Free Guidance zu ermöglichen.
Inferenz: Generiert Audio unter Verwendung eines Euler-ODE-Solvers mit 32 Schritten. Achsenspezifische Guidance-Skalen werden angewendet (z. B. $w_{txt}=5$ für Text, $w_{mel}=1$ für Melodie).

Zentrale Beiträge

Vereinheitlichte Architektur: Ein einziges Flow-Matching-Modell mit einem gemeinsamen DiT-Backbone, das sowohl Sprache als auch Gesang ohne aufgabenspezifische Heads generiert.
Faktorisierte Konditionierung: Ein Schema, das Inhalt, Melodie und Timbre trennt, um Gradientenkonflikte zwischen der Modellierung der Sprachprosodie und der Gesangsmelodiekontrolle zu eliminieren.
Erlerntes Null-Melodie-Token: Ein Mechanismus für die Spracherzeugung, der explizite Melodie-Inputs durch ein erlerntes Token ersetzt, was theoretisch als Marginalisierung über die Melodie-Variable begründet ist.
UNISINGING-EVAL Benchmark: Ein neuer Evaluierungs-Benchmark, der 12 Musikstile abdeckt und darauf ausgelegt ist, die vereinheitlichte Stimmerzeugung über diverse Stile, Phrasen-Ebene-Timestamps und kreuzmodale Konsistenz hinweg zu testen.

Experimentelle Ergebnisse

Evaluierung auf einer Cross-Sentence-Generierungsaufgabe mit 10-Sekunden-Clips:

Spracherzeugung: UniVoice erreicht eine Phonem-Fehlerrate (PER) von 5,26 %, vergleichbar mit dedizierten TTS-Systemen wie F5-TTS (5,21 %) und CosyVoice3 (5,30 %), trotz signifikant weniger Sprachdaten und einer vereinheitlichten Architektur. Es erzielt die höchste Sprachnatürlichkeit (S-MOS 3,76) unter den vereinheitlichten Modellen.
Gesangserzeugung: UniVoice erreicht eine PER von 16,22 % und eine Sprecherähnlichkeit (SIM) von 35,70 %. Dies übertrifft die vereinheitlichte Baseline Vevo1.5 (PER 45,07 %) und das dedizierte Gesangsmodell Soul-X-Singer (PER 26,22 %) deutlich.
Effizienz: Mit nur 0,3 Mrd. Parametern und 65k Trainingsstunden übertrifft UniVoice größere vereinheitlichte (Vevo1.5, 1 Mrd. Parameter) sowie dedizierte Gesangsmodelle, was die Effizienz der faktorisierten Konditionierung demonstritriert.

Ablationsstudien bestätigen, dass:

Das Entfernen der faktorisierten Konditionierung zu einer schweren Verschlechterung führt (Sprache PER steigt auf 12,31 %; Gesang PER auf 23,45 %).
Das erlernte Null-Token einem fixen Null-Vektor überlegen ist.
Task-Token essenziell für die Modalanpassung sind.
Explizite Melodie-Konditionierung kritisch für Gesang ist, aber schädlich, wenn sie auf Sprache erzwungen wird.

Bedeutung und Limitationen

Bedeutung:
UniVoice zeigt, dass ein einziges Modell die Lücke zwischen Sprache und Gesang effektiv schließen kann, indem es deren gegensätzliche Konditionierungsanforderungen entkoppelt. Es setzt einen neuen Standard für die vereinheitlichte Stimmen-Generierung, indem es eine konkurrenzfähige Qualität zu dedizierten Systemen bietet und gleichzeitig eine konsistente Sprecheridentität über Sprach- und Gesangsstile hinweg ermöglicht. Die Einführung von UNISINGING-EVAL adressiert das Fehlen umfassender Benchmarks für dieses aufstrebende Feld.

Limitationen:

Sprecherähnlichkeit: Es besteht weiterhin eine Lücke in der Sprecherähnlichkeit (SIM) im Vergleich zu rein sprachbasierten Systemen, was auf einen Trade-off zwischen kreuzmodalem Teilen und der Treue des Voice-Cloning hindeutet.
Sprachumfang: Die Evaluierung beschränkt sich derzeit auf Englisch und Chinesisch.
Latenz: Der 32-Schritte-ODE-Samplingprozess führt zu einer höheren Latenz im Vergleich zu Few-Step-Generierungsmethoden.
Stilabdeckung: Gemischte vokale Stile wie Rap oder gesprochener Gesang werden nicht explizit modelliert.
Ethische Risiken: Die Fähigkeit zum Zero-Shot Voice Cloning über Modalitäten hinweg wirft Bedenken hinsichtlich Deepfakes und Urheberrecht auf, was Maßnahmen zur verantwortungsvollen Bereitstellung wie Watermarking und einwilligungsbasierte Registrierung erforderlich macht.