⚡ electrical engineering

TRACE-EVC: Text-Guided Relative Affective Control for Zero-Shot Emotional Voice Conversion

Das Paper stellt TRACE-EVC vor, ein Zero-Shot-Framework für emotionale Sprachkonvertierung, das natürliche Sprachinstruktionen nutzt, um durch einen quellenverankerten Rectified Flow relative affektive Transformationen zu steuern, was flexible Emotionsanpassungen ermöglicht und gleichzeitig die Sprecheridentität sowie die Sprachqualität bewahrt.

Ursprüngliche Autoren: Zihan Zhang, Shreeram Suresh Chandra, Zongyang Du, Xiutian Zhao, Aurosweta Mahapatra, Hao Zhang, Philipp Koehn, Berrak Sisman

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zihan Zhang, Shreeram Suresh Chandra, Zongyang Du, Xiutian Zhao, Aurosweta Mahapatra, Hao Zhang, Philipp Koehn, Berrak Sisman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Freund, der eine Geschichte erzählt. Im Moment spricht er mit einer neutralen, ruhigen Stimme.

Traditionelle emotionale Stimmenkonvertierung (Emotional Voice Conversion) ist so, als würden Sie Ihrem Freund ein spezifisches Skript geben, das sagt: "Sprich jetzt genau wie eine wütende, zornige Person." oder "Sprich jetzt wie eine traurige Person." Sie müssen das exakte Ziel definieren, bevor er beginnt.

Dieses Paper (TRACE-EVC) führt einen neuen Weg ein, wie man mit Ihrem Freund spricht. Anstatt ihm ein Ziel vorzugeben, geben Sie ihm eine Richtung vor. Sie sagen: "Lass deine Stimme ein bisschen glücklicher klingen," oder "Sprich mit etwas mehr Selbstvertrauen," oder "Regle die Aufregung nur ein kleines Stück herunter."

Das System muss nicht wissen, wie "Glücklich" oder "Selbstbewusst" im Vakuum aussieht. Es muss nur wissen, wie es die Stimme Ihres Freundes von ihrem aktuellen Gefühl aus in eine neue Richtung bewegen kann.

Hier ist eine Aufschlüsselung, wie sie es gemacht haben, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Ziel-Falle“

Die meisten Sprachsysteme funktionieren wie ein GPS, das eine spezifische Adresse erfordert (z. B. „Zum Park“). Wenn Sie die Adresse nicht kennen oder einfach nur „ein Stück weiter nach Norden fahren“ wollen, wird das GPS verwirrt.

Das Problem: Bestehende Werkzeuge benötigen entweder ein spezifisches Ziel-Emotion (wie das Label „Wütend“) oder eine Referenzaufnahme (einen Clip von jemandem, der wütend ist), um zu funktionieren.
Die Lösung des Papers: Die Forscher haben erkannt, dass wir im echten Leben oft nur eine Stimme in eine bestimmte Richtung lenken wollen. „Mach es wärmer“, „Mach es weniger überrascht“. Sie wollten ein System, das diese „relativen“ Anweisungen versteht.

2. Der Datensatz: Der „Vorher-Nachher“-Coach (TRACE-Instruct)

Um dem Computer diese neue Fähigkeit beizubringen, konnten die Forscher nicht einfach bestehende Daten verwenden. Sie brauchten einen Lehrer, der erklären konnte, wie sich eine Stimme veränderte, und nicht nur, was sie wurde.

Die Analogie: Stellen Sie sich einen Tanzlehrer vor, der ein Video eines Tänzers hat, der sich von „Langsam“ zu „Schnell“ bewegt. Anstatt den zweiten Clip einfach als „Schnell“ zu labeln, schreibt der Lehrer eine Notiz: "Der Tänzer hat seine Schritte beschleunigt und die Arme höher gehoben."
Was sie getan haben: Sie nahmen Paare von emotionalen Reden (Quelle und Ziel). Sie nutzten eine intelligente KI (ein Large Language Model), um den Unterschied zwischen den beiden zu analysieren und eine natürliche Anweisung zu schreiben, die diese Veränderung beschreibt (z. B. "Verschiebe den Tonfall hin zu einer glücklicheren, wärmeren Darbietung"). Sie erstellten eine riesige Bibliothek dieser „Vorher-Nachher“-Anweisungen namens TRACE-Instruct.

3. Die Engine: Der „Kompass“ (TRACE-EVC & Emo-Compass)

Dies ist die Kerntechnologie. Das Paper bezeichnet das Hauptmodul als Emo-Compass.

Der alte Weg: Stellen Sie sich vor, Sie müssten jedes Mal eine Landkarte neu zeichnen, wenn Sie irgendwohin wollen. Sie beginnen mit einem leeren Blatt (Rauschen) und versuchen, das Ziel basierend auf einem Text-Prompt zu erraten.
Der TRACE-EVC-Weg: Stellen Sie sich vor, Sie stehen bereits an einem bestimmten Punkt (die Quellstimme). Sie haben einen Kompass (die Anweisung). Das System errät nicht das Ziel; es berechnet den Vektor (die Richtung und die Distanz), den Sie von Ihrem aktuellen Standort aus zurücklegen müssen.
Wie es funktioniert:
1. Es nimmt die aktuelle Stimme (den Anker).
2. Es liest Ihre Anweisung (z. B. „Mach es ruhiger“).
3. Es berechnet den exakten mathematischen „Schubs“, der nötig ist, um die Stimme von „Aktuell“ zu „Ruhiger“ zu bewegen.
4. Es wendet diesen Schubs an, um die neue Stimme zu generieren.
Der Vorteil: Da es von der tatsächlichen Stimme ausgeht, die man bereits hat, bleibt die Identität des Sprechers (wer spricht) und die Wörter (was gesagt wird) perfekt erhalten, während nur das Gefühl wie gewünscht geändert wird.

4. Die Ergebnisse: Hat es funktioniert?

Die Forscher testeten dieses System auf zwei Arten:

Veränderung von Emotionen: „Traurig“ in „Glücklich“ verwandeln (oder „ein bisschen weniger traurig“).
Veränderung der Intensität: Eine „glückliche“ Stimme in eine „super glückliche“ oder „leicht glückliche“ Stimme verwandeln.

Die Erkenntnisse:

Befolgen von Anweisungen: Das System war sehr gut darin, natürlichen Sprachanweisungen zu folgen. Wenn Sie nach „mehr Selbstvertrauen“ fragten, klang die Stimme selbstbewusster. Wenn Sie nach „weniger Aufregung“ fragten, wurde sie ruhiger.
Beibehaltung der Identität: Die Stimme klang immer noch wie der ursprüngliche Sprecher, nicht wie ein Roboter oder eine andere Person.
Qualität: Die Sprache klang klar und natürlich und konkurrierte mit (und schlug manchmal) ältere Systeme, die spezifische Ziel-Labels erforderten.
Zero-Shot: Das bedeutet, dass es auch bei Sprechern funktionierte, die es zuvor noch nie gehört hatte, ohne vorher eine Probe dieser spezifischen Person in der Ziel-Emotion zu benötigen.

Zusammenfassung

Betrachten Sie TRACE-EVC als einen Stimmen-Editor, der Nuancen versteht. Anstatt eine Stimme in eine starre Box zu zwingen, die mit „Wütend“ oder „Traurig“ beschriftet ist, hört es auf Ihre natürliche Bitte wie "Lass das etwas dramatischer klingen" und steuert die Stimme sanft in diese Richtung, während die einzigartige Persönlichkeit des Sprechers und die Wörter der Geschichte perfekt geschützt bleiben.

Technisches Resümee: TRACE-EVC

Problemstellung

Traditionelle Systeme zur emotionalen Stimmenkonvertierung (Emotional Voice Conversion, EVC) verlassen sich auf explizite Zielvorgaben – wie etwa diskrete Emotionslabels, Referenz-Audio-Äußerungen oder absolute Stilbeschreibungen –, um die Generierung zu steuern. Während diese Paradigmen effektiv sind, definieren sie einen festen Zielzustand, versäumen es jedoch, die Richtung oder die Art des emotionalen Übergangs relativ zur Quelle zu erfassen. In vielen praktischen Szenarien haben Nutzer keine spezifische Zielemotion im Sinn, sondern möchten stattdessen die Quelläußerung relativ modifizieren (z. B. „die Sprache etwas ruhiger machen“ oder „merklich selbstbewusster klingen lassen“). Bestehende Methoden verfügen nicht über die Fähigkeit, solche relativen, quellenbedingten Anweisungen zu interpretieren, und es besteht eine signifikante Datenlücke hinsichtlich Datensätzen, die affektive Transformationen statt statischer Äußerungsstile beschreiben.

Methodik

Die Autoren schlagen TRACE-EVC vor, ein Zero-Shot-Framework für instruktionsgesteuerte relative EVC, unterstützt durch den TRACE-Instruct Datensatz. Das Framework besteht aus zwei primären Komponenten:

1. Konstruktion des TRACE-Instruct Datensatzes

Um das Fehlen von Trainingsdaten für relative Anweisungen zu adressieren, konstruierten die Autoren TRACE-Instruct unter Verwendung gepaarter emotionaler Sprache aus den Korpora ESD und MEAD.

Paar-Konstruktion: Quell-Ziel-Paare werden über verschiedene Emotionen hinweg (Inter-Emotion) und über verschiedene Intensitätsstufen (Intra-Emotion) gebildet.
Berechnung der affektiven Differenz: Ein Modell zur Erkennung von Sprach-Emotionen (Speech Emotion Recognition, SER) sagt die Valenz-Arousal-Dominanz-Koordinaten (VAD) sowohl für die Quell- ( $VAD_{src}$ ) als auch für die Zieläußerung ( $VAD_{tgt}$ ) voraus. Die relative affektive Änderung wird als $\Delta VAD = VAD_{tgt} - VAD_{src}$ berechnet.
Instruktionsgenerierung: Ein Large Language Model (LLM, Qwen3) wird mit der Stilbeschreibung der Quelle, der Stilbeschreibung des Ziels und dem berechneten $\Delta VAD$ gefüttert. Das LLM generiert natürliche Sprachinstruktionen, die die Transformation beschreiben (z. B. „die Lebhaftigkeit steigern“), anstatt den absoluten Zielstil.
Filterung: Regelbasierte Filterung entfernt explizite Emotionslabels, numerische VAD-Werte und Metadaten, um sicherzustellen, dass die Instruktionen relativ bleiben.

2. TRACE-EVC Framework

Das Modell operiert auf einer Zero-Shot-Basis und benötigt in der Inferenz weder Ziel-Labels noch Referenz-Audio-Äußerungen. Es umfasst zwei kaskadierte Module:

Emo-Compass (Emotions-Prädiktor):
- Input: Emotions-Embedding der Quelle ( $z_{src}$ ) und ein textkodiertes Instruktions-Embedding ( $p$ ).
- Repräsentation: Das Emotions-Embedding $z$ konkateniert ein emotion2vec-Embedding (Kategorie-Ebene), VAD-Koordinaten (kontinuierlicher affektiver Zustand) und mittlere prosodische Merkmale (F0 und Energie).
- Mechanismus: Im Gegensatz zu Diffusionsmodellen, die aus Rauschen generieren, modelliert Emo-Compass die Konvertierung als einen quellen-verankerten Rectified Flow. Es behandelt die Instruktion als Verschiebungsvektor im affektiven Raum.
- Training: Ein Transformer $D_\theta$ sagt die Geschwindigkeit $\hat{v}$ des Flows voraus, trainiert darauf, die Ground-Truth-Verschiebung $v^* = z_{tgt} - z_{src}$ abzugleichen. Die Verlustfunktion beinhaltet einen Velocity-Regressions-Term sowie Hilfs-Guidance-Terme für Richtung, Kategorie, VAD/Prosodie-Rekonstruktion und Intensitätsordnung.
- Inferenz: Ausgehend von $z_{src}$ integriert das Modell die vorhergesagte Geschwindigkeit über $K$ Euler-Schritte, um das Ziel-Embedding $\hat{z}_{tgt}$ zu generieren.
Synthese-Modul:
- Basierend auf dem DurFlex-EVC Backbone führt dieses Modul eine Zero-Shot-Konvertierung unter Verwendung kontinuierlicher Embeddings durch.
- Es kombiniert das Sprecher-Embedding der Quelle mit dem vorhergesagten Ziel-Emotions-Embedding, um eine Ziel-Stil-Repräsentation ( $m_{tgt}$ ) zu erstellen.
- Ein Durationsregulator und ein konditionierter Diffusions-Decoder generieren das Mel-Spektrogramm, welches durch einen HiFi-GAN Vocoder in eine Wellenform umgewandelt wird. Dieser Prozess bewahrt die Identität des Quellsprechers sowie den linguistischen Inhalt, während er die instruierte emotionale Verschiebung anwendet.

Kernbeiträge

Instruktionsgesteuerte relative EVC-Aufgabe: Die Einführung eines neuen Aufgabenparadigmas, bei dem natürliche Sprachinstruktionen quellenbedingte affektive Transformationen (kategoriale Verschiebungen und Intensitätsmodifikationen) spezifizieren, anstatt fester Zielzustände.
TRACE-Instruct Datensatz: Ein Datensatz von 0,54 Mio. relativen Emotionsinstruktionen, die inter-emotionale Verschiebungen, intra-emotionale Intensitätsmodifikationen und offene Übergänge abdecken und mittels LLMs unter Anleitung von VAD-Differenzen generiert wurden.
TRACE-EVC Framework: Ein Zero-Shot-System mit Emo-Compass, welches das promptbasierte EVC neu denkt, indem es den generativen Prozess am Quell-Embedding verankert und die Instruktion als Rectified-Flow-Geschwindigkeit modelliert. Dies ermöglicht eine flexible Kontrolle ohne Ziel-Labels oder Referenz-Audio.
Empirische Validierung: Umfassende Experimente, die zeigen, dass das System relative Instruktionen präzise befolgt und gleichzeitig Sprecheridentität, linguistischen Inhalt und Sprachqualität beibält.

Experimentelle Ergebnisse

Inter-Emotion Konvertierung (ESD Datensatz)

Performance: TRACE-EVC erreichte die höchste Emotions-Ähnlichkeit (EECS: 0,82), Sprecher-Ähnlichkeit (SECS: 0,68) und Emotions-Klassifikationsgenauigkeit (ACCcls: 93,00 %) im Vergleich zu den verglichenen Baselines (einschließlich Label-basierter SGEVC/DurFlex-EVC und Referenz-basierter ZEST/VEVO).
Qualität: Es bewahrte kompetitive Word Error Rates (WER: 9,96 %) und UTMOS-Scores (3,57), was auf hohe Verständlichkeit und Natürlichkeit hindeutet.
Ablation: Das Entfernen von Emo-Compass und das einfache Konkatenieren von Embeddings führte zu einem signifikanten Abfall in EECS (0,65) und ACCcls (43,08 %), was die Notwendigkeit der expliziten Vorhersage des Ziel-Embeddings via Flow validiert.

Intra-Emotion Intensitätskonvertierung (MEAD Datensatz)

Zero-Shot-Fähigkeit: Evaluiert an ungesehenen Sprechern, erreichte TRACE-EVC NISQA-Scores (3,147), die nahe am Ground Truth (3,248) liegen, was eine hohe Natürlichkeit demonstriert.
Intensitätskontrolle: Das System zeigte monotone Steigerungen der mittleren Arousal-Verschiebungen korrespondierend zur Stärke der Instruktion (z. B. „leichte Steigerung“ vs. „starke Steigerung“), was eine feingliedrige Kontrolle über die emotionale Intensität bestätigt.
Sprechererhaltung: SECS blieb stabil (0,706 für ungesehene Sprecher), was auf eine robuste Bewahrung der Sprecheridentität hindeutet.

Befolgung von Instruktionen (Instruction Following)

Eine subjektive Bewertung durch 15 Rater ergab hohe IF-Scores: 4,135 für Inter-Emotion und 4,296 für Intra-Emotion Settings (auf einer Skala von 1–5).

Komponentenanalyse (Emo-Compass)

Affektive Cues: Ablationsstudien bestätigten, dass emotion2vec zwar eine starke Kategorie-Genauigkeit liefert, die Einbeziehung von VAD und prosodischen Merkmalen jedoch entscheidend für kontinuierliche Metriken ist. Das Entfernen von VAD erhöhte die VAD L2-Distanz und die Intensitäts-MSE; das Entfernen der Prosodie verschlechterte die Konsistenz der Intensität weiter.

Bedeutung und Ansprüche

Das Paper behauptet, dass TRACE-EVC die Lücke zwischen natürlichen Sprachinstruktionen und feingliedriger emotionaler Kontrolle in der Stimmenkonvertierung erfolgreich schließt. Durch den Wechsel von zielorientierter Generierung zu quellenbedingter relativer Transformation ermöglicht das Framework eine intuitivere und flexiblere Kontrolle (z. B. „ruhiger“, „ausdrucksstärker“), ohne dass Nutzer ein Ziel-Emotionslabel spezifizieren oder eine Referenzaufnahme bereitstellen müssen. Die Arbeit zeigt, dass die Modellierung emotionaler Veränderung als Verschiebung in einem kontinuierlichen affektiven Raum (via Rectified Flow) eine effektive Strategie für Zero-Shot EVC ist, die eine Performance erreicht, die mit State-of-the-Art-Systemen bei Standard-Kategorienaufgaben konkurrenzfähig ist, während sie gleichzeitig neue Fähigkeiten für relative Intensität und offene affektive Kontrolle ermöglicht.