💻 computer science

Reference-Driven Multi-Speaker Audio Scene Generation from In-the-Wild Priors

Das Paper stellt ScenA vor, eine referenzgesteuerte Multi-Sprecher-Audiogenerierungsmethode, die ein auf In-the-Wild-Daten vortrainiertes Text-zu-Audio-Flow-Matching-Modell nutzt, um realistische, überlappende Dialogszenen mit Umgebungsgeräuschen zu erzeugen, indem sie auf Referenzstimmen und frei formulierte Prompts konditioniert wird, während sie gleichzeitig die „Reference Shortcut“-Herausforderung durch eine auf hohem Rauschen basierende Trainingsstrategie überwindet.

Ursprüngliche Autoren: Michael Finkelson, Daniel Segal, Eitan Richardson, Shahar Armon, Nani Goldring, Poriya Panet, Nir Zabari, Benjamin Brazowski, Or Patashnik, Yoav HaCohen

Veröffentlicht 2026-06-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Michael Finkelson, Daniel Segal, Eitan Richardson, Shahar Armon, Nani Goldring, Poriya Panet, Nir Zabari, Benjamin Brazowski, Or Patashnik, Yoav HaCohen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten ein kurzes, lebhaftes Hörspiel mit zwei verschiedenen Schauspielern, Hintergrundmusik und dem Geräusch eines belebten Cafés erstellen.

Der alte Weg (Der „Fließband“-Ansatz)
Früher mussten Sie, wenn Sie diese Szene erstellen wollten, wie ein strenger Filmregisseur mit einem Klemmbrett agieren. Sie hätten folgendes tun müssen:

Ein Skript schreiben, das genau festlegt, wer wann spricht (z. B. „Zeile 1: Sprecher A“, „Zeile 2: Sprecher B“).
Die Stimme für Sprecher A separat generieren.
Die Stimme für Sprecher B separat generieren.
Die Clips manuell aneinanderfügen.
Das Hintergrundgeräusch darüberlegen.

Das Ergebnis klang oft „sauber“, aber künstlich, als würden zwei Personen in einem Vakuum sprechen, weil das System nicht wusste, wie sie sich überlappen, gemeinsam lachen oder auf die Akustik des Raumes reagieren sollten.

Der neue Weg (SCENA: Der „improvisierende Regisseur“)
In der Arbeit wird ein neues System namens SCENA vorgestellt. Anstatt eines Klemmbretts geben Sie der KI einfach eine frei fließende Geschichtenbeschreibung in natürlicher Sprache.

Der Prompt: Sie tippen: „Ein sanftes Klavier spielt. Der erste Sprecher sagt schnell ‚Hi!‘. Der zweite Sprecher ruft gleichzeitig ‚Willkommen!‘, und ihre Stimmen vermischen sich perfekt.“
Die Referenzen: Sie laden zwei kurze Audioclips der Stimmen hoch, die Sie verwenden möchten (Stimme 1 und Stimme 2).
Die Magie: Die KI liest Ihre Geschichte und generiert sofort die gesamte Szene. Sie findet heraus, wer wann spricht, lässt die Stimmen natürlich überlappen und sorgt sogar dafür, dass der Raum echt klingt – und das alles in einem Rutsch.

Das große Problem, das sie gelöst haben: „Die Abkürzung durch Betrug“

Als die Forscher versuchten, die KI auf diese Weise zu trainieren, versuchte sie zu „schummeln“.

Stellen Sie sich einen Schüler vor, der einen Test macht, bei dem er ein Foto einer Person einer Beschreibung zuordnen muss.

Das Ziel: Der Schüler sollte die Beschreibung lesen („Der Mann mit dem roten Hut“) und das passende Foto finden.
Der Betrug: Der Schüler schaut sich das Foto an, das er lösen soll, sieht den roten Hut und wählt einfach das Foto aus, das dem am ähnlichsten sieht, ohne die Beschreibung überhaupt zu beachten.

Im Fall der KI war der „Test“ während des Trainings eine verrauschte, verzerrte Version des Audios. Die KI erkannte, dass sie einfach nur dem verzerrten Rauschen zuhören, die Stimme finden konnte, die am ähnlichsten klang, und diese dann einfach kopieren konnte. Sie musste die Textanweisungen nicht lesen, um zu wissen, wer gerade spricht. Das funktionierte während des Trainings hervorragend (niedrige Fehlerraten), scheiterte aber kläglich bei der tatsächlichen Anwendung, da die echte Generierung mit reiner Stille beginnt (also ohne Rauschen, mit dem man schummeln könnte). Die KI hatte gelernt, Ihre Anweisungen zu ignorieren.

Die Lösung: „Die Diät aus hohem Rauschen“

Um dies zu beheben, änderten die Forscher den „Trainingsdiät“ der KI.

Normalerweise findet das KI-Training auf einem Niveau von „mittlerem Rauschen“ statt, bei dem die Antwort noch einigermaßen sichtbar ist. Die Forscher erkannten, dass dies genau der Punkt war, an dem das Schummeln passierte. Sie wechselten zu einem High-Noise-Biased Schedule (einem auf hohem Rauschen basierenden Zeitplan).

Stellen Sie sich das so vor, als würde man jemanden lehren, ein Gesicht in einem Schneesturm zu erkennen:

Alte Methode: Man zeigt ihnen ein leicht beschlagenes Foto. Sie können die Merkmale noch erkennen und den Namen erraten, ohne die Hinweise zu lesen.
Neue Methode (SCENA): Man zeigt ihnen ein Foto, das zu 90 % aus weißem Schnee besteht. Der einzige Weg, herauszufinden, wer es ist, besteht darin, den Hinweis zu lesen („Es ist der Typ mit dem roten Hut“).

Indem sie die KI zwangen, hauptsächlich zu lernen, wenn das Audio fast reines statisches Rauschen ist, zwangen sie sie, aufzuhören zu schummeln und statgehend zu lernen, Ihren Textanweisungen zuzuhören, um zu entscheiden, welche Stimme wann spricht.

Die Ergebnisse

Als sie dieses neue System testeten:

Bessere Bindung (Binding): Es ordnete die richtige Stimme der richtigen Stelle der Geschichte viel besser zu als bisherige Systeme.
Realismus: Es erzeugte überlappende Sprache, Lachen, Seufzer und Hintergrundgeräusche, die wie ein echtes, unordentliches Gespräch klangen, nicht wie eine sterile Studioaufnahme.
Wildcards: Es funktionierte sogar gut, wenn die Sprachclips in verrauschten, realen Umgebungen (wie einer Straße oder einem Park) aufgenommen wurden, nicht nur in einem ruhigen Studio.

Kurz gesagt: SCENA ist ein System, mit dem Sie eine mehrsprachige Audioszene allein durch eine Geschichte und einige Sprachclips dirigieren können, ohne ein komplexes Skript schreiben oder das Audio manuell bearbeiten zu müssen, weil es gelernt hat, Ihren Worten zuzuhören, anstatt nach Abkürzungen zu suchen.

Technisches Resümee: Referenzgestützte Generierung von Multi-Speaker-Audioszenen aus In-the-Wild-Priors

Problemstellung

Bestehende Systeme zur Generierung von Multi-Speaker-Dialogen verlassen sich stark auf strukturierte Aufsicht wie pro Turn Speaker-Tags, Multi-Stream-Transkriptionen oder lernbare Speaker-Turn-Embeddings. Diese Ansätze operieren typischerweise innerhalb reiner Sprach-Pipelines, die saubere vokale Sequenzen erzeugen, dabei jedoch die ambiente Textur, die Raumakustik und das überlappende Sprechen, die für reale Konversationen charakteristisch sind, entfernen. Darüber hinaus adressieren Zero-Shot-Voice-Cloning-Modelle im Allgemeinen nur den Einzelfall eines Sprechers, wodurch Multi-Speaker-Szenen außerhalb des Modells segmentweise zusammengesetzt werden müssen. Die zentrale Herausforderung besteht darin, reichhaltige Multi-Speaker-Audioszenen mit natürlichem überlappendem Sprechen und Umgebungsgeräuschen zu generieren – und zwar unter Verwendung eines einzigen freien natürlichen Sprachprompts und eines Satzes von Referenzstimmen, ohne die Notwendigkeit von strukturellen Annotationen pro Turn oder Identitäts-Encodern.

Methodik: SCENA-Framework

Die Autoren schlagen SCENA vor, ein Flow-Matching-Framework, das ein vortrainiertes Text-zu-Audio-Foundation-Modell (speziell eine audio-only Variante von LTX-2) auf mehrere Referenzstimmen und einen ganzheitlichen natürlichen Sprachprompt konditioniert.

1. Referenz-Konditionierung via Latent-Konkatenation

Anstatt komplexe Adapter oder Identitäts-Encoder zu verwenden, nutzt SCENA eine minimale Schnittstelle:

Latent-Konkatenation: Referenz-Audioclips werden mittels desselben Variational Autoencoders (VAE) wie das Ziel-Audio in Latent-Sequenzen kodiert. Diese Referenz-Latents werden direkt mit den verrauschten Ziel-Tokens konkateniert.
Identitätsbewusste Positions-Encodings: Um zwischen verschiedenen Referenzen und dem Ziel zu unterscheiden, wird jedem Referenz-Slot $k$ ein gelernter Embedding $e_k$ zugewiesen. Dieses Embedding wird zu den Tokens des entsprechenden Referenz-Latents addiert. Die Ziel-Tokens erhalten kein solches additives Embedding.
Natürliche Sprachschnittstelle: Ein einzlicher Textprompt beschreibt die gesamte Szene, einschließlich ambianter Klänge, Sprecherwechsel und Inhalten. Der Prompt bezieht sich auf Sprecher durch textuelle Erwähnungen (z. B. „der Sprecher aus Referenz 1“). Das Modell verlässt sich vollständig auf diesen Text, um spezifische Referenzen an spezifische Teile des generierten Audios zu binden.

2. Die Herausforderung des Referenz-Shortcuts

Die Autoren identifizieren einen kritischen Fehlermodus beim Training von referenzkonditionierten Flow-Matching-Modellen, den sie als Reference Shortcut bezeichnen.

Mechanismus: Unter Standard-Rausch-Schedules (z. B. Logit-Normal) konzentriert sich die Trainingsmasse auf intermediäre Zeitschritte, in denen das verrausste Ziel $z_t$ noch signifikante akustische Informationen vom sauberen Ziel $z_0$ enthält. In diesem Regime kann das Modell den Textprompt vollständig umgehen. Anstatt zu lernen, Abfragen aus der Textbeschreibung via Cross-Attention und Self-Attention an die korrekte Referenz zu routen, gleicht das Modell die verraussten Ziel-Tokens einfach über Self-Attention mit dem akustisch ähnlichsten Referenz-Latent ab.
Konsequenz: Während dieser Shortcut den Trainingsverlust minimiert, führt er bei der Inferenz zu katastrophalem Versagen. Die Inferenz beginnt bei reinem Rauschen ( $t=1$ ), wo akustische Ähnlichkeit nicht verfügbar ist. Da das Modell gelernt hat, den Textprompt während des Trainings zu ignorieren, schlägt die Bindung von Referenzen an die korrekten Sprecher fehl, was zu verwirrten oder inkonsistenten Ergebnissen führt.

3. High-Noise-Biased Timestep Distribution

Um den Reference Shortcut zu eliminieren, modifizieren die Autoren die Trainings-Rauschverteilung:

Strategie: Sie ersetzen die Standard-Logit-Normal-Verteilung durch eine Mischverteilung: $p(t) = (1 - \lambda) \text{Beta}(t; \alpha, 1) + \lambda \text{Uniform}(t; \epsilon, 1)$ .
Effekt: Die Beta-Komponente konzentriert die Trainingsmasse im High-Noise-Tail (wo $t$ nahe bei 1 liegt). In diesem Regime enthält das verrauste Ziel kaum oder gar keine akustischen Informationen über die Quelle, wodurch der Shortcut unmöglich wird. Das Modell ist gezwungen, sich auf den Textprompt und die Referenz-Embeddings zu verlassen, um die Sprechertrennung zu bestimmen.
Auxiliäre Augmentationen: Um die Bindung weiter zu festigen, setzen die Autoren adversarielle Referenz-Injektion (Auffüllen ungenutzter Slots mit Distraktor-Referenzen, die im Prompt nicht erwähnt werden) und Slot-Shuffle-Augmentation (Randomisierung der Referenzreihenfolge und entsprechende Aktualisierung der Prompt-Tokens) ein, um zu verhindern, dass das Modell auf Positions-Biases vertraut.

4. Datensatz-Konstruktion

Die Autoren konstruierten einen Multi-Referenz-Datensatz, bei dem jedes Beispiel aus einem Ziel-Multi-Speaker-Konversationsclip, $K$ Single-Speaker-Referenzclips und einer Caption besteht. Die Pipeline zur Generierung der Captions nutzt eine intermediäre Caption (unkonditioniert auf Referenzen), um die Szenenbeschreibung zu erden, welche dann mit Diarisierung-Timestamps und Referenzclips kombiniert wird, um den finalen referenzkonditionierten Prompt zu generieren.

Ergebnisse

Die Methode wurde auf dem CoVoMix2-Dialogue Benchmark evaluiert, spezifisch auf dem COVOMIX2-DIALOGUE-20S Subset und einem COVOMIX2-DIALOGUE-WILDREF Subset unter Verwendung von In-the-Wild-Referenzen.

Speaker Binding: SCENA übertrifft bestehende Multi-Speaker-Dialog-Baselines (einschließlich MOSS-TTSD, VibeVoice, ZipVoice-Dialog und Dia) bei den Speaker-Binding-Metriken. Es erzielt die besten Werte für cpWER (Speaker-aware Word Error Rate), cpSIM (strikte pro-Sprecher Cosine Similarity) und ACC (Genauigkeit der Sprechertrennung).
Robustheit: Im „Wild Reference“-Setting, in dem Referenzen Hintergrundgeräusche und Nicht-Studio-Bedingungen enthalten, behält SCENA eine überlegene Performance bei. Während die Baseline-cpSIM-Scores signifikant sanken (unter 0,40), hielt SCENA einen Score von über 0,42.
Audioqualität: SCENA generiert überlappendes Sprechen, spontane paralinguistische Ereignisse (Lachen, Seufzen) und szenische Ambient-Sounds gemeinsam mit der Konversation. Während die UTMOS-Scores etwas niedriger als bei einigen Baselines waren (zurückzuführen auf das Training des LTX-2-Backbones auf In-the-Wild-Videosounds statt Studio-Sprache), waren die SQUIM-Scores kompetitiv oder überlegen.

Signifikanz und Ansprüche

Das Paper behauptet, dass SCENA den Vorteil demonstriert, ein allgemeines Audio-Foundation-Modell zu nutzen, das auf einen freien Szenenbeschrieb konditioniert ist, anstatt strukturierte Dialogskripte durch eine reine Speech-only-Pipeline zu schleusen.

Zentrale Ansprüche sind:

Natürlichkeit: Durch die Nutzung eines auf großskaligen In-the-Wild-Daten vortrainierten Modells erbt SCENA die Fähigkeit, natürliche, Nicht-Studio-Audiotexturen zu generieren, einschließlich Hintergrundgeräuschen, Raumakustik und überlappendem Dialog, die in strukturierten Dialog-TTS-Systemen typischerweise fehlen.
Minimales Interface: Das Framework erreicht komplexe Multi-Speaker-Kontrolle ohne pro-Turn Tags, Transkripte oder Identitäts-Encoder, indem es sich ausschließlich auf natürliche Sprache und Referenz-Latents stützt.
Trainingsdynamik: Das Paper hebt den „Reference Shortcut“ als zuvor unerkannte Fehlermöglichkeit im referenzkonditionierten Flow-Matching hervor und schlägt vor, dass die Modifikation der Timestep-Distribution allein ausreicht, um das Modell zu zwingen, die notwendige Text-zu-Referenz-Bindung zu erlernen, ohne explizite Bindungsmechanismen hinzuzufügen.

Die Autoren kommen zu dem Schluss, dass ihr Ansatz komplexe menschliche Interaktionen, einschließlich überlappendem Sprechen und spontaner paralinguistischer Ereignisse, direkt aus einem einzigen natürlichen Sprachprompt ermöglicht.