LASE: Language-Adversarial Speaker Encoding for Indic Cross-Script Identity Preservation

1. Problemstellung

Mehrsprachige Sprachklonierungs- und Diarisierungssysteme verlassen sich auf Sprecher-Encoder, um die Identität eines Sprechers unabhängig von der gesprochenen Sprache oder Schrift zu identifizieren. Off-the-shelf-Sprecher-Encoder (z. B. WavLM-base-plus-sv, ECAPA-TDNN) versagen jedoch erheblich, wenn sie auf indische Schriften (Devanagari, Telugu, Tamil) im Vergleich zu lateinischen Schriften angewendet werden.

• Der Fehlermodus: Wenn derselbe Sprecher die Schrift wechselt (z. B. von Englisch zu Hindi), behandeln Standard-Encoder die Stimme als eine andere Identität.
• Quantitative Auswirkungen: Auf einem westlich akzentuierten Korpus verliert WavLM 0,082 absolute Kosinus-Ähnlichkeit, und ECAPA-TDNN verliert 0,105, wenn Clips derselben Stimme über verschiedene Schriften hinweg verglichen werden. Diese Lücke ist groß im Verhältnis zur Spanne zwischen Paaren derselben Stimme und verschiedener Stimmen und führt zu Produktionsausfällen wie:
  • Aufspaltung eines einzelnen Kundenbetreuers in mehrere Identitäten während Calls mit Code-Switching.
  • Sprachklonierung klingt wie „eine andere Stimme mit Akzent" statt wie dieselbe Person.
• Ursache: Standard-Encoder werden primär auf Daten mit englischer (lateinischer) Schrift trainiert (z. B. VoxCeleb). Ihre Einbettungen sind mit phonetischen Strukturen verflochten, die spezifisch für Englisch sind. Bei Exposition gegenüber indischen Phonemen (z. B. retroflexen Verschlusslauten) driftet die Einbettung ab und leckt Sprachinformationen in den Identitätsvektor.

2. Methodik: LASE (Language-Adversarial Speaker Encoder)

Die Autoren schlagen LASE vor, eine leichte Architektur, die darauf ausgelegt ist, die Sprecheridentität von Sprach-/Schriftdaten mittels Domain-Adversarial Training zu entkoppeln.

Architektur

LASE besteht aus drei Komponenten:

1. Eingefrorener Backbone: Verwendet WavLM-base-plus (abgeschnitten am Transformer-Stack), um frame-level Merkmale zu extrahieren. Dieser Backbone ist eingefroren, um vortrainiertes akustisches Wissen zu bewahren.
2. Trainierbarer Projektionskopf: Ein zweischichtiger MLP (768 $\to$ 512 $\to$ 256) mit ReLU und Dropout. Er bildet die Backbone-Merkmale auf eine 256-dimensionale Sprecher-Einbettung ($z$) ab.
3. Gradienten-Umkehr-Sprachklassifikator: Ein kleiner MLP, der versucht, die Sprache (Englisch, Hindi, Telugu, Tamil) aus der Einbettung $z$ vorherzusagen. Entscheidend ist, dass eine Gradient Reversal Layer (GRL) zwischen $z$ und dem Klassifikator eingefügt wird. Während der Rückwärtspropagation multipliziert die GRL den Gradienten des Klassifikator-Verlusts mit $-\lambda_t$, wodurch der Projektionskopf gezwungen wird, die Genauigkeit des Klassifikators zu minimieren (d. h. die Einbettung sprachuninformative zu machen), während die Sprecher-Diskriminierung maximiert wird.

Verlustfunktionen

Das Modell wird unter Verwendung einer Summe aus zwei Verlusten optimiert:

1. Überwachter Kontrastiver Verlust ($L_{spk}$): Zieht Einbettungen desselben Sprechers (über verschiedene Schriften hinweg) zusammen und drückt verschiedene Sprecher auseinander.
2. Adversarialer Sprachverlust ($L_{lang}$): Kreuzentropie-Verlust für den Sprachklassifikator. Aufgrund der GRL zwingt die Minimierung des Gesamtverlusts den Encoder, $L_{lang}$ zu maximieren (wodurch der Klassifikator zufällig rät, $\approx \ln 4$), während $L_{spk}$ minimiert wird.

Trainingsplan

• Warmup: 200 Schritte mit $\lambda=0$ (nur Sprecher-Verlust), um eine kohärente Sprachgeometrie zu etablieren.
• Ramp: Linearer Anstieg von $\lambda$ von 0 auf 0,1 über 500 Schritte.
• Hold: $\lambda=0,1$ für den Rest.
• Gesamtkosten: Trainiert für 1.000 Schritte auf einer einzelnen A10G-GPU (~17 Minuten, 0,31 $).

3. Daten und Korpus-Konstruktion

Eine große Herausforderung war das Fehlen natürlicher, großskaliger Datensätze mit demselben Sprecher über verschiedene Schriften hinweg für indische Sprachen.

• Synthetisches Bootstrapping: Die Autoren synthetisierten Daten mit ElevenLabs Multilingual v3.
• Setup: 8 verschiedene mehrsprachige Stimmen generierten jeweils 50 Sätze in 4 Sprachen (Englisch, Hindi, Telugu, Tamil).
• Qualitätstor: Paare wurden unter Verwendung einer WavLM-Kosinus-Ähnlichkeitsschwelle (0,90) gegen einen Referenz-Englisch-Clip gefiltert, um sicherzustellen, dass der Synthesizer die Identität bewahrte.
• Ergebnisende Datensätze:
  • Training: 1.118 hochwertige cross-script-Paare.
  • Held-out (Westlicher Akzent): 1.043 Paare (dieselben 8 Stimmen, ungesehene Sätze).
  • Held-out (Indischer Akzent): 1.369 Paare (8 verschiedene indisch akzentuierte Stimmen, ungesehene Sätze).

4. Hauptbeiträge

1. Erster indischer Cross-Script-Benchmark: Veröffentlichung des ersten Benchmarks für die Identität desselben Sprechers für indische Sprachen (1.118 Trainings- / 1.043 Held-out-Paare), konstruiert via TTS-Bootstrapping.
2. Messrahmen: Ein Drei-Verteilungs-Rahmen (Innerhalb-Schrift, Cross-Schrift, Über-Sprecher), um die Verflechtung von Sprache und Identität von anderen Störfaktoren zu isolieren.
3. LASE r1 Modell: Ein 256-dimensionaler Encoder, der die Cross-Script-Identitätslücke im Vergleich zu Baselines um 84,3 % reduziert.
4. Dateneffizienz: Erreicht eine Cross-Script-Sprecher-Recall, die ECAPA-TDNN (trainiert auf 1M+ VoxCeleb-Äußerungen) entspricht, unter Verwendung von ~100x weniger Daten (1.118 Paare).
5. Open Source: Veröffentlichung von Gewichten, Korpora und Trainingsskripten unter MIT/CC-BY-4.0-Lizenzen.

5. Ergebnisse

Die Evaluation verwendet zwei Metriken: Gap ($\Delta$) (Abfall der Ähnlichkeit von innerhalb-Schrift zu cross-Schrift; niedriger ist besser) und Margin ($M$) (Abstand der cross-Schrift-Ähnlichkeit zum Rauschboden; höher ist besser).

Metrik	WavLM-base-plus-sv	ECAPA-TDNN	LASE r1 (Ours)
Westlicher Gap ($\Delta$)	0,082	0,105	0,013 (CI schließt 0 ein)
Westlicher Margin ($M$)	0,245	0,202	0,662
Indischer Gap ($\Delta$)	0,006	0,044	0,026 (CI schließt 0 ein)
Indischer Margin ($M$)	0,144	0,256	0,344

• Gap-Schließung: LASE reduziert den westlich-akzentuierten Gap von 0,082 auf 0,013 (statistisch nicht unterscheidbar von null).
• Diarisierungsleistung: In einer synthetischen Code-Switching-Diarisierungsaufgabe erreichte LASE eine Cross-Script-Recall von 0,788, statistisch gleichauf mit ECAPA-TDNN (0,789), trotz Verwendung von 100x weniger Trainingsdaten.
• Ablationsstudie:
  • Die Anwendung von GRL auf ECAPA verbesserte es, aber WavLM+GRL performte besser.
  • Die Kombination aus WavLM-Backbone und dem GRL-Ziel ist notwendig; keines allein erreicht den vollen Effekt.
  • WavLM-Einbettungen waren leichter sprachinvariant zu machen als ECAPA-Einbettungen (der Sprachverlust blieb bei WavLM bei Zufallschance fixiert, schwankte aber bei ECAPA).

6. Bedeutung und Einschränkungen

Bedeutung:

• Produktionsauswirkung: Löst einen kritischen Fehlermodus in indischen mehrsprachigen TTS- und Call-Center-Diarisierungssystemen, bei dem Schriftwechsel zu Identitätsfragmentierung führen.
• Effizienz: Zeigt, dass explizite adversarielle Ziele dateneffizienter sind als das Verlassen auf massive Korpus-Skalen, um Invarianz implizit zu lernen.
• Zugänglichkeit: Bietet ein kostengünstiges, reproduzierbares Rezept zum Aufbau von cross-script-invarianten Encodern für beliebige Schriftsätze, für die TTS-Synthese machbar ist.

Einschränkungen:

• Synthetische Daten: Training und Evaluation verlassen sich auf ElevenLabs-Synthesetaudio. Während die Lücke in dieser Verteilung real ist, wurde die reale akustische Variabilität (Mikrofone, Hintergrundgeräusche, natürliche Prosodie) noch nicht getestet.
• Sprachgeneralisierung: Die Held-out-Sets verwenden dieselben Stimmen wie das Training (nur ungesehene Sätze). Die Generalisierung auf völlig neue Stimmen ist ein „v2"-Experiment.
• Code-Mixing: Das Modell wurde nicht auf intra-sentence Code-Mixing getestet (z. B. englische Wörter innerhalb eines Hindi-Satzes), was in indischer Sprache üblich ist.

Fazit:
LASE entkoppelt erfolgreich die Sprecheridentität von indischen Schriftvariationen unter Verwendung eines kleinen, adversariell trainierten Projektionskopfs. Es schließt die Cross-Script-Identitätslücke auf nahezu null und erreicht die Leistung von massiven, produktionsreifen Encodern mit einem Bruchteil der Daten und bietet eine praktische Lösung für mehrsprachige Sprachtechnologien im indischen Kontext.