JaiTTS: A Thai Voice Cloning Model
JaiTTS-v1.0 ist ein state-of-the-art thailändisches Sprachklonierungs-Text-to-Speech-Modell, das auf der VoxCPM-Architektur basiert und durch die effektive Handhabung von Code-Switching und Numerals ohne explizite Textnormalisierung überlegene Zeichenfehlerraten erzielt und in menschlichen Evaluierungen kommerzielle Flaggschiffe übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen Küchenchef vor, der jedes Gericht zubereiten kann, aber nur englische Mahlzeiten wirklich perfekt beherrscht. Wenn Sie ihn bitten, ein thailändisches Gericht zu kochen, könnte er die Gewürze falsch dosieren; oder wenn Sie ihn ein Gericht aus thailändischen und englischen Zutaten zubereiten lassen, könnte er verwirrt sein.
JaiTTS ist wie ein neuer, spezialisierter thailändischer Küchenchef, der speziell auf einer riesigen Bibliothek thailändischer Stimmen und Geschichten trainiert wurde. Hier ist eine einfache Aufschlüsselung dessen, was diese Arbeit über ihre neue Kreation sagt:
1. Das Problem: Der „Nur-Englisch"-Koch
Die meisten der besten Tools zur Sprachklonierung, die es gibt, sind wie dieser englischsprachige Koch. Sie funktionieren hervorragend für Englisch, haben aber Schwierigkeiten mit Thailändisch.
- Das Akzent-Problem: Wenn sie versuchen, Thailändisch zu sprechen, bekommen sie manchmal die Töne (die musikalischen Höhen und Tiefen der Sprache) falsch.
- Der „Code-Switching"-Kampf: Im echten Leben mischen thailändische Menschen oft englische Wörter in thailändische Sätze ein (wie zum Beispiel „I need to check my schedule"). Bestehende thailändische Tools stolpern oft über diese Mischung oder erfordern, dass ein Mensch den Text zuerst bereinigt.
- Das Problem langer Geschichten: Einige thailändische Tools sind großartig für kurze Sätze, klingen aber roboterhaft oder versagen, wenn man sie bittet, eine lange Geschichte zu erzählen.
2. Die Lösung: JaiTTS-v1.0
Das Team hat JaiTTS-v1.0 entwickelt, ein neues Sprachmodell, das speziell für Thailändisch konzipiert wurde. Stellen Sie es sich als einen „Super-Koch" vor, der direkt aus 10.000 Stunden thailändischer Audioaufnahmen gelernt hat.
Wie es funktioniert (Die Küchen-Analogie):
Anstatt ein vorgefertigtes Rezeptbuch zu verwenden (was wie die Verwendung eines „Tokenizers" ist, der Wörter in Stücke zerlegt), lernt JaiTTS durch Zuhören und direktes Nachahmen zu kochen.
- Der Planer (TSLM): Dieser Teil liest den Text und entscheidet, was gesagt werden soll und wie es gesagt werden soll (die Emotion und der Rhythmus).
- Das Skelett (FSQ): Es erstellt einen groben Umriss des Klangs, wie eine Skizze eines Gemäldes.
- Der Verfeinerer (RALM): Dieser Teil fügt die feinen Details hinzu, wie die spezifische Textur der Stimme und die einzigartige Persönlichkeit des Sprechers.
- Der Maler (LocDiT): Schließlich verwandelt dieser Teil die Skizze und die Details in die tatsächliche, glatte, kontinuierliche Audio-Welle.
3. Die besonderen Fähigkeiten
- Keine „Vorreinigung" erforderlich: Wenn Sie ihm einen unordentlichen Satz mit Zahlen zuführen (wie „I have 500 baht") oder eine Mischung aus Englisch/Thailändisch, braucht es keinen Menschen, der ihn zuerst umschreibt. Es versteht den rohen Text sofort.
- Kurze und lange Geschichten: Es wurde sowohl an kurzen Phrasen (wie einer Textnachricht) als auch an längeren Geschichten (wie einem Podcast-Abschnitt) getestet. Es bewältigt beides gut, wohingegen andere thailändische Tools oft bei den langen versagen.
4. Der Geschmackstest (Ergebnisse)
Das Team setzte JaiTTS im Vergleich zu anderen berühmten Open-Source-Modellen und sogar hochkarätigen kommerziellen Sprachgeneratoren (wie ElevenLabs und MiniMax) auf die Probe.
- Genauigkeit: In einem „Hörttest", bei dem ein Computer versucht, das Gesagte zu transkribieren, machte JaiTTS weniger Fehler (1,94 % Fehlerrate) als sogar die menschlichen Sprecher, die es kopierte (1,98 % Fehlerrate). Es war so genau!
- Stimmähnlichkeit: Wenn es gebeten wurde, wie eine bestimmte Person zu klingen, leistete es hervorragende Arbeit und passte die Originalstimme sehr genau an.
- Geschwindigkeit: Es ist unglaublich schnell. Es kann Sprache fast 9-mal schneller als Echtzeit generieren. Stellen Sie sich einen Schreiber vor, der ein ganzes Buch in der Zeit tippen kann, die Sie zum Lesen einer einzigen Seite benötigen.
- Menschliches Urteil: Als 20 echte thailändische Sprecher JaiTTS gegen die großen kommerziellen Konkurrenten hörten, bevorzugten sie JaiTTS in 70 % der Fälle. Bei einem direkten Kopf-an-Kopf-Voting von 400 Vergleichen gewann JaiTTS 283-mal und verlor nur 58-mal.
Zusammenfassung
JaiTTS ist ein neues, hocheffizientes Tool zur thailändischen Sprachklonierung, das keine Hilfe benötigt, um gemischte Sprachen oder Zahlen zu verstehen. Es klingt natürlicher und genauer als andere Open-Source-Optionen und schlägt sogar einige teure kommerzielle Systeme darin, wie gut es echte menschliche Stimmen imitiert, und das alles bei blitzschneller Geschwindigkeit.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.