ParsVoice: A Large-Scale Multi-Speaker Persian Speech Corpus for Text-to-Speech Synthesis
Das Papier stellt ParsVoice vor, ein öffentlich zugängliches, 2.200-Stunden umfassendes Mehrsprecher-Persisch-Sprachkorpus, das über eine skalierbare Pipeline aus Hörbüchern erstellt wurde, was die offenen Ressourcen für persische Text-zu-Sprache-Systeme erheblich erweitert und eine hochwertige Syntheseleistung demonstriert, wenn es zum Feinabstimmen des XTTS-Modells verwendet wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie möchten einem Roboter beibringen, Persisch zu sprechen. Sie können ihm nicht einfach ein Wörterbuch geben; Sie müssen ihm Tausende von Stunden echter menschlicher Stimmen beim Vorlesen von Geschichten zuführen, damit er den Rhythmus, die Emotionen und die einzigartigen Klänge der Sprache erlernen kann.
Lange Zeit war die persische Sprache wie ein Gast auf einer riesigen Party, dem kein Platz am Tisch angeboten wurde. Während Sprachen wie Englisch über riesige Bibliotheken mit aufgenommenen Sprachdaten verfügen (denken Sie an riesige, gut organisierte Lagerhäuser), verfügte das Persische über sehr wenig. Dies erschwerte den Bau guter Sprachassistenten oder Geschichtenerzähl-Roboter für persischsprachige Nutzer.
Die Lösung: ParsVoice
Die Autoren dieses Papers entwickelten ParsVoice, im Wesentlichen eine riesige, hochwertige Bibliothek persischer Sprache. Es ist die größte öffentliche Sammlung dieser Art, die je für diese Sprache erstellt wurde.
So haben sie es getan, aufgeschlüsselt in einfache Schritte:
1. Das Rohmaterial: Hörbücher
Anstatt Schauspieler zu engagieren, die in einem Studio Skripte vorlesen (was teuer und langsam ist), wandte sich das Team an eine öffentliche Bibliothek von Hörbüchern namens IranSeda. Denken Sie daran, als würden Sie einen Berg aus rohen, ungeschnittenen Filmrollen finden. Sie hatten über 3.800 Bücher, aber es gab einen Haken: Sie verfügten nicht über die schriftlichen Skripte (Transkripte), die perfekt mit dem Audio übereinstimmten.
2. Die „intelligente Schneid"-Pipeline
Man kann nicht einfach eine 10-stündige Hörbuchdatei an einen Roboter übergeben; sie muss in winzige, perfekte Sätze zerschnitten werden. Das Team baute eine automatisierte „Fließband"-Produktionslinie, um dies zu tun:
- Der Grobschnitt: Sie verwendeten ein Computerprogramm, um die Stille zwischen den Sätzen zu finden und das Audio dort zu schneiden.
- Der „Haben Sie fertig?"-Check: Manchmal schneidet der Computer das Audio mitten in einem Satz (wie wenn man einen Film genau kurz davor stoppt, dass der Held „Ich liebe dich" sagt). Sie nutzten eine intelligente KI (basierend auf einem Modell namens ParsBERT), um den Text zu lesen und zu fragen: „Ist dies ein vollständiger Gedanke?" Wenn die Antwort „Nein" war, verlängerte das System den Schnitt automatisch um einen Bruchteil einer Sekunde und prüfte erneut, bis der Satz ganz war.
- Der „Fett abschneiden"-Schritt: Selbst nach dem Schneiden könnte am Anfang oder Ende eines Clips noch ein winziges Stück Stille oder ein Husten sein. Das System verwendete eine „binäre Suche" (eine clevere Art des Raten und Prüfens), um genau die richtige Menge an Stille abzuschneiden, damit die Stimme sauber beginnt und endet, ohne dabei Wörter abzuschneiden.
- Der Qualitätsinspektor: Nicht alle Hörbücher wurden in einem schalldichten Studio aufgenommen. Manche könnten Hintergrundmusik oder schlechte Mikrofone haben. Das System agierte wie ein strenger Redakteur, der jeden Clip hinsichtlich Audioqualität und Textgenauigkeit bewertete. Wenn ein Clip zu verrauscht war oder der Text Unsinn enthielt, wurde er verworfen.
- Der Stimmendetektiv: Da ein Hörbuch mehrere Erzähler haben könnte, nutzte das System ein „Stimmen-Fingerabdruck"-Werkzeug, um alle Clips nach dem Sprecher zu gruppieren. Dies ermöglichte es ihnen, automatisch 1.815 verschiedene Sprecher zu identifizieren.
3. Das Ergebnis
Das Endprodukt ist eine 2.200-Stunden-Bibliothek sauberer, perfekt zerschnittener persischer Sätze.
- Sie ist 25-mal größer als die bisher größte persische Sprachsammlung.
- Sie enthält 1,36 Millionen einzelne Satzclips.
- Sie umfasst 1.815 verschiedene Stimmen.
4. Hat es funktioniert?
Um zu testen, ob diese Bibliothek tatsächlich nützlich war, trainierte das Team ein modernes KI-Stimmmodell (genannt XTTS) ausschließlich mit diesen neuen Daten. Sie lehrten es nicht zuerst die Laute der persischen Buchstaben (Phoneme); es durfte direkt aus Text und Audio lernen.
Die Ergebnisse waren beeindruckend:
- Natürlichkeit: Menschen bewerteten die Roboterstimme als sehr natürlich (3,6 von 5).
- Stimmenimitation: Als sie den Roboter baten, eine neue Stimme nachzuahmen, die er noch nie gehört hatte, leistete er hervorragende Arbeit (4,0 von 5).
- Verständlichkeit: Der Roboter sprach so klar, dass andere Computerprogramme ihn perfekt verstehen konnten.
Was es nicht leistet (Die Grenzen)
Die Autoren sind ehrlich darüber, was diese Bibliothek nicht ist:
- Sie ist nicht zum Chatten gedacht: Da die Daten aus Hörbüchern stammen, klingen die Stimmen so, als würden sie eine Geschichte vorlesen (formell und gleichmäßig). Wenn Sie den Roboter bitten, einen lockeren, schnellen Plausch wie zwei Freunde in einem Café zu führen, könnte es etwas steif klingen.
- Sie ist nicht perfekt: Da sie einen Computer nutzen mussten, um den Text zu erraten (weil sie die Originalbücher nicht hatten), gibt es ein paar winzige Fehler im Text, obwohl sie die meisten davon herausgefiltert haben.
- Geschlechterbalance: Die Bibliothek enthält mehr männliche als weibliche Stimmen, einfach weil die verwendeten Hörbücher mehr männliche Erzähler hatten.
Zusammenfassung:
Das Team baute eine riesige, automatisierte Fabrik, die Tausende von Stunden roher persischer Hörbücher in einen sauberen, organisierten und massiven Datensatz verwandelte. Dieser Datensatz steht nun jedem zur Verfügung, um bessere persische Sprachtechnologien zu entwickeln und gibt der Sprache endlich einen Platz am Tisch der High-Tech-Sprachforschung.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.