PashtoTTS-Bench: automated screening for low-resource non-Latin-script text-to-speech
Dieser Beitrag stellt INSV-A vor, ein automatisiertes Screening-Framework zur Bewertung von Text-zu-Sprache-Systemen für ressourcenarme Texte in nicht-lateinischen Schriftsystemen, und implementiert es als PashtoTTS-Bench, um mehrere TTS-Systeme für Pashto systematisch anhand von Metriken wie der Wortfehlerrate der automatischen Spracherkennung, der Schrifttreue und der Spracherkennung zu bewerten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind Richter bei einer Talentshow für sprechende Roboter. Ihre Aufgabe ist es, zu prüfen, ob diese Roboter Paschtu sprechen können, eine Sprache, die von Millionen Menschen in Afghanistan und Pakistan gesprochen wird, ein einzigartiges Schriftsystem (persisch-arabisch) verwendet und einige sehr tückische Laute enthält, die es weder im Englischen noch im Urdu gibt.
Lange Zeit hatten Richter nur eine Möglichkeit, diese Roboter zu bewerten: Sie hörten dem Roboter zu, schrieben auf, was sie hörten, und zählten, wie viele Wörter falsch waren. Dies wird als „Wortfehlerrate" (Word Error Rate, WER) bezeichnet.
Das Problem:
Diese alte Methode ist wie die Bewertung eines Kochs, der versucht, eine scharfe Curry zu kochen, aber versehentlich eine Schale mit normalem Reis serviert. Wenn der Richter nur die Wörter zählt, könnte er sagen: „Nun, der Reis ist perfekt buchstabiert, also bekommt der Koch eine gute Note!" Doch der Richter übersah, dass der Koch das falsche Gericht insgesamt serviert hatte.
In der Welt der Paschtu-TTS (Text-to-Speech) machen Roboter oft drei tückische Fehler, die eine einfache Wortzählung übersieht:
- Die falsche Sprache: Sie lesen Paschtu-Text vor, sprechen aber Urdu oder Dari (Nachbarsprachen).
- Das falsche Schriftsystem: Sie sprechen die Wörter, verwenden aber die falschen Buchstaben in der Transkription (z. B. englische Buchstaben statt paschtunischer).
- Die Roboterstimme: Sie sagen die richtigen Wörter perfekt, aber die Stimme klingt flach, mechanisch und für das menschliche Ohr unnatürlich.
Die neue Lösung: INSV-A
Der Autor dieses Papiers, Hanif Rahman, hat eine neue „Bewertungskarte" namens INSV-A entwickelt. Anstatt nur einer Zahl ist es eine vierstufige Checkliste, die wie ein Sicherheitsscanner am Flughafen funktioniert.
Hier ist, wie die vier Teile funktionieren, unter Verwendung einfacher Analogien:
Verständlichkeit (Der „Können Sie mich hören?"-Check):
- Der Test: Erzeugt der Roboter tatsächlich einen Klang? Kann ein Computer die Wörter transkribieren?
- Die Analogie: Dies prüft, ob das Radio eingeschaltet ist und ob das Signal klar genug ist, um die Wörter zu verstehen.
Schrifttreue (Der „Stift und Papier"-Check):
- Der Test: Wenn der Computer aufschreibt, was der Roboter sagte, verwendet er dann die korrekten paschtunischen Buchstaben?
- Die Analogie: Wenn Sie jemanden bitten, ein Gedicht auf Paschtu zu schreiben, und er Ihnen ein Blatt Papier mit englischen Buchstaben überreicht, hat er den Test bestanden, selbst wenn er das Gedicht richtig gesprochen hat. Dieser Check stellt sicher, dass das „Schreiben" mit der „Sprache" übereinstimmt.
Verifikation (Der „Reisepass"-Check):
- Der Test: Spricht der Roboter tatsächlich Paschtu oder ist er auf Urdu umgeschaltet?
- Die Analogie: Dies ist wie die Kontrolle eines Reisepasses an der Grenze. Der Roboter mag so aussehen, als würde er Paschtu sprechen, aber dieser Check fragt: „Sind Sie wirklich ein Paschtu-Sprecher oder ein Betrüger, der eine Nachbarsprache spricht?"
Natürlichkeit (Der „Menschliches Ohr"-Check):
- Der Test: Klingt es wie eine echte Person oder wie ein Roboter?
- Die Analogie: Dies ist der „Vibe"-Check. Selbst wenn die Wörter perfekt sind, klingt es dann wie ein freundlicher Nachbar oder eine kalte Maschine?
- Hinweis: Das Papier besagt, dass dieser Teil geplant ist, aber in dieser spezifischen Veröffentlichung noch nicht vollständig abgeschlossen wurde. Sie haben den Test eingerichtet, aber die Bewertung der „Vibe"-Punkte noch nicht abgeschlossen.
Die Ergebnisse: Der „PashtoTTS-Bench"
Der Autor testete diese neue Bewertungskarte im April und Mai 2026 an mehreren Robotern. Hier ist, was sie fanden:
- Der „Automatische" Roboter (OmniVoice auto): Dieser Roboter war die Überraschungssiegerin. Er hatte die geringste Anzahl an Wortfehlern.
- Der Haken: Er schnitt besser ab als echte menschliche Sprecher. Warum? Weil der Computer, der ihn bewertete, schlecht darin ist, unordentliche, echte menschliche Sprache (mit Akzenten und Hintergrundgeräuschen) zu verstehen, aber die saubere, perfekte Klang eines Roboters liebt. Ein niedriger Fehlerwert bedeutet hier also nur, dass der Roboter „sauber" klingt, nicht unbedingt, dass er „besser als ein Mensch" klingt.
- Die „Kommerziellen" Roboter (Edge GulNawaz & Latifa): Dies sind die offiziellen Microsoft-Stimmen. Sie leisteten solide Arbeit, sprachen klares Paschtu mit den richtigen Buchstaben. Sie sind die „sichere" Basislinie.
- Der „Geklonte" Roboter (OmniVoice clone): Dieser Roboter versuchte, eine Stimme zu kopieren, stolperte aber etwas mehr und schaffte es nicht, einige Sätze überhaupt zu sprechen.
- Der „Urdu"-Roboter (Die Kontrolle): Der Autor testete einen Roboter, der Urdu sprechen sollte. Er bestand den Paschtu-Test korrekt nicht und bewies damit, dass die neue Bewertungskarte den Unterschied zwischen Paschtu und seiner Nachbarsprache Urdu erkennen kann.
Die große Entdeckung: Die „Whisper"-Falle
Eine der wichtigsten Erkenntnisse betrifft ein beliebtes Tool namens Whisper (eine berühmte KI für Sprache).
- Das Papier fand heraus, dass Whisper für Paschtu blind ist. Obwohl Paschtu in seinem Wörterbuch enthalten ist, erkennt es es fast nie. Es hält Paschtu für etwas anderes.
- Die Lehre: Man kann sich nicht auf nur ein Tool verlassen, um diese Sprachen zu bewerten. Man braucht ein Team verschiedener Tools (wie MMS und SpeechBrain), die sich gegenseitig überprüfen, sonst könnte man das Versagen komplett übersehen.
Zusammenfassung
Dieses Papier gibt nicht nur eine Punktzahl; es gibt ein neues Regelwerk. Es sagt uns, dass man für Sprachen wie Paschtu nicht nur Wörter zählen kann. Man muss prüfen:
- Hat es die richtige Sprache gesprochen?
- Hat es die richtigen Buchstaben verwendet?
- Hat es tatsächlich einen Klang erzeugt?
- (Schließlich) Hat es menschlich geklungen?
Der Autor hat alle Tools, die Testfragen und die Bewertungsskripte veröffentlicht, damit jeder diesen Test in der Zukunft erneut durchführen kann, um zu sehen, ob neue Roboter besser werden. Es ist ein „Kontrollpunkt", um sicherzustellen, dass wir nicht nur Roboter bauen, die so aussehen, als würden sie Paschtu sprechen, sondern die es tatsächlich tun.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.