WorldSpeech: A Multilingual Speech Corpus from Around the World
Die Arbeit stellt WorldSpeech vor, ein groß angelegtes mehrsprachiges Korpus mit 65.000 Stunden abgestimmter Audio-Transkript-Daten in 76 Sprachen, das die Leistung der automatischen Spracherkennung für ressourcenarme Sprachen erheblich verbessert, indem die Wortfehlerrate im Durchschnitt um 63,5 % gesenkt wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, jede Sprache der Erde zu sprechen. Für populäre Sprachen wie Englisch oder Spanisch verfügen Sie über eine riesige Bibliothek aus Büchern und Hörbüchern, in der der Roboter einer Stimme zuhören und gleichzeitig die exakten gesprochenen Wörter lesen kann. Das ist wie ein perfekter Lehrer.
Doch für hunderte anderer Sprachen hungert der Roboter. Es gibt fast kein „Lehrmaterial". Vielleicht findet er hier und da ein paar verstreute Seiten, aber nicht genug, um ordentlich zu lernen. Dies ist das Problem, das die Autoren dieses Papiers, WorldSpeech, zu lösen versuchen.
Die große Sammlung: Eine globale Bibliothek
Die Forscher haben WorldSpeech entwickelt, im Wesentlichen eine massive, neue Bibliothek für Roboter-Lehrer.
- Das Ausmaß: Sie sammelten 65.000 Stunden Audio. Um das einzuordnen: Wenn Sie diese Bibliothek ohne Unterbrechung anhören würden, bräuchten Sie über 7 Jahre, um sie zu Ende zu hören.
- Die Vielfalt: Sie umfasst 76 verschiedene Sprachen, von großen Weltsprachen bis hin zu kleineren, regionalen Sprachen wie Kreol Seselwa (von den Seychellen) und Birmanisch.
- Die Quelle: Sie haben nicht einfach Menschen gebeten, sich selbst aufzunehmen (was oft unordentlich ist). Stattdessen haben sie in öffentlichen Aufzeichnungen nachgeforscht:
- Parlamente: Aufnahmen von Regierungssitzungen, bei denen Politiker sprechen und offizielle Transkripte existieren.
- Sendungen: Internationale Radiosender, die Nachrichten in vielen Sprachen ausstrahlen.
- Hörbücher: Geschichten aus dem öffentlichen Bereich, die vorgelesen wurden.
Stellen Sie sich vor, Sie sammeln jede öffentliche Rede, jeden Nachrichtenbeitrag und jedes Bilderbuch, das im öffentlichen Bereich verfügbar ist, und ordnen sie so an, dass ein Computer daraus lernen kann.
Das „Vermittler"-Problem
Nur Audio und Text zu haben, reicht nicht aus; sie müssen perfekt synchronisiert sein. Der Computer muss wissen, dass der Klang des Wortes „Hallo" genau in dieser Sekunde dem Text „Hallo" entspricht.
Das ist schwierig, weil:
- Formate sind unordentlich: Manche Audioaufnahmen liegen als MP3 vor, andere als Videodateien. Manche Texte sind in PDFs mit zwei Spalten, andere in alten Word-Dokumenten. Das Team musste eine „Reinigungscrew" aufbauen, um all diese verschiedenen Formate zu bereinigen.
- Das Problem des „schlechten Übersetzers": Um das Audio dem Text zuzuordnen, nutzten sie zunächst eine Standard-KI (einen „Übersetzer"), um zu erraten, was gesagt wurde. Wenn die KI bei einer bestimmten Sprache (wie Birmanisch oder Laotisch) schlecht ist, rät sie falsch, und der Computer findet den passenden Text nicht. Das ist wie der Versuch, ein Puzzleteil einzuordnen, wenn das Bild auf dem Stück verschwommen ist; man kann nicht erkennen, wo es passt.
Der „iterative" Trick: Besser werden, um mehr zu finden
Dies ist der cleverste Zug des Papiers. Die Autoren erkannten, dass sie bei Sprachen, bei denen die initiale KI schlecht war, viele gute Daten verworfen hatten, weil die „Übereinstimmung" fehlgeschlagen war.
Also erfanden sie eine Rückkopplungsschleife:
- Runde 1: Sie nutzen eine Basis-KI, um das zuordnen, was sie kann.
- Training: Sie trainieren diese Basis-KI mit den Übereinstimmungen, die sie gefunden hat.
- Runde 2: Sie nutzen diese neu „klügere" KI, um sich dasselbe Audio erneut anzusehen. Da die KI nun bei dieser spezifischen Sprache besser ist, kann sie endlich die Wörter erkennen, die ihr zuvor entgangen waren.
- Ergebnis: Sie gewannen eine enorme Menge zusätzlicher Daten zurück – manchmal verdoppelten oder verdreifachten sie die verfügbaren Stunden für schwierige Sprachen –, ohne eine einzige neue Sekunde Audio aufzunehmen.
Die Ergebnisse: Den Roboter unterrichten
Sie testeten diese neue Bibliothek, indem sie ein Standard-Spracherkennungsmodell (einen Roboter) mit WorldSpeech trainierten.
- Die Verbesserung: Bei 11 verschiedenen Sprachen sanken die Fehler des Roboters dramatisch. Im Durchschnitt wurde die Fehlerrate um 63,5 % gesenkt.
- Die „magischen" Fälle: Bei einigen Sprachen, bei denen der Roboter zuvor völlig verloren war (mehr Fehler als richtige Wörter machte), verwandelte das neue Training ihn in einen kompetenten Sprecher. Zum Beispiel ging der Roboter bei der samoanischen Sprache von nahezu unbrauchbar zu sehr wenigen Fehlern über.
Der Haken (Einschränkungen)
Die Autoren sind offen über die Mängel der Bibliothek:
- Die „formale" Verzerrung: Der Großteil des Audios stammt von Politikern und Nachrichtensprechern. Diese Menschen sprechen sehr formell, deutlich und langsam. Der Roboter könnte Schwierigkeiten haben, wenn er versucht, mit einer normalen Person in einem lockeren, schnellen oder voller Slang steckenden Gespräch zu reden.
- Die „Qualitäts"-Obergrenze: Die Qualität der endgültigen Übereinstimmungen hängt von der KI ab, die für die Zuordnung verwendet wird. Wenn die KI bei einer Sprache schrecklich ist, kann selbst dieser intelligente Prozess keine perfekte Übereinstimmung finden.
Zusammenfassung
Kurz gesagt geht es im WorldSpeech-Papier darum, eine riesige, öffentliche Bibliothek gesprochener Wörter und ihrer schriftlichen Transkripte für 76 Sprachen zu erstellen. Sie nutzten eine clevere „Übung macht den Meister"-Strategie, um die Teile der Bibliothek zu ordnen, die schwer zu organisieren waren. Das Ergebnis ist ein massiver Datensatz, der Computern hilft, viele mehr Sprachen zu verstehen und zu sprechen als zuvor, und zwar speziell durch das Lernen aus öffentlichen Aufzeichnungen wie Regierungssitzungen und Radiosendungen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.