Crowdsourced Multilingual Speech Intelligibility Testing
Dieses Paper adressiert den Mangel an skalierbarer, multilingualer Sprachverständlichkeitstests, indem es einen Crowdsourcing-Ansatz zur Bewertung vorschlägt, dessen experimentelles Design detailliert beschreibt und die Erhebung sowie die öffentliche Freigabe multilingualer Sprachdaten zusammen mit ersten Ergebnissen präsentiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, menschliche Sprache zu verstehen, aber der Roboter wird immer wieder durch Hintergrundgeräusche oder schlechte Verbindungen verwirrt. Um dies zu beheben, müssen Ingenieure testen, wie klar die Stimme des Roboters klingt. Jahrzehntelang war der einzige Weg, dies zu tun, Menschen in einen schallisolierten Raum einzuschließen, ihnen hochwertige Kopfhörer aufzusetzen und Wörter in einem Labor anzuhören. Es war, als würde man versuchen, den Geschmack einer neuen Suppe zu beurteilen, indem man nur ein paar professionelle Köche in einer sterilen Küche probieren lässt. Es war genau, aber langsam, teuer und unmöglich, schnell hochskalierbar zu machen.
Eine neue Welle der „generativen“ Audiotechnologie verändert jedoch die Spielregeln. Dies sind intelligente Algorithmen, die Geräusche nicht nur bereinigen, sondern auch fehlende Teile der Sprache erraten und erschaffen, um sie besser klingen zu lassen. Das Problem ist, dass diese neuen Werkzeuge versehentlich einen Laut durch einen anderen ersetzen könnten, der zwar ähnlich klingt, aber etwas völlig anderes bedeutet (wie das Verwandeln eines „f“ in ein „p“). Um diese heimlichen Fehler abzufangen, brauchen wir eine massive, schnelle und kostengünstige Methode, um die Sprachverständlichkeit – also die Fähigkeit, das Gesagte zu verstehen – über viele verschiedene Sprachen hinweg zu testen. Hier kommt die Idee des „Crowdsourcing“ ins Spiel: Anstatt einiger Experten in einem Labor fragen wir tausende normale Menschen im Internet, sie zuzuhören und uns zu sagen, was sie hören, wodurch die ganze Welt zu einem riesigen, vielfältigen Testgelände wird.
In dieser Arbeit schlagen die Forscher Laura Lechler und Kamil Wojcicki von Cisco Systems einen neuen Weg vor, die Sprachverständlichkeit zu testen, indem sie einen klassischen Labortest ins Internet verlagern. Sie wollten sehen, ob sie zuverlässige Ergebnisse erzielen könnten, indem sie reguläre Menschen auf Crowdsourcing-Plattformen baten, ein einfaches Worträtselspiel zu spielen, anstatt teure Experten in einem Labor zu engagieren.
Der Test, den sie gewählt haben, heißt Diagnostic Rhyme Test (DRT). Denken Sie an ihn wie an ein „Finde den Unterschied“-Spiel für Ihre Ohren. Der Computer spielt ein einzelnes Wort ab, wie zum Beispiel „Bat“ (Fledermaus), und gibt Ihnen dann zwei Möglichkeiten auf dem Bildschirm: „Bat“ oder „Pat“ (ein fiktives Wort für den Vergleich). Sie müssen nur auf das klicken, was Sie gehört haben. Die Wörter wurden sorgfältig ausgewählt, sodass sie sich nur durch einen winzigen Laut unterscheiden (wie das „b“ gegenüber dem „p“), was hilft, genau den Punkt zu lokalisieren, an dem ein Algorithmus eventuell Fehler macht. Die Forscher sammelten diese Wortlisten in fünf Sprachen: Englisch, Spanisch, Französisch, Deutsch und Mandarin-Chinesisch.
Um dies online umsetzbar zu machen, mussten sie klug vorgehen. Sie nahmen Muttersprachler auf, die diese Wörter aussprachen, bereinigten das Audio und platzierten es in einer Umfrage auf einer Website namens Prolific. Sie bezahlten die Teilnehmer gut (mehr als 8 US-Dollar pro Stunde) und fügten spezielle „Fangfragen“ hinzu, um sicherzustellen, dass die Leute tatsächlich aufpassten und nicht einfach nur wahllos herumklickten. Sie stellten zudem sicher, dass die Teilnehmer Kopfhörer verwendeten und über ein normales Hörvermögen verfügten.
Das Team führte vier verschiedene Experimente durch, um zu sehen, ob dieser „Internet-Labor“-Ansatz tatsächlich funktionierte. Zuerlich verglichen sie ihre Online-Ergebnisse mit einem traditionellen Labortest unter Verwendung von spanischsprachigen Probanden. Sie fanden heraus, dass die Online-Gruppe insgesamt etwas niedriger bewertete (was sinnvoll ist, da sie sich nicht in einem perfekten, ruhigen Raum befanden), der Online-Test aber sehr gut darin war, den Unterschied zwischen gutem und schlechtem Audio aufzuzeigen. Zum Beispiel testeten sie ein komprimiertes Audioformat (NB PCMU), und sowohl die Laborexperten als auch die Online-Crowd waren sich einig, dass es schlechter als die hochwertige Version war, selbst wenn die Online-Gruppe insgesamt eine niedrigere Punktzahl vergab.
Als Nächstes prüften sie, ob der Test konsistent war. Sie führten denselben Test zweimal mit denselben Leuten durch und einmal mit einer völlig neuen Gruppe. Die Ergebnisse waren fast identisch, was zeigt, dass der Test zuverlässig und wiederholbar ist, genau wie ein gutes wissenschaftliches Experiment. Sie testeten auch zwei verschiedene Audio-Kompressionsformate (AMR-WB und AMR-NB) auf Englisch. Die Online-Ergebnisse entsprachen perfekt den Mustern, die in alten Labortests gefunden wurden, was zeigt, dass die „Crowd“ den Unterschied zwischen den beiden Codecs genauso gut erkennen konnte wie die Experten.
Schließlich testeten sie das System über alle fünf Sprachen hinweg. Sie fanden heraus, dass der Online-Test erfolgreich feststellte, wenn die Audioqualität durch Kompression in Englisch, Deutsch, Spanisch und Französisch sank. Interessanterweise schien die Kompression beim chinesischen Test, der stark auf musikalischen Tönen statt nur auf Konsonantenlauten basiert, die Verständlichkeit nicht wesentlich zu beeinträchtigen. Dies ergibt Sinn, da die „Tonhöhe“ der Stimme (die den Ton trägt) erhalten blieb, selbst wenn die Audioqualität gesenkt wurde.
Die Autoren kommen zu dem Schluss, dass dieser Crowdsourcing-Ansatz eine valide, kosteneffiziente und schnelle Methode ist, um die Sprachverständlichkeit zu testen. Obwohl die absoluten Werte etwas niedriger sein mögen als in einem perfekten Labor (vielleicht weil die Menschen in ihren lauten Küchen statt in schallisolierten Räumen zuhören), sind die relativen Ergebnisse absolut präzise. Sie haben gezeigt, dass man das Internet nutzen kann, um einen vielfältigen, globalen Pool an Zuhörern zu gewinnen, um neue Audio-Algorithmen schnell zu testen. Sie haben sogar ihre Wortlisten und Audioaufnahmen der Öffentlichkeit zur Verfügung gestellt, damit andere Forscher diese für ihre eigenen Benchmarks nutzen können. Es ist ein Schritt in Richtung der Gewissheit, dass unsere KI-Stimmen, während sie intelligenter werden, auch für jeden, überall, klar und verständlich bleiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.