HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics
Dieser Beitrag stellt HATS vor, einen neuartigen französischen Datensatz mit von Menschen wahrgenommenen Transkriptionsfehlern von 143 Annotatoren, um die Korrelation zwischen menschlichen Präferenzen und verschiedenen Metriken der automatischen Spracherkennung zu untersuchen und zu bewerten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind Richter in einem Kochwettbewerb. Zwei Köche (nennen wir sie Koch A und Koch B) haben ein Gericht nach einem geheimen Rezept zubereitet. Ihre Aufgabe ist es, beide zu probieren und zu entscheiden, welches dem Originalrezept näher kommt.
In der Welt der Computer ist genau das, was Automatische Spracherkennung (ASR) tut. Sie hört einem Menschen zu, der spricht, und versucht, die Wörter aufzuschreiben, genau wie ein Koch, der versucht, ein Gericht nachzukochen.
Lange Zeit war der einzige Weg, diese „Computerköche" zu bewerten, das Zählen von Fehlern. Wenn der Computer „Katze" statt „Batterie" schrieb, war das ein Fehler. Wenn er „k-a-t" statt „b-a-t" schrieb, war das ebenfalls ein Fehler. Dies nennt man Wortfehlerrate (WER). Es ist wie ein Richter, der nur zählt, wie viele Zutaten fehlen, ohne den Geschmack zu probieren.
Das Problem: Der „zählende" Richter ist zu streng
Die Autoren dieses Papers argumentieren, dass der „zählende" Richter nicht sehr gut darin ist zu verstehen, worauf Menschen tatsächlich achten. Manchmal macht ein Computer einen Fehler, der ein Wort verändert, aber die Bedeutung klar lässt (wie „Ich habe einen Apfel gegessen" statt „Ich habe eine Birne gegessen"). Ein menschlicher Zuhörer würde den Satz völlig verstehen, aber der „zählende" Richter markiert ihn als Fehler.
Die Forscher wollten wissen: Welches Computermaß entspricht tatsächlich dem, was ein Mensch als eine „gute" Transkription betrachtet?
Die Lösung: Das HATS-Experiment
Um das herauszufinden, erstellte das Team einen neuen Datensatz namens HATS (Human Assessed Transcription Side-by-Side). Stellen Sie sich dies als eine riesige, organisierte Verkostungsveranstaltung vor.
- Der Aufbau: Sie versammelten 143 menschliche Freiwillige.
- Die Aufgabe: Sie spielten eine Aufnahme einer sprechenden Person ab. Dann zeigten sie den Freiwilligen zwei verschiedene, vom Computer generierte Transkripte derselben Aufnahme. Beide Transkripte enthielten Fehler.
- Die Wahl: Die Freiwilligen mussten entscheiden, welche der beiden schriftlichen Versionen „besser" oder leichter zu verstehen war. Sie konnten nicht sagen „sie sind gleich". Sie mussten einen Gewinner auswählen.
Die Forscher wählten speziell schwierige Fälle aus, bei denen die beiden Computer-Versionen in ihrer Qualität sehr ähnlich waren, wodurch die Menschen gezwungen wurden, wirklich über die Nuancen der Sprache nachzudenken.
Die Ergebnisse: Was bevorzugten die Menschen?
Die Forscher verglichen dann die Entscheidungen der Menschen mit verschiedenen Computer-Bewertungssystemen, um zu sehen, welches am meisten mit den Menschen übereinstimmte.
Hier ist, was sie fanden, unter Verwendung einfacher Analogien:
- Der alte Weg (WER/CER): Die traditionelle „Wortfehlerrate" war wie ein Richter, der nur zählt, wie viele Buchstaben falsch sind. Sie schnitt schlecht ab. Sie wählte oft die „schlechtere" Transkription im Vergleich zu dem, was die Menschen bevorzugten.
- Der neue Weg (Semantische Metriken): Die Forscher testeten intelligentere Metriken, die die Bedeutung der Wörter betrachten, nicht nur die Rechtschreibung. Sie verwendeten Werkzeuge wie BERTScore und SemDist.
- Stellen Sie sich BERTScore als einen Richter vor, der versteht, dass „groß" und „riesig" dasselbe bedeuten, auch wenn die Wörter unterschiedlich sind.
- Stellen Sie sich SemDist als einen Richter vor, der die gesamte Satzstruktur betrachtet, um zu sehen, ob die „Stimmung" oder Bedeutung korrekt ist.
Der Gewinner: Die Metrik, die am meisten mit den menschlichen Freiwilligen übereinstimmte, war SemDist (speziell unter Verwendung eines Modells namens Sentence-BERT). Sie war am besten darin vorherzusagen, welche Transkription ein Mensch leichter verständlich finden würde.
Eine überraschende Wendung: Der „Klang" von Text
Ein interessantes Ergebnis betraf die Phonemfehlerrate (PhonER). Diese Metrik zählt Fehler basierend darauf, wie Wörter klingen (ihre Laute), nicht wie sie geschrieben sind.
- Obwohl die Menschen nur den Text lasen (nicht das Audio hörten), sagte die „klangbasierte" Metrik die Entscheidungen der Menschen besser voraus als die „wortzählende" Metrik.
- Die Analogie: Es ist, als würden die Menschen, während sie den Text lesen, die Wörter unbewusst in ihren Köpfen „hören". Sie bevorzugten den Text, der richtig klang, auch wenn sie nur auf die Buchstaben schauten.
Das Fazit
Das Paper kommt zu dem Schluss, dass, wenn Sie wissen wollen, ob ein Spracherkennungssystem für Menschen tatsächlich gut ist, Sie nicht nur die Rechtschreibfehler zählen sollten. Sie benötigen eine Metrik, die die Bedeutung und den Fluss des Satzes versteht.
Sie stellten ihre „Verkostungs"-Daten (HATS) kostenlos zur Verfügung, damit andere Wissenschaftler sie nutzen können, um bessere, menschenfreundlichere Spracherkennungssysteme zu entwickeln.
Wichtiger Hinweis: Die Autoren warnen, dass diese Studie ausschließlich in Französisch durchgeführt wurde. Nur weil diese Regeln für Französisch funktionieren, bedeutet das nicht, dass sie automatisch für Englisch oder andere Sprachen gelten. Außerdem, da sie sehr knifflige Beispiele für den Test auswählten, repräsentieren die Daten möglicherweise nicht jeden einzelnen Fehler, den ein Computer in der realen Welt macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.