Evaluating Goodness of Pronunciation and Phonological Posteriors as Objective Markers of Speech Severity in Motor Speech Disorders
Diese Studie zeigt, dass aus selbstüberwachten Sprachrepräsentationen, insbesondere WavLM, abgeleitete Scores zur Aussprachegüte als überlegene objektive Marker zur Bewertung der Schwere von Sprachstörungen bei motorischen Sprechstörungen im Vergleich zu traditionellen akustischen Merkmalen und phonologischen Posterior-Wahrscheinlichkeiten dienen, während sie gleichzeitig eine starke Übereinstimmung mit perzeptiven Bewertungen von Distorsion und Intelligibilität aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, menschliche Sprache zu verstehen, aber die Menschen, die sprechen, haben eine Verfassung, die ihre Wörter „matschig“, „steif“ oder „verhaspelt“ klingen lässt. Dies ist die Welt der motorischen Sprachstörungen, in der der Plan des Gehirns für die Bewegung des Mundes ein wenig durcheinandergerät. Jahrzehntelang haben sich Ärzte auf ihre eigenen Ohren und ihre Erfahrung verlassen, um zu beurteilen, wie schlecht die Sprache klingt – so ähnlich wie ein Musiklehrer, der die Gesangsstunde eines Schülers nach Gehör bewertet. Aber menschliche Ohren können ermüden, und verschiedene Lehrer könnten unterschiedliche Noten vergeben. Wissenschaftler haben versucht, ein „Sprachlineal“ zu bauen – ein Computerprogramm, das eine Schallwelle analysieren und ihr eine objektive Punktzahl dafür geben kann, wie verzerrt oder unklar sie ist. Um dies zu erreichen, verwenden sie zwei Hauptwerkzeuge: eines, das prüft, ob ein Laut mit der „korrekten“ Wörterbuchdefinition eines Wortes übereinstimmt (wie eine Rechtschreibprüfung für Laute), und ein anderes, das den Klang in seine physischen Bausteine zerlegt, als würde man prüfen, ob die Lippen gerundet oder die Zunge flach waren. Die große Frage ist: Welches dieser Computertools ist besser darin, das Problem zu erkennen, und müssen sie zusammenarbeiten?
Diese Studie, die von Forschern der Mayo Clinic durchgeführt wurde, beschloss, diese Werkzeuge anhand eines sehr spezifischen Wortes auf die Probe zu stellen: „Katastrophe“. Sie nahmen 489 Menschen auf, die dieses Wort sagten – einige mit gesunder Sprache und 156 mit motorischen Sprachstörungen. Das Team wollte sehen, ob sie moderne „selbstüberwachte“ KI-Modelle (denken Sie an diese superintelligenten Roboter, die gelernt haben zu sprechen, indem sie Millionen von Stunden unbeschrifteter Audioaufnahmen aus dem Internet gehört haben) nutzen konnten, um einen besseren „Goodness of Pronunciation“-Wert (GoP – Güte der Aussprache) zu erstellen. Sie verglichen diesen neuen, hochmodernen GoP-Wert auch mit den älteren, traditionellen akustischen Merkmalen und auch mit den „phonologischen posterioren Wahrscheinlichkeiten“ (dem Werkzeug, das die physischen Bausteine der Sprache überprüft).
Hier ist, was sie herausfanden: Der neue, hochmoderne KI-Ansatz war ein klarer Gewinner. Als die Forscher ein spezifisches modernes KI-Modell namens WavLM verwendeten, um die Sprache zu analysieren, erledigte es eine viel bessere Arbeit bei der Übereinstimmung mit den Bewertungen der Ärzte darüber, wie verzerrt oder unklar die Sprache war, im Vergleich zu den altmodischen Methoden. Tatsächlich war der leistungsstärkste Aufbau ein Verfahren namens „k-Nearest Neighbors“ (was so ähnlich ist wie das Finden der ähnlichsten Beispiele in einer Bibliothek, um ein Urteil zu fällen), kombiniert mit der WavLM-KI. Diese Kombination erreichte die stärkste Verbindung zu der Art und Weise, wie die Ärzte die Sprache bewerteten.
Die Studie untersuchte auch das andere Werkzeug, das die physischen Bausteine der Sprache überprüft. Es stellte sich heraus, dass dieses Werkzeug hilfreich war, aber nicht so gut darin war, die allgemeine Schwere der Sprachprobleme vorherzusagen wie der GoP-Wert. Die Forscher fanden heraus, dass die beiden Werkzeuge die Sprache zwar unterschiedlich betrachten – das eine prüft, ob der Klang das „richtige“ Wort ist, das andere prüft, wie sich der Mund bewegt –, sie aber tatsächlich leicht unterschiedliche Dinge erfassen. Als sie jedoch versuchten, sie zu einem „Super-Bewertungs-Tool“ zu kombinieren, leistete der GoP-Wert bereits so viel Schwerstarbeit, dass das zweite Werkzeug keinen nennenswerten Zusatzwert bot.
Interessanterweise prüfte die Studie, ob Alter oder Geschlecht die Ergebnisse verfälschten. Sie fanden heraus, dass diese Faktoren fast keinen Einfluss darauf hatten, wie die Computerbewertungen funktionierten. Ob der Sprecher jung oder alt, männlich oder weiblich war, die Fähigkeit des Computers, die Sprachprobleme zu erkennen, blieb stabil. Dies ist eine große Sache, denn es deutet darauf hin, dass diese Computertools ziemlich gut für eine Vielzahl von Menschen funktionieren könnten, ohne dass sie für jede einzelne Person neu abgestimmt werden müssen.
Am Ende legt die Arbeit nahe, dass die Verwendung dieser fortgeschrittenen, selbstüberwachten KI-Modelle zur Erstellung von Aussprachewerten eine leistungsstarke Methode ist, um Sprachbehinderungen objektiv zu messen. Während der „Baustein“-Checker seinen Platz hat, um zu verstehen, wie sich der Mund bewegt, ist der im Stil einer „Rechtschreibprüfung“ gehaltene GoP-Wert das bessere Werkzeug, um uns zu sagen, wie schwerwiegend das Sprachproblem tatsächlich ist. Die Forscher weisen vorsichtig darauf hin, dass dies an einem einzigen Wort getestet wurde, das viele Male wiederholt wurde, und obwohl die Ergebnisse vielversprechend sind, ist weitere Arbeit nötig, um zu sehen, ob dies auch bei langen, natürlichen Gesprächen genauso gut funktioniert. Aber für den Moment sieht es so aus, als könnte die Zukunft der Sprachbewertung aus einem sehr intelligenten Roboter bestehen, der ganz genau zuhört.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.