Bridging communication between hearing and visually impaired individuals via speech recognition and synthesis
Dieses Papier präsentiert ein kostengünstiges, rein softwarebasiertes Spracherkennungs- und Synthese-Tool (SRST), das in MATLAB entwickelt wurde und die bidirektionale Kommunikation zwischen hörgeschädigten und sehbehinderten Personen durch die Umwandlung von Sprache in kontrastreichen Text und von Text in synthetisierte Sprache erleichtert, wobei eine betriebliche Effizienz von etwa 90 % ohne die Notwendigkeit spezialisierter Hardware erreicht wird.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Kommunikation als eine riesige, geschäftige Party vor, auf der alle versuchen, miteinander zu sprechen. Für die meisten Menschen ist das einfach: Man spricht, ein Freund hört zu, er spricht zurück und man sieht, wie sich seine Lippen bewegen. Aber für manche Gäste ist die Party ein wenig kaputt. Wenn man die Musik nicht hören kann (hörgeschädigt), fühlt sich das Gespräch wie das Anschauen eines Stummfilms an, bei dem man die Witze verpasst. Wenn man den Bildschirm nicht sehen kann (sehbehindert), hört man zwar die Musik, weiß aber nicht, worum es in dem Film geht, weil man die Untertitel nicht lesen kann.
Dieses Paper lebt in dem Bereich der Wissenschaft namens „Assistive Technologie“, was im Grunde das Feld des Bauens von Werkzeugen ist, um Menschen mit Behinderungen dabei zu helfen, an der Party teilzunehmen. Um zu verstehen, was diese Forscher getan haben, müssen Sie wissen, dass Computer zwei Haupttricks nutzen, um mit Menschen zu kommunizieren. Das Erste ist die Spracherkennung, die wie ein superschneller Übersetzer ist, der auf Ihre Stimme hört und sie in geschriebene Wörter auf einem Bildschirm verwandelt. Das Zweite ist die Sprachsynthese, was das Gegenteil ist: Sie nimmt geschriebene Wörter und nutzt eine Computerstimme, um sie laut vorzulesen. Normalerweise sind diese Werkzeuge für Menschen konzipiert, die zwar hören, aber nicht sehen können, oder umgekehrt. Aber was passiert, wenn eine Person, die nicht hören kann, mit einer Person sprechen möchte, die nicht sehen kann? Sie stecken in einer Endlosschleife fest, in der die eine die Antwort nicht hören kann und die andere die Frage nicht lesen kann. Dieses Paper versucht, genau diese spezifische kaputte Schleife zu reparieren.
Die Forscher, ein Team der Aksum University in Äthiopien, haben eine digitale Brücke gebaut, das Speech Recognition and Synthesis Tool (SRST). Betrachten Sie es als ein Zwei-Wege-Walkie-Talkie, das nicht nur Schall überträgt, sondern sofort Schall in Text und Text zurück in Schall übersetzt. Ihr Ziel war es, ein System zu schaffen, bei dem eine hörgeschädigte Person in ein Mikrofon spricht, ihre Worte sofort als große, klare Schrift auf einem Bildschirm erscheinen, damit eine blinde Person sie über eine Computerstimme „hören“ kann, und dann die blinde Person zurückspricht, wobei ihre Stimme in Text umgewamelt wird, damit die hörgeschädigte Person ihn lesen kann.
Das Coole an diesem Projekt ist, dass sie keine schicken neuen Roboter oder teure Hardware gebaut haben. Stattdessen haben sie ein kluges Softwareprogramm geschrieben, das auf einem Standardcomputer unter Verwendung eines ganz normalen Mikrofons und Lautsprechers läuft. Es ist, als würde man einen normalen Laptop in ein magisches Kommunikationsgerät verwandeln. Das System arbeitet in zwei Hauptrichtungen. Auf der einen Seite hört es auf die Stimme einer blinden Person. Es zerlegt den Schall in winzige Stücke, analysiert die einzigartigen Muster der Sprache (wie einen Fingerabdruck für den Klang) und gleicht diese Muster mit einer Liste von Wörtern ab, die es gelernt hat. Sobald es herausgefunden hat, was gesagt wurde, druckt es die Wörter in hochkontrastreicher Schrift auf den Bildschirm, damit die hörgeschädigte Person sie lesen kann. Auf der anderen Seite tippt die hörgeschädigte Person eine Nachricht. Der Computer nimmt dann diese Buchstaben und näht winzige, voraufgenommene Stücke menschlicher Sprache (genannt „Diphone“) zusammen, um eine neue Stimme zu erzeugen, die die Nachricht der blinden Person laut vorliest.
Das Team testete ihre Kreation, indem sie Menschen in einem lauten Universitätslabor sprechen ließ. Sie fanden heraus, dass das System ziemlich gut funktioniert und die Nachricht etwa 90 % der Zeit richtig wiedergibt. Es war etwas besser darin, isolierte Wörter zu erkennen (etwa 91,2 %) als ganze Sätze in einem ruhigen Raum (89,5 %), und die Rate sank etwas mehr, wenn es Hintergrundgeräusche gab (84,1 %). Die Autoren legen nahe, dass die wenigen Fehler passierten, weil manche Wörter für das „Ohr“ des Computers sehr ähnlich klingen, wie Zwillinge in einer Menge.
Sie entdeckten auch, dass das System flexibel ist. Da sie keine komplexen Grammatikregeln fest programmiert haben, kann das System eine Mischung aus Sprachen handhaben und erfolgreich Wörter aus dem Englischen, Tigrinya und Amharisch in derselben Konversation erkennen. Dennoch geben sie zu, dass das System noch nicht perfekt ist. Es wird manchmal durch plötzliche laute Geräusche (wie das Scharren eines Stuhls), die kein Sprache sind, verwirrt, und es kann ein wenig langsam sein, wenn der Computer zu viele Wörter gleichzeitig prüfen muss.
Die Forscher kommen zu dem Schluss, dass dies zwar ein funktionierender Prototyp und kein fertiges kommerzielles Produkt ist, aber es beweist, dass eine kostengünstige Lösung, die nur auf Software basiert, erfolgreich die Lücke zwischen diesen beiden Gemeinschaften schließen kann. Sie schlagen vor, dass in der Zukunft das Hinzufügen einer Übersetzungsebene es ermöglichen könnte, dass Menschen verschiedene Sprachen sprechen und sich dennoch verstehen, und dass bessere Mikrofone helfen könnten, das System dazu zu bringen, Hintergrundgeräusche zu ignorieren. Für den Moment jedoch haben sie ein solides Fundament – einen digitalen Handschlag – geschaffen, der zeigt, wie Technologie zwei Menschen, die die Welt unterschiedlich erleben, endlich ein Gespräch führen lassen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.