Suvana: An Integrated Platform for Two-Way Deaf–Hearing Communication in Sri Lankan Sign Language

In vielen Teilen der Welt ist Kommunikation ein gemeinsamer, fließender Austausch, der mühelos zwischen Menschen stattfindet, die hören können, und denen, die es nicht können. Doch für die Gehörlosen-Gemeinschaft in Sri Lanka wird dieser Austausch oft durch einen Mangel an Ressourcen blockiert. Es gibt nicht genügend professionelle Dolmetscher, um die Lücke zu schließen, und das Land besitzt noch keine einzige, vollständig standardisierte Version seiner Gebärdensprache, auf die sich alle geeinigt haben. Obwohl die Technologie große Fortschritte gemacht hat, um die Kommunikation zu erleichtern, sind die meisten dieser Werkzeuge für die American Sign Language entwickelt worden, wodurch lokale Sprachen wie die Sri Lankan Sign Language weitgehend von Entwicklern ignoriert werden. Dies schafft eine Situation, in der die Menschen, die diese Werkzeuge am dringendsten benötigen, ohne sie bleiben, und die Technologie, die existiert, oft nicht die einzigartigen Arten versteht, wie Menschen in Sri Lanka sich mit ihren Händen und Gesichtern ausdrücken.

Ein Forscher hat sich zum Ziel gesetzt, diese Lücke mit einer neuen digitalen Plattform namens Suvana zu schließen. Anstatt zu versuchen, eine einzige, massive Anwendung von Grund auf neu zu bauen, hat er vier verschiedene Software-Tools, die separat entwickelt worden waren, zusammengefügt und zu einem nahtlosen Erlebnis verwoben. Das Ziel war nicht zu behaupten, dass er das Problem der Kommunikationsbarrieren vollständig gelöst hätte, sondern zu demonstrieren, dass diese unterschiedlichen Teile als ein einziges Produkt zusammenarbeiten können. Die Plattform umfasst ein Werkzeug, das Handzeichen in gesprochenes Sinhala umwandelt, eine Funktion, die gesprochenes Sinhala in einen digitalen Avatar zurückverwandelt, der zurückgebärdet, eine mobile App, die Nutzer vor wichtigen Geräuschen wie Autohupen oder zerbrechendem Glas warnt, und einen Übungstutor für Hörende, die die Sprache lernen möchten. Was dieses Projekt bemerkenswert macht, ist nicht nur die Kombination dieser Werkzeuge, sondern die Ehrlichkeit, mit der der Forscher berichtet, was er erreicht hat und, vielleicht noch wichtiger, was er noch nicht bewiesen hat.

Der bedeutendste Befund der Arbeit stammt aus dem Übungstutor, einem Werkzeug, das Lernenden helfen soll, Gebärden zu üben und Feedback zu ihrer Leistung zu erhalten. Der Forscher baute ein System, das die Handbewegungen eines Lernenden mit einem Referenzvideo eines flüssigen Gebärdensprachnutzers vergleicht. Um dies zu erreichen, nutzte er eine Methode, die die beiden Bewegungssequenzen zeitlich aufeinander abstimmt, sodass Unterschiede in der Geschwindigkeit ermöglicht werden, damit eine langsame, aber korrekte Gebärde nicht dafür abgestraft wird, dass sie langsam ist. Während des Testens entdeckten sie jedoch eine kritische Einschränkung in der Funktionsweise dieser Technologie. Sie fanden heraus, dass einige Gebärden, die völlig verschieden voneinander sind, dem Computer gegenüber überraschend ähnlich aussehen können, während zwei Personen, die exakt dieselbe Gebärde korrekt ausführen, sehr unterschiedlich aussehen können.

Aus diesem Grund erkannte der Forscher, dass das System nicht sicher verwendet werden kann, um zu erraten, welche Gebärde eine Person ausführen möchte, wenn der Computer nicht bereits weiß, was sie gebärden soll. Wenn das System versucht, eine unbekannte Gebärde zu identifizieren, würde es wahrscheinlich Fehler machen, da der Abstand zwischen zwei verschiedenen Gebärden manchmal kleiner ist als der Abstand zwischen zwei korrekten Versuchen derselben Gebärde. Stattdessen ist das System so konzipiert, dass es anders arbeitet: Der Lernende wird gebeten, eine spezifische Gebärde zu üben, und der Computer bewertet einfach, wie gut er diese spezifische Gebärde ausgeführt hat. Dieser Ansatz vermeidet die Falle, das falsche Wort zu erraten. Der Forscher maß, wie gut das System zwischen einem korrekten Versuch und einem falschen Versuch unterscheiden konnte, und fand heraus, dass es zwischen ihnen mit einer Genauigkeit unterscheiden konnte, die signifikant besser als der Zufall war, wenn auch noch weit entfernt von perfekt.

Der Forscher war auch sehr vorsichtig mit seinen Behauptungen bezüglich der anderen Teile der Plattform. Für das Werkzeug, das Gebärden in Sprache umwandelt, merkte er an, dass das System gut funktioniert, wenn die gebärdende Person dieselbe ist, auf die der Computer trainiert wurde, er behauptete jedoch nicht, dass es für jeden anderen funktionieren würde. Er stellte explizit fest, dass er noch nicht sagen kann, ob das System bei einer neuen Person funktionieren würde, die er noch nie gesehen hat, da seine Daten begrenzt sind. Ähnlich klar war er bezüglich des Teils des Systems, der Sprache in einen gebärdenden Avatar umwandelt; die Bewegungen des digitalen Charakters wurden von einem hörenden Studenten erstellt und wurden nicht von einem gehörlosen Gebärdensprachnutzer überprüft. Er präsentiert diesen Avatar als eine Demonstration dessen, wie die Technologie funktioniert, und nicht als eine validierte Art der Kommunikation, wobei er anerkennt, dass er ohne Input aus der Gehörlosen-Gemeinschaft nicht sagen kann, ob die Gebärden tatsächlich verständlich sind.

Der vielleicht wichtigste Teil der Arbeit ist das, was der Autor über seine eigene Rolle in dem Projekt sagt. Alle vier Forscher sind hörend, was bedeutet, dass sie nicht über die gelebte Erfahrung der Gehörlosen verfügen. Sie geben offen zu, dass ihnen die Fließendigkeit und der kulturelle Kontext fehlen, um zu beurteilen, ob das von ihnen gebaute System für die Menschen, denen es helfen soll, wirklich nützlich oder akzeptabel ist. Sie weisen darauf hin, dass es im Bereich der Barrierefreiheits-Technologie üblich ist, dass hörende Forscher Werkzeuge entwickeln, ohne genügend Input aus der Gehörlosen-Gemeinschaft zu erhalten, eine Praxis, die zu Produkten führen kann, die am Ziel vorbeischießen. Sie beschreiben ihre aktuelle Arbeit als einen Schritt in Richtung einer Lösung, betonen aber, dass die nächsten Schritte die direkte Einbeziehung gehörloser Gebärdensprachnutzer erfordern müssen. Das bedeutet, neue Referenzvideos mit gehörlosen Lehrern aufzunehmen und sie die Rückmeldungen validieren zu lassen, die das System gibt.

Der Forscher kommt zu dem Schluss, dass er zwar erfolgreich diese vier Werkzeuge in eine einzige Plattform integriert und das Bewertungssystem basierend auf realen Daten kalibriert hat, die Arbeit aber noch lange nicht abgeschlossen ist. Er hat gemessen, wie das System gegenüber einem Satz aufgezeichneter Videos performt, aber er hat noch nicht gemessen, wie es mit echten Lernenden performt oder wie gut es beim Lernen hilft. Er hat das System nicht mit einer diversen Gruppe von Gebärdensprachnutzern getestet, noch hat er den Inhalt mit der Gehörlosen-Gemeinschaft validiert. Ihre Erkenntnisse dienen als eine klare Karte dessen, was mit der aktuellen Technologie möglich ist und was noch unbekannt bleibt. Der Weg nach vorn erfordert, so argumentieren sie, über das bloße Bauen der Technologie hinauszugehen und sicherzustellen, dass die Menschen, die sie nutzen werden, auch deren Entwicklung leiten. Bis das geschieht, bleibt das System eher ein vielversprechender Prototyp als eine vollständige Lösung, und der Forscher ist sich darüber im Klaren, dass der wahre Test seiner Arbeit erst dann kommen wird, wenn gehörlose Gebärdensprachnutzer in jeder Phase des Prozesses involviert sind.