JSL-DC: A Word-Level Japanese Sign Language Dataset with Linguist-Derived Descriptions for Distinguishing Confusable Signs
Dieses Paper stellt JSL-DC vor, den größten, auf die Gehörlosenkultur ausgerichteten japanischen Gebärdensprachdatensatz mit 36.700 Videos und von Linguisten abgeleiteten Beschreibungen für verwechselbare Gebärden, was ein neues Modell ermöglicht, das bestehende State-of-the-Art-Erkennungsmethoden bei anspruchsvollen Teilmengen um 9,8 % übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Für viele gehörlose Kinder finden die kritischsten Jahre der Sprachentwicklung statt, noch bevor sie jemals eine Schule betreten. In dieser Zeit sind sie darauf angewiesen, dass ihre Eltern ihnen das Kommunizieren lehren. Dennoch zeigen Statistiken, dass 95 Prozent der gehörlosen Kinder von hörenden Eltern geboren werden, die keine Gebärdensprache beherrschen. Dies schafft eine stille Lücke im Zuhause, in der Eltern Schwierigkeiten haben, eine Verbindung zu ihren Kindern aufzubauen, weil ihnen der Wortschatz fehlt, um grundlegende Bedürfnisse, Emotionen oder Konzepte auszudrücken. Obwohl es Online-Videos gibt, die Eltern beim Lernen unterstützen sollen, erfordert wahre Fließendheit oft praktische Anwendung – eine Methode, die sich ohne die richtigen Werkzeuge als schwierig in der Skalierung erwiesen hat. Um effektive Lernhilfen zu entwickeln, benötigen Informatiker umfangreiche Videodatenbibliotheken, die zeigen, wie verschiedene Menschen Gebärdenwörter ausführen. Für die Japanische Gebärdensprache waren solche Daten jedoch spärlich vorhanden, oft begrenzt auf eine einzige Person oder einen kleinen Satz an Wörtern, was es unmöglich machte, Computer darauf zu trainieren, die Sprache von einem neuen Nutzer zu erkennen.
Ein Team von Forschern hat diese Lücke nun mit der Erstellung von JSL-DC, der bisher größten Sammlung von Videos der Japanischen Gebärdensprache, gefüllt. Das Projekt wurde von einer einfachen, aber tiefgreifenden Erkenntnis getrieben: Um einem Computer beizubringen, eine Gebärdensprache zu verstehen, müssen die Daten von den Menschen kommen, die sie täglich nutzen. Anstatt Schauspieler oder Studenten zu engagieren, die Gebärden nachahmen, rekrutierten die Forscher neunzehn gehörlose Erwachsene, die Japanische Gebärdensprache als ihre primäre Kommunikationsform nutzen. Diese Teilnehmer nahmen sich selbst bei der Ausführung von 270 spezifischen Wörtern auf, die gezielt ausgewählt wurden, um hörenden Eltern bei der Kommunikation mit ihren jungen Kindern zu helfen. Der resultierende Datensatz enthält über 36.000 Videos, ein Volumen, das dreimal größer ist als jede bisherige Sammlung der Japanischen Gebärdensprache.
Die wahre Innovation dieser Arbeit liegt nicht nur im Volumen der Daten, sondern in der Art und Weise ihrer Kuration. Die Forscher arbeiteten eng mit gehörlosen Linguisten zusammen, um Wörter auszuwählen, die für die frühkindliche Kommunikation am nützlichsten sind, wobei sie Verben und Adjektive gegenüber Substantiven priorisierten, da diese die Bausteine früher Sätze sind. Wichtiger noch: Das Team identifizierte Paare von Gebärden, die für das ungeübte Auge fast identisch aussehen, aber unterschiedliche Bedeutungen tragen. In vielen Fällen unterscheiden sich diese Gebärden nur durch subtile Gesichtsbewegungen oder Mundformen – Hinweise, die Standardmodelle der Computer Vision oft übersehen. Um dies zu lösen, lieferten die Linguisten schriftliche Beschreibungen, die genau erklärten, wie man diese verwirrenden Paare voneinander unterscheidet. Sie merkten beispielsweise an, dass die Gebärde für „bitter“ und die Gebärde für „scharf“ dieselben Handbewegungen verwenden, aber unterschiedliche Mundformen erfordern, um sie zu unterscheiden.
Die Forscher testeten dann, ob diese menschlichen Beschreibungen tatsächlich die Fähigkeit eines Computers verbessern können, Gebärden zu erkennen. Sie entwickelten ein System, das zuerst die Gebärde mittels Standard-Videoanalyse identifizierte und dann – falls es sich um eines der verwirrenden Paare handelte – gezielt die Mundbewegungen untersuchte, um die endgültige Entscheidung zu treffen. Dieser Ansatz, der sich direkt von den Notizen der Linguisten inspirieren ließ, verbesserte die Genauigkeit des Computers bei den schwierigen Gebärden erheblich. Das System identifizierte die verwirrenden Wörter fast zehn Prozent häufiger korrekt als die besten bestehenden Methoden. Dies beweist, dass die Integration menschlicher linguistischer Erkenntnisse in Machine-Learning-Modelle die Lücke schließen kann, an der rein visuelle Daten versagen.
Das Team demonstrierte auch, wie diese Technologie in der realen Welt angewendet werden kann, indem es ein populäres Arcade-Spiel in ein Lernwerkzeug adaptierte. In dieser Version führen Spieler eine Gebärde aus, um einen farbigen Ball in ein Feld aus anderen Bällen zu entlassen. Wenn der Computer die Gebärde korrekt erkennt, passt die Farbe des Balls zur Farbe der Gebärde und leert den Bildschirm; wenn die Gebärde falsch ist, hat der Ball die falsche Farbe. Dieses interaktive Spiel ermöglicht es hörenden Eltern, das Gebärdenlernen in einer druckfreien Umgebung zu üben und sofortiges Feedback zu ihrer Leistung zu erhalten. Der gesamte Datensatz sowie die linguistischen Beschreibungen und die Spielsoftware werden der Öffentlichkeit zur Verfügung gestellt, um die weitere Forschung und Entwicklung zu beschleunigen.
Indem das Team das Projekt mit der Gehörlosen-Community in das Zentrum stellte – von der Auswahl der Wörter bis hin zur abschließenden Überprüfung jedes Videos –, stellte die Forscher sicher, dass die Daten authentisch und zuverlässig sind. Jedes Video wurde zweimal von gehörlosen Experten überprüft, um sicherzustellen, dass die Gebärden korrekt ausgeführt wurden und keine persönlichen Informationen versehentlich im Hintergrund erfasst wurden. Dieser strenge Prozess filterte fast zehn Prozent der ursprünglichen Aufnahmen heraus und hinterließ eine saubere, hochwertige Ressource. Die Arbeit legt nahe, dass die Zukunft der Gebärdensprache-Technologie in der Zusammenarbeit zwischen Linguisten und Ingenieuren liegt, wobei menschliche Einsichten genutzt werden, um Maschinen zu leiten. Mit der Verbesserung dieser Werkzeuge bietet sich ein greifbarer Weg, um die Kommunikationslücke in Haushalten in ganz Japan zu schließen und es Eltern endlich zu ermöglichen, die Sprache ihrer Kinder zu sprechen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.