JSL-DC: A Word-Level Japanese Sign Language Dataset with Linguist-Derived Descriptions for Distinguishing Confusable Signs
Dit artikel introduceert JSL-DC, de grootste op doven gerichte Japanse gebarentaal-dataset met 36,7K video's en door taalkundigen afgeleide beschrijvingen voor verwarrende gebaren, wat een nieuw model in staat stelt om state-of-the-art herkenningsmethoden met 9,8% te overtreffen op uitdagende subsets.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Voor veel doofstille kinderen vinden de meest kritieke jaren voor taalontwikkeling plaats voordat ze ooit een klaslokaal betreden. Tijdens deze periode zijn zij afhankelijk van hun ouders om hen te leren hoe ze moeten communiceren. Toch laten statistieken zien dat negentig vijf procent van de doofstille kinderen wordt geboren uit horende ouders die de gebarentaal niet kennen. Dit creëert een stille kloof in het huishouden, waar ouders worstelen om verbinding te maken met hun kinderen omdat zij niet over de woordenschat beschikken om basisbehoeften, emoties of concepten uit te drukken. Hoewel er online video's bestaan om ouders te helpen leren, vereist echte vloeiendheid vaak praktische oefening, een methode die moeilijk te schalen is gebleken zonder de juiste hulpmiddelen. Om effectieve leermiddelen te bouwen, hebben informaticus enorme bibliotheken aan videodata nodig die laten zien hoe verschillende mensen gebaren voor woorden uitvoeren. Voor de Japanse Gebarentaal (JSL) was dergelijke data echter schaars en vaak beperkt tot één persoon of een kleine set woorden, wat het onmogelijk maakt om computers te trainen om de taal van een nieuwe gebruiker te herkennen.
Een team van onderzoekers heeft dit gat nu opgevuld met de creatie van JSL-DC, de grootste collectie Japanse gebarentaalvideo's die ooit is samengesteld. Het project werd gedreven door een eenvoudige maar diepgaande realisatie: om een computer te leren gebarentaal te begrijpen, moet de data afkomstig zijn van de mensen die het dagelijks gebruiken. In plaats van acteurs of studenten in te huren om gebaren na te bootsen, rekruteerden de onderzoekers negentien doofstille volwassenen die de Japanse Gebarentaal als hun primaire communicatiemiddel gebruiken. Deze deelnemers namen zichzelf op terwijl ze 270 specifieke woorden uitvoerden, die specifief waren gekozen om horende ouders te helpen communiceren met hun jonge kinderen. De resulterende dataset bevat meer dan 36.000 video's, een volume dat drie keer groter is dan enige voorheen bestaande Japanse gebarentaalcollectie.
De ware innovatie van dit werk ligt niet alleen in de omvang van de data, maar ook in de manier waarop deze werd gecureerd. De onderzoekers werkten nauw samen met doofstille linguïsten om woorden te selecteren die het meest nuttig zijn voor vroege kindercommunicatie, waarbij de voorkeur werd gegeven aan werkwoorden en bijvoeglijke naamwoorden boven zelfstandige naamwoorden, aangezien dit de bouwstenen zijn van vroege zinnen. Belangrijker nog, het team identificeerde paren gebaren die voor het ongetrainde oog bijna identiek lijken, maar een verschillende betekenis hebben. In veel gevallen verschillen deze gebaren slechts door subtiele gezichtsbewegingen of mondvormen, aanwijzingen die standaard computer vision-modellen vaak missen. Om dit op te lossen, leverden de linguïsten schriftelijke beschrijvingen die precies uitlegden hoe men deze verwarrende paren van elkaar kan onderscheiden. Ze merkten bijvoorbeeld op dat het gebaar voor "bitter" en het gebaar voor "pittig" dezelfde handbewegingen gebruiken, maar verschillende mondvormen vereisen om ze te onderscheiden.
De onderzoekers testten vervolgens of deze menselijke beschrijvingen de capaciteit van een computer om gebaren te herkennen daadwerkelijk konden verbeteren. Ze bouwden een systeem dat eerst het gebaar identificeerde met behulp van standaard videoanalyse, en vervolgens, als het gebaar een van de verwarrende paren was, specifief de mondbewegingen onderzocht om de uiteindelijke beslissing te nemen. Deze aanpak, rechtstreeks geïnspireerd door de aantekeningen van de linguïsten, verbeterde de nauwkeurigheid van de computer bij de moeilijke gebaren aanzienlijk. Het systeem identificeerde de verwarrende woorden bijna tien procent vaker dan de beste bestaande methoden. Dit bewijst dat het integreren van menselijke linguïstische kennis in machine learning-modellen de kloof kan overbruggen waar pure visuele data tekortschiet.
Het team demonstreerde ook hoe deze technologie in de echte wereld kan worden toegepast door een populaire arcadegame aan te passen tot een leermiddel. In deze versie maken spelers een gebaar voor een woord om een gekleurde bal vrij te laten in een veld van andere ballen. Als de computer het gebaar correct herkent, komt de kleur van de bal overeen en wordt het scherm geleegd; als het gebaar fout is, heeft de bal de verkeerde kleur. Dit interactieve spel stelt horende ouders in staat om gebaren te oefenen in een omgeving met weinig druk, waarbij zij directe feedback krijgen op hun prestaties. De volledige dataset, samen met de linguïstische beschrijvingen en de gamesoftware, wordt openbaar vrijgegeven om verdere onderzoek en ontwikkeling te versnellen.
Door het project te centreren rond de doofstille gemeenschap, van de selectie van de woorden tot de laatste controle van elke video, hebben de onderzoekers ervoor gezorgd dat de data authentiek en betrouwbaar is. Elke video werd tweemaal gecontroleerd door doofstille experts om te garanderen dat de gebaren correct werden uitgevoerd en dat er geen persoonlijke informatie per ongeluk op de achtergrond werd vastgelegd. Dit rigoureuze proces filterde bijna tien procent van de initiële opnames eruit, wat een schone, hoogwaardige bron achterliet. Het werk suggereert dat de toekomst van gebarentaaltechnologie ligt in de samenwerking tussen linguïsten en ingenieurs, waarbij menselijk inzicht wordt gebruikt om machines te sturen. Naarmate deze instrumenten verbeteren, bieden ze een tastbaar pad naar het dichten van de communicatiekloof in huishoudens in Japan, waardoor ouders eindelijk de taal van hun kinderen kunnen spreken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.