Open Sign Bibles (OSB): An Open-Access Multilingual Sign Language Bibles Dataset

Taal is het primaire instrument dat mensen gebruiken om gedachten te delen, verhalen te vertellen en geschiedenis door te geven. Voor de meeste mensen in de wereld gebeurt dit via geluid en spraak. Maar voor miljoenen mensen die doof zijn, is taal visueel, gevormd door de beweging van handen, de expressie van het gezicht en de positie van het lichaam. Dit zijn gebarentalen, afzonderlijke en complexe systemen met een eigen grammatica en cultuur. Toch zijn deze talen in het digitale tijdperk achtergebleven. Terwijl computers gemakkelijk geschreven tekst kunnen doorzoeken of gesproken woorden kunnen begrijpen, hebben ze moeite met het "lezen" van gebarentaal. De technologie die nodig is om een specifieke handeling binnen een lange video te vinden, of om een gebaar te verbinden aan een geschreven zin, is moeilijk te bouwen geweest omdat er simpelweg niet genoeg data beschikbaar was. De meeste bestaande collecties gebarentaalvideo's zijn te klein, zitten achter betaalmuren of zijn beperkt door auteursrechten, waardoor onderzoekers zonder het grondmateriaal zitten om machines te leren hoe ze de visuele wereld van gebarentaalgebruikers kunnen begrijpen.

Een team van onderzoekers heeft nu een enorme nieuwe bron uitgebracht die ontworink is om dit te veranderen: de Open Sign Bibles dataset. Deze collectie brengt meer dan 700 uur aan professioneel vertaalde Bijbelvideo's samen in 20 verschillende gebarentalen. In tegen tegenstelling tot eerdere datasets die verspreid over het internet lagen of speciale toestemming vereisten voor gebruik, is deze volledige bibliotheek gratis beschikbaar voor iedereen om te downloaden en te bestuderen. Het project verbindt deze video's met de tekst van de Bijbel in meer dan 800 gesproken talen, waardoor een brug wordt geslagen tussen het visuele en het geschrevene. Door een video van een gebarentaalgebruiker in Amerikaanse Gebarentaal bijvoorbeeld te koppelen aan hetzelfde verhaal geschreven in het Engels, Spaans of Hindi, hebben de onderzoekers een krachtig hulpmiddel gecreëerd om computers te trainen in het begrijpen van de relatie tussen een gebaar en de betekenis ervan.

De dataset is opgebouwd uit twee hoofdbronnen. De eerste komt van de Digital Bible Library, die duizenden video's heeft geleverd met gebarentaalgebruikers uit diverse achtergronden, vaak vergezeld van graphics of tekst op het scherm. De tweede bron is een set ruwe studio-opnames uit India, waarop een enkele gebarentaalgebruiker te zien is tegen een egale achtergrond. In totaal bevat de collectie meer dan 8.000 individuele videoclips. Om deze data bruikbaar te maken voor computers, hebben de onderzoekers de video's niet alleen online gedumpt; ze hebben ze zorgvuldig georganiseerd. Ze koppelden elke video aan specifieke Bijbelverzen, waardoor een computer precies weet welk verhaal er wordt verteld. Voor een kleiner deel van de video's gingen ze zelfs nog een stap verder door handmatig de exacte momenten te markeren waarop specifieke gebaren, zoals "God" of "dag", op het scherm verschijnen. Dit niveau van detail verandert een eenvoudig videoarchief in een gestructureerd leermiddel.

De onderzoekers gebruikten deze nieuwe dataset om te testen hoe goed de huidige technologie specifieke gebaren binnen deze lange video's kan vinden, een taak die bekend staat als "sign spotting". Ze probeerden twee verschillende benaderingen. De eerste methode vertrouwde op het meten van de fysieke afstand tussen de handen en het lichaam van de gebarentaalgebruiker in de video, door deze te vergelijken met bekende voorbeelden. Deze aanpak werkte niet goed; de computer raakte in de war door de continue stroom van beweging en kon niet betrouwbaar individuele gebaren selecteren. De tweede methode maakte gebruik van een geavanceerder systeem dat leerde de betekenis achter de bewegingen te begrijpen, vergelijkbaar met hoe een mens een concept herkent in plaats van alleen een vorm. Deze aanpak liet veelbelovende resultaten zien. Het identificeerde bepaalde gebaren, zoals "dag" of "mensen", met een hoge mate van nauwkeurigheid. Desondanks had het systeem nog steeds moeite met andere gebaren. Het verwarde soms gebaren die op elkaar leken, zoals "man" en "god", zelfs toen ze heel verschillende dingen betekenden. Het faalde ook bij het herkennen van gebaren die anders werden uitgevoerd dan de voorbeelden die het had gezien, zoals een linkshandige gebruiker of een gebaar dat in een specieke culturele context werd gebruikt die afweek van de standaard woordenboekdefinitie.

De resultaten benadrukken zowel het potentieel als de huidige grenzen van deze technologie. Het systeem werkte het best wanneer de video die het analyseerde erg veel leek op de voorbeelden waarop het getraind was. Wanneer de gebarentaalgebruiker snel bewoog, een andere hand gebruikte of een woord met een unieke betekenis gebaarde, mistte de computer vaak het doel. De onderzoekers ontdekten dat hoewel de technologie betrouwbaar een paar veelvoorkomende gebaren kan opsporen, het nog niet klaar is om de volledere complexiteit van een doorlopend gesprek te begrijpen. De dataset zelf is echter een belangrijke stap voorwaarts. Door een grote, open en juridisch duidelijke collectie van meertalige gebarentaalvideo's te bieden, hebben de onderzoekers de wetenschappelijke gemeenschap een solide fundament gegeven om op voort te bouwen. Ze hebben aangetoond dat computers, met de juiste data, kunnen beginnen met het leren van de visuele taal van de doven, maar ze maakten ook duidelijk dat er nog veel meer werk nodig is om de nuances van menselijke expressie te beheersen. De weg vooruit houdt in dat er meer diverse voorbeelden worden verzameld en dat de tools worden verfijnd om de subtiele verschillen tussen gebaren die op elkaar lijken maar iets anders betekenen, beter te begrijpen.