Suvana: An Integrated Platform for Two-Way Deaf–Hearing Communication in Sri Lankan Sign Language

In veel delen van de wereld is communicatie een gedeelde, vloeiende uitwisseling die moeiteloos plaatsvindt tussen mensen die kunnen horen en mensen die dat niet kunnen. Maar voor de Deaf community in Sri Lanka wordt deze uitwisseling vaak geblokkeerd door een gebrek aan middelen. Er zijn niet genoeg professionele tolken om de kloof te overbruggen, en het land heeft nog geen enkele, volledig gestandaardiseerde versie van zijn gebarentaal waar iedereen het over eens is. Hoewel technologie grote stappen heeft gezet om mensen te helpen communiceren, zijn de meeste van deze hulpmiddelen gebouwd voor Amerikaanse Gebarentaal (ASL), waardoor lokale talen zoals de Sri Lankaanse Gebarentaal grotendeels genegeerd worden door ontwikkelaars. Dit creëert een situatie waarin de mensen die deze hulpmiddelen het hardst nodig hebben, zonder deze worden gelaten, en de technologie die wel bestaat, vaak niet begrijpt op welke unieke manieren mensen in Sri Lanka zich met hun handen en gezichten uitdrukken.

Een onderzoeker heeft geprobeerd dit gat te dichten met een nieuw digitaal platform genaamd Suvana. In plaats van te proberen een enkele, enorme applicatie vanaf nul op te bouwen, heeft de onderzoeker vier verschillende softwaretools die afzonderlijk waren ontwikkeld, samengevoegd tot één naadloze ervaring. Het doel was niet om te beweren dat ze het probleem van communicatiebarrières volledig hadden opgelost, maar om aan te tonen dat deze afzonderlijke stukken samen konden werken als één enkel product. Het platform bevat een tool die handgebaren omzet in gesproken Sinhala, een functie die gesproken Sinhala omzet in een digitale avatar die terug gebarentaal gebruikt, een mobiele app die gebruikers waarschuwt voor belangrijke geluiden zoals auto-toeters of brekend glas, en een oefentutor voor horende mensen die de taal willen leren. Wat dit project opmerkelijk maakt, is niet alleen de combinatie van deze tools, maar ook de eerlijkheid waarmee de onderzoeker rapporteert wat hij heeft bereikt en, misschien nog belangrijker, wat hij nog niet heeft bewezen.

De meest significante bevinding van het werk komt voort uit de oefentutor, een tool die ontworpen is om leerlingen te helpen bij het oefenen van gebaren en het ontvangen van feedback op hun prestaties. De onderzoeker bouwde een systeem dat de handbewegingen van een leerling vergelijkt met een referentievideo van een vloeiende gebarentolk. Om dit te doen, gebruikte hij een methode die de twee bewegingssequenties in de tijd op elkaar afstemt, waardoor verschillen in snelheid mogelijk zijn, zodat een langzame maar correcte beweging niet wordt afgestraft omdat deze traag is. Tijdens het testen ontdekten zij echter een kritieke beperking in de werking van deze technologie. Zij ontdekten dat sommige gebaren die totaal verschillend van elkaar zijn, voor de computer verrassend veel op elkaar lijken, terwijl twee mensen die exact hetzelfde gebaar correct uitvoeren, er quite verschillend uit kunnen zien.

Vanwege deze reden realiseerde de onderzoeker zich dat het systeem niet veilig kan worden gebruikt om te raden welk gebaar iemand probeert te maken als de computer niet al weet wat men zou moeten maken. Als het systeem een onbekend gebaar zou proberen te identificeren, zou het waarschijnlijk fouten maken omdat de afstand tussen twee verschillende gebaren soms kleiner is dan de afstand tussen twee correcte pogingen tot hetzelfde gebaar. In plaats daarvan is het systeem zo ontworpen dat de leerling wordt gevraagd een specifiek gebaar te oefenen, en de computer simpelweg beoordeelt hoe goed die specifieke uitvoering is uitgevoerd. Deze aanpak vermijdt de valkuil van het raden van het verkeerde woord. De onderzoeker mat hoe goed het systeem het verschil kon zien tussen een correcte poging en een foutieve poging, en vond dat het systeem hen met een nauwkeurigheid kon onderscheiden die aanzienlijk beter was dan willekeurige kans, hoewel nog steeds verre van perfect.

De onderzoeker was ook zeer voorzichtig met de claims over de andere onderdelen van het platform. Voor de tool die gebaren omzet in spraak, merkte de onderzoeker op dat het systeem goed werkt wanneer de persoon die gebaart dezelfde persoon is op wie de computer is getraind, maar hij beweerde niet dat het voor iedereen zou werken. Hij gaf expliciet aan dat hij nog niet kan zeggen of het systeem zou werken voor een nieuw persoon die hij nog nooit eerder heeft gezien, omdat de beschikbare data beperkt is. Op dezelfde manier was hij duidelijk over het feit dat de bewegingen van het digitale karakter in het deel van het systeem dat spraak omzet in een gebarentaal-avatar, zijn gemaakt door een horende student en niet zijn gecontroleerd door een doven persoon. Hij presenteert deze avatar als een demonstratie van hoe de technologie werkt, en niet als een gevalideerde manier om te communiceren, waarbij hij erkent dat zonder input van de Deaf community, hij niet kan zeggen of de gebaren daadwerkelijk begrijpelijk zijn.

Misschien wel het belangrijkste deel van het artikel is wat de auteur zegt over zijn eigen rol in het project. Alle vier de onderzoekers zijn horend, wat betekent dat zij niet de geleefde ervaring van het doof zijn hebben. Zij geven openlijk toe dat zij de vloeiendheid en de culturele context missen om te beoordelen of het systeem dat zij hebben gebouwd werkelijk nuttig of acceptabel is voor de mensen die het bedoeld is te helpen. Zij wijzen erop dat het in het veld van toegankelijkheidstechnologie gebruikelijk is dat horende onderzoekers tools bouwen zonder voldoende input van de Deaf community, een praktijk die kan leiden tot producten die de plank misslaan. Zij beschrijven hun huidige werk als een stap naar een oplossing, maar benadrukken dat de volgende stappen direct betrokkenheid van doven bij de gebarentaal vereisen. Dit betekent het opnemen van nieuwe referentievideo's met doven docenten en het laten valideren van de feedback die het systeem geeft door hen.

De onderzoeker concludeert dat hoewel zij succesvol vier van deze tools hebben geïntegreerd in één platform en het scorensysteem hebben gekalibreerd op basis van echte data, het werk nog lang niet voltooid is. Zij hebben gemeten hoe het systeem presteert tegenover een reeks opgenomen video's, maar zij hebben nog niet gemeten hoe het presteert met echte leerlingen of hoe goed het mensen helpt leren. Zij hebben het systeem niet getest met een diverse groep gebarentolken, noch hebben zij de inhoud gevalideerd met de Deaf community. Hun bevindingen dienen als een duidelijke kaart van wat mogelijk is met de huidige technologie en wat nog onbekend is. De weg vooruit vereist, stellen zij, dat men verder gaat dan alleen het bouwen van de technologie om ervoor te zorgen dat de mensen die het zullen gebruiken, ook degenen zijn die de ontwikkeling sturen. Tot die tijd blijft het systeem een veelbelovend prototype in plaats van een volledige oplossing, en de onderzoeker is duidelijk dat de echte test van hun werk pas zal komen wanneer doven bij elke fase van het proces betrokken zijn.