Bidirectional Deaf-Hearing Communication: a Modular Service- Oriented System Combining Multi-Purpose Artificial Intelligence and 3D Avatar Rendering

Eeuwenlang was de fundamentele barrière tussen doven en horenden een simpel verschil in zintuigen: de ene groep communiceert via de visuele taal van handen en gezichten, terwijl de andere groep vertrouwt op het geluid van stemmen. Hoewel technologie lang heeft toegestaan om gesproken woorden naar tekst te vertalen voor doven, en tekst naar spraak voor horenden, bleef het overbruggen van de kloof in real-time gesprekken hardnekkig moeilijk. De uitdaging is niet alleen het converteren van de ene taal naar de andere, maar het beheren van twee totaal verschillende manieren om de wereld te ervaren. Doof personen gebruiken gebarentaal, een complex systeem waarbij betekenis wordt gedragen door de vorm van een hand, de beweging van een arm, de positie van het lichaam en de expressie van een gezicht. Horende personen spreken daarentegen in geluiden die door de lucht reizen. Wanneer een doof persoon een zin gebarentaal gebruikt, moet een computer de video bekijken, de specifieke bewegingen begrijpen en deze omzetten in woorden. Wanneer een horend persoon spreekt, moet een computer die woorden nemen, ze afbreken in de juiste sequentie van gebaren, en ze vervolgens aan de doof persoon tonen. Het doen van beide taken onmiddellijk, zonder een vertraging die de flow van het gesprek doorbreekt, vereist een systeem dat zowel ongelooflijk snel als ongelooflijk slim is.

Een team van onderzoekers in Portugal heeft een nieuw systeem gebouwd dat ontworpen is om precies dit probleem op te lossen, door een digitale brug te creëren die doven en horenden in staat stelt om zo natuurlijk mogelijk met elkaar te praten. Ze noemen hun creatie SLaDIS, een modulair platform dat fungeert als een universele vertaler voor twee-richtingsverkeer. In plaats van te proberen alles in één enkel, massief programma te dwingen, hebben de onderzoekers het systeem opgedeeld in drie afzonderlijke delen die samenwerken als een goed georganiseerde estafette. Het eerste deel observeert de handen en het gezicht van de doof persoon, het tweede deel luistert naar de woorden van de horende persoon en zet deze om in gebaren, en het derde deel is het scherm waar het gesprek daadwerkelijk plaatsvindt. Door deze onderdelen gescheiden maar verbonden te houden, kan het systeem het zware werk van computer vision en kunstmatige intelligentie afhandelen zonder het gesprek te vertragen.

De reis begint wanneer een doof persoon wil spreken. Zij gebaren hun boodschap in een camera op een mobiele telefoon of computer. Het systeem probeert niet elke individuele pixel van de video te onthouden, wat te traag zou zijn en te veel data zou vereisen. In plaats daarvan gebruikt het een gespecialiseerde tool om de kernpunten op het lichaam van de persoon te vinden — de gewrichten van de vingers, de ellebogen, de schouders en de hoeken van de mond. Het volgt deze punten terwijl ze bewegen, waardoor een vereenvoudigde kaart van het gebaar wordt gemaakt. Deze kaart wordt vervolgens ingevoerd in een deep learning model, een type kunstmatige intelligentie dat getraind is op duizenden voorbeelden van de Portugese Gebarentaal. Het model kijkt naar de sequentie van bewegingen en identificeert de specifieke gebaren die worden gemaakt, waardoor de visuele beweging wordt omgezet in een lijst met woorden. Omdat gebarentaal vaak kleine verbindingswoorden weglaat of een andere zinsstructuur gebruikt dan gesproken taal, geeft het systeem deze lijst met woorden vervolgens door aan een groot taalmodel. Deze tweede laag van intelligentie werkt als een behulpzame redacteur, die de woorden herschikt, noodzakelijke grammatica toevoegt en de zin gladstrijkt zodat deze perfect begrijpelijk is voor een horend persoon. Het resultaat is een heldere, natuurlijke zin die op het scherm verschijnt voor de horende deelnemer om te lezen of te horen.

Het proces werkt in omgekeerde richting wanneer de horende persoon wil antwoorden. Zij typen of spreken hun boodschap, en het systeem vertaalt deze onmiddellijk naar de specifieke 'glosses', of bouwstenen, van de Portugese Gebarentaal. Dit is geen eenvoudige woord-voor-woord vervanging; het systeem begrijde dat gebarentaal zijn eigen regels heeft voor woordvolgorde en grammatica. Zodra de zin is omgezet in de juiste sequentie van gebaren, bereidt het systeem zich voor om deze aan de doof gebruiker te tonen. In plaats van een vooraf opgenomen video van een menselijke gebarentolk te sturen, wat tijd zou kosten om te downloaden en mogelijk niet exact bij de woorden zou passen, gebruikt het systeem een 3D digitale avatar. Deze avatar is een virtuele mens die binnen de applicatie leeft. Het systeem haalt de specifieke animatie voor elk gebaar op uit een bibliotheek en rijgt deze aan elkaar, waardoor een vloeiende, continue uitvoering ontstaat. De avatar beweegt zijn handen, armen en gezicht om een echte gebarentolk na te bootsen, en toont de boodschap direct op het scherm van de doof gebruiker.

De onderzoekers hebben dit systeem uitgebreid getest om te zien of het het tempo van een echt gesprek kon bijhouden. Ze ontdekten dat het deel van het systeem dat de gebaren herkent zeer accuraat was, waarbij het 95,6 procent van de gebaren waarop het werd getest, correct identificeerde. Wanneer het systeem die gebaren omzette in volledige zinnen, kwam de betekenis met een hoge mate van gelijkenis overeen met de beoogde boodschap, met een score van 0,81 op een schaal waarbij 1,0 een perfecte match is. De snelheid van het systeem was even indrukwekkend. De tijd die het kostte om een gebaar te herkennen en om te zetten in een zin was minder dan een tiende van een seconde, en de tijd die het kostte voordat de avatar begon te bewegen nadat een horend persoon een bericht had verzonden, was net iets meer dan een seconde. Deze snelheden zijn snel genoeg om aan te voelen als een natuurlijk, vloeiend gesprek in plaats van een stroeve uitwisseling van berichten.

Om te garanderen dat het systeem daadwerkelijk nuttig was, lieten de onderzoekers experts van de Portugese Vereniging voor Doven de avatar evalueren. Twee onafhankelijke evaluatoren bekeken de uitvoering van de gebaren door de avatar en beoordeelden hoe goed zij de boodschap konden begrijpen. Eén expert begreep 90 procent van de gebaren, terwijl de ander 78 procent begreep. De studie merkte op dat wanneer de kwaliteit van de animatie hoog was, het begrip perfect was, wat suggereert dat de helderheid van de beweging even belangrijk is als de nauwkeurigheid van de woorden. Het systeem bewees ook flexibel te zijn en kon gesprekken in verschillende omgevingen aan, zoals winkelen, toerisme en de gezondheidszorg, wat aantoont dat het zich kan aanpassen aan de diverse woordenschat die nodig is in het dagelijselijk leven.

De ware innovatie van dit werk ligt in de manier waarop de stukken in elkaar passen. Door het systeem te ontwerpen als een verzameling onafhankelijke diensten die met elkaar communiceren, hebben de onderzoekers een platform gecreëerd dat kan groeien. Als er in de toekomst betere AI-modellen worden ontwikkeld, kunnen deze worden vervangen zonder het hele systeem opnieuw te bouwen. Als er meer gebaren aan de bibliotheek moeten worden toegevoegd, kunnen deze worden opgenomen en toegevoegd zonder het vertaalproces te verstoren. Deze aanpak betekent dat het systeem niet slechts een eenmalig experiment is, maar een fundament dat kan evolueren. De onderzoekers erkennen dat de woordenschat nog beperkt is in vergelijking met de volledige rijkdom van de taal, en dat de vertaling van tekst naar gebaren nog vloeiender zou kunnen zijn met meer trainingsdata. Echter, de resultaten laten zien dat een volledig functionele, tweerichtingsbrug tussen de doven en horende werelden niet alleen een theoretische mogelijkheid is, maar een werkende realiteit die opereert met de snelheid en betrouwbaarheid die nodig zijn voor echte menselijke verbinding.