Gebarentaal is een rijke, visuele conversatie die rust op de precieze beweging van handen, de vorm van vingers en de oriëntatie van het lichaam. Om computers deze taal te laten begrijpen, moeten ze fungeren als een tweede paar ogen, die een persoon zien gebaren en die gebaren vertalen naar woorden. Jarenlang hebben onderzoekers geprobeerd machines deze vaardigheid te leren met behulp van standaard videocamera's. Deze camera's leggen de visuele scène vast, maar ze worstelen wanneer het beeld imperfect is. Als een hand te snel beweegt, ontstaat er bewegingsonscherpte; als een hand voor een ander object langs beweegt, verdwijnt deze uit beeld; als de verlichting verandert of de achtergrond druk is, verliest de computer het spoor van de belangrijke details. Dit maakt het voor een machine moeilijk om onderscheid te maken tussen twee gebaren die op elkaar lijken, maar iets anders betekenen.

Om dit op te lossen, hebben wetenschappers ook gekeken naar draagbare sensoren, kleine apparaten die op het lichaam worden gedragen en beweging direct meten. Deze sensoren kunnen de buiging van een vinger of de rotatie van een pols voelen, waardoor ze een helder verslag van de beweging geven, zelfs wanneer een camera dit niet duidelijk kan zien. Sensoren missen echter de visuele context, zoals waar de hand zich bevindt ten opzichte van het lichaam van de gebarentolk. De uitdaging is geweest om deze twee manieren van zien te combineren — het visuele oog van een camera en het fysieke gevoel van een sensor — tot één systeem dat betrouwbaarder is dan elk van de twee alleen. Een team onderzoekers van de Tianjin University of Technology en de Hebei University of Technology heeft nu zo'n systeem gebouwd, waarbij ze een methode hebben ontwikkeld die video en draagbare gegevens combineert om geïsoleerde gebarentaalwoorden met opmerkelijke nauwkeurigheid te herkennen, zelfs wanneer de videokwaliteit slecht is.

De onderzoekers begonnen met het bouwen van een nieuwe dataset die specifiek is ontworpen om te testen hoe goed een computer gebaren kan herkennen wanneer de visuele omstandigheden moeilijk zijn. Ze rekruteerden vijf vrijwilligers en vroegen hen om honderd verschillende geïsoleerde gebaren uit te voeren, zoals losse woorden of korte zinnen. Elke vrijwilliger herhaalde elk gebaar tien keer, wat resulteerde in een totaal van vijfduizend monsters. Tijdens de opname droegen de vrijwilligers een speciale opstelling die kleine sensoren op de bovenarm, onderarm en hand omvatte. Deze sensoren maten de traagheidsbeweging van de ledematen en de buiging van de vingers. Tegelijkertijd legde een standaard USB-camera de video vast. Het team zorgde ervoor dat de video en de sensordata perfect gesynchroniseerd waren, wat betekent dat elk frame van de video exact overeenkwam met het bijbehorende moment van de sensordata. De opnameomgeving werd zo ingericht dat veelvoorkomende visuele problemen werden gesimuleerd, zoals veranderend licht, bewegingsonscherpte en delen van de hand die verborgen waren, om uitdagingen uit de echte wereld na te bootsen.

Om de computer te leren deze gegevens te begrijpen, ontwikkelden de onderzoekers een systeem met twee afzonderlijke "hersenen" die samenwerkten. De eerste hersenen richtten zich volledig op de video. Het gebruikte een geavanceerd visueel model om dertig-twee frames van de video voor elk gebaar te analyseren, waarbij het keek naar hoe de handen door de ruimte bewogen en hoe de lichaamshouding veranderde. Dit model was ontworpen om het visuele verhaal van het gebaar te extraheren, door te zoeken naar patronen in de beweging en vorm. De tweede hersenen richtten zich volledig op de draagbare sensoren. Het verwerkte de ruwe gegevens van de flexsensoren en de bewegingssensoren, die precies registreerden hoe de vingers bogen en hoe de armen bewogen. Om deze hersenen te helpen het verloop van de tijd te begrijpen, berekende het systeem het verschil tussen één moment van beweging en het volgende, waardoor het de snelheid en richting van het gebaar kon aanvoelen. Deze sensorvertakking was gebouwd om lichtgewicht en efficiënt te zijn, in staat om de complexe patronen van menselijke beweging te leren van de ruwe getallen.

Zodra beide hersenen een eigen gok hadden gedaan over welk gebaar werd uitgevoerd, moest het systeem beslissen welk antwoord het zou vertrouwen. De onderzoekers ontdekten dat de twee informatiebronnen vaak van mening verschilden. Soms zag de camera een gebaar duidelijk, maar raakte de sensor in de war door een vergelijkbare beweging. Andere keren wisten de sensoren precies wat er gebeurde omdat de beweging onderscheidend was, zelfs als de video wazig was of de hand gedeeltelijk verborgen bleef. Om dit aan te pakken, creëerde het team een methode om de twee gokken te mengen. Ze middelden de twee antwoorden niet simpelweg. In plaats daarvan pasten ze het vertrouwen van elke gok aan op basis van hoe zeker het systeem zich voelde over dat specifieke type data. Vervolgens combineerden ze de aangepaste waarschijnlijkheden met een specifieke weging die werd gekozen om het beste resultaat te leveren. Dit proces stelde het uiteindelijke systeem in staat om meer te vertrouwen op de sensordata wanneer de video onduidelijk was, en meer op de video wanneer de bewegingsdata ambigu was.

De resultaten van deze aanpak waren opmerkelijk. Wanneer de onderzoekers het systeem testten op nieuwe mensen die geen deel hadden uitgemaakt van de trainingsgroep, had het systeem met alleen video het antwoord in ongeveer zestigentachtig procent van de gevallen goed. Het systeem met alleen sensoren presteerde veel beter, met een nauwkeurigheid van ongeveer vijfennegentig procent. Dit bevestigde dat de draagbare sensoren een veel stabieler signaal boden voor het herkennen van deze specifieke gebaren dan de video, vooral onder de moeilijke visuele omstandigheden die het team had gecreëerd. Echter, het gefuseerde systeem, dat beide bronnen combineerde, presteerde nog beter. Het behaalde een nauwkeurigheid van zevenennegentig procent, waarmee het gebaar in bijna alle gevallen correct identificeerde. Deze verbetering betekende dat het systeem veel minder fouten maakte dan de versie met alleen sensoren, door fouten te corrigeren die de sensoren alleen niet konden oplossen.

Het team keek ook nauwkeurig naar de fouten die het gefuseerde systeem nog steeds maakte. Ze ontdekten dat de resterende fouten voornamelijk voorkwamen tussen paren gebaren die van nature zeer vergelijkbaar zijn, zoals gebaren die dezelfde handvorm gebruiken maar in net iets andere richtingen wijzen, of gebaren die vertrouwen op subtiele verschillen in de buiging van de vingers. Dit zijn de soorten onderscheid die moeilijk voor een mens te maken zijn zonder nauwlettende aandacht, laat staan voor een machine. De analyse toonde aan dat wanneer de video en de sensoren het met elkaar eens waren, het systeem bijna altijd correct was. Wanneer ze van mening verschilden, gebruikte de fusiemethode succesvol de meer betrouwbare bron om de fout te corrigeren. Dit bewees dat de twee soorten gegevens werkelijk complementair waren: de sensoren boden een robuuste basis van beweging, terwijl de video de noodzakelijke visuele details toevoegde om tussen de meest vergelijkbare gebaren te onderscheiden.

Dit werk suggereert dat de toekomst van gebarentaalherkenning mogelijk niet afhankelijk zal zijn van één enkele technologie. In plaats daarvan creëert het combineren van het visuele perspectief van een camera met de directe fysieke metingen van draagbare sensoren een systeem dat veerkrachtig is tegen de imperfecties van opnames in de echte wereld. Hoewel de huidige studie beperkt was tot een kleine groep vrijwilligers en een specifieke set gebaren, bewees de methode dat het mogelijk is om een herkenningsinstrument te bouwen dat goed werkt, zelfs wanneer de videofeed verslechterd is. De onderzoekers merkten op dat om deze technologie bruikbaar te maken voor iedereen, toekomstig werk meer mensen met verschillende stijlen van gebaren moeten bevatten en het systeem in een grotere verscheidenheid aan omgevingen moet testen. Voor nu biedt de studie een duidelijk pad vooruit, waarbij wordt aangetoond dat wanneer machines zowel ogen als een gevoel van tast krijgen, ze de menselijke communicatie kunnen begrijpen met een niveau van precisie dat geen van beide zintuigen alleen zou kunnen bereiken.