Gebärdensprache ist eine reiche, visuelle Konversation, die auf der präzisen Bewegung der Hände, der Form der Finger und der Orientierung des Körpers beruht. Damit Computer diese Sprache verstehen können, müssen sie wie ein zweites Paar Augen agieren, das einer Person beim Gebärden zusieht und diese Gesten in Wörter übersetzt. Jahrelang haben Forscher versucht, Maschinen diese Fähigkeit mithilfe von Standard-Videokameras beizubringen. Diese Kameras erfassen die visuelle Szene, aber sie haben Schwierigkeiten, wenn die Sicht unvollkommen ist. Wenn eine Hand sich zu schnell bewegt, verschwimmt sie; wenn sie vor einem anderen Objekt vorbeizieht, verschwindet sie; wenn sich die Lichtverhältnisse ändern oder der Hintergrund unruhig ist, verliert der Computer die wichtigen Details aus den Augen. Dies macht es schwierig für eine Maschine, zwischen zwei Gebärden zu unterscheiden, die ähnlich aussehen, aber unterschiedliche Bedeutungen haben.

Um dies zu lösen, haben Wissenschaftler auch nach tragbaren Sensoren gesucht – kleinen Geräten, die am Körper getragen werden und Bewegungen direkt messen. Diese Sensoren können das Beugen eines Fingers oder die Rotation eines Handgelenks fühlen und so eine klare Aufzeichnung der Bewegung liefern, selbst wenn eine Kamera sie nicht deutlich sehen kann. Sensoren allein erfassen jedoch den visuellen Kontext nicht, wie etwa, wohin die Hand im Verhältnis zum Körper des Gebärdens zeigt. Die Herausforderung bestand darin, diese zwei Arten des Sehens – das visuelle Auge einer Kamera und den physischen Sinn eines Sensors – zu einem einzigen System zu kombinieren, das zuverlässiger ist als entweder eines allein. Ein Team von Forschern der Tianjin University of Technology und der Hebei University of Technology hat nun ein solches System gebaut und eine Methode entwickelt, die Video- und Sensordaten fusioniert, um isolierte Gebärdensprachwörter mit bemerkenswerter Genauigkeit zu erkennen, selbst wenn die Videoqualität schlecht ist.

Die Forscher begannen damit, einen neuen Datensatz aufzubauen, der speziell darauf ausgelegt ist, zu testen, wie gut ein Computer Gebärden erkennen kann, wenn die visuellen Bedingungen schwierig sind. Sie rekrutierten fünf Freiwillige und baten sie, einhundert verschiedene isolierte Gebärden auszuführen, wie etwa einzelne Wörter oder kurze Phrasen. Jeder Freiwillige wiederholte jede Gebärde zehnmal, wodurch insgesamt fünftausend Stichproben entstanden. Während der Aufnahme trugen die Freiwilligen einen speziellen Aufbau, der kleine Sensoren am Oberarm, Unterarm und an der Hand beinhaltete. Diese Sensoren maßen die Trägheitsbewegung der Gliedmaßen und das Beugen der Finger. Gleichzeitig zeichnete eine Standard-USB-Kamera das Video auf. Das Team stellte sicher, dass das Video und die Sensordaten perfekt synchronisiert waren, was bedeutete, dass jedes Videobild exakt mit dem entsprechenden Moment der Sensordaten übereinstimmte. Die Aufnahmeumgebung wurde so gestaltet, dass sie typische visuelle Probleme enthielt, wie wechselndes Licht, Bewegungsunschärfe und verdeckte Teile der Hand, um reale Herausforderungen zu simulieren.

Um den Computer zu lehren, diese Daten zu verstehen, entwickelten die Forscher ein System mit zwei separaten „Gehirnen“, die zusammenarbeiteten. Das erste Gehirn konzentrierte sich ausschließlich auf das Video. Es nutzte ein hochentwickeltes visuelles Modell, um dreißig zwei Frames des Videos für jede Gebärte zu analysen, wobei es untersuchte, wie sich die Hände im Raum bewegten und wie sich die Körperhaltung veränderte. Dieses Modell war darauf ausgelegt, die visuelle Geschichte der Gebärde zu extrahieren, indem es nach Mustern in der Bewegung und Form suchte. Das zweite Gehirn konzentrierte sich ausschließlich auf die tragbaren Sensoren. Es verarbeitete die Rohdaten der Flexionssensoren und der Bewegungstracker, die genau aufzeichneten, wie sich die Finger bogen und wie sich die Arme bewegten. Um diesem Gehirn zu helfen, den Fluss der Zeit zu verstehen, berechnete das System die Differenz zwischen einem Moment der Bewegung und dem nächsten, was es ermöglichte, Geschwindigkeit und Richtung der Geste zu erfassen. Dieser Sensor-Zweig wurde so gebaut, dass er leichtgewichtig und effizient ist und in der Lage ist, die komplexen Muster menschlicher Bewegung aus den Rohzahlen zu lernen.

Sobald beide Gehirne ihre eigene Vermutung darüber angestellt hatten, welche Gebärte ausgeführt wurde, musste das System entscheiden, welcher Vermutung es vertrauen sollte. Die Forscher stellten fest, dass die beiden Informationsquellen oft uneinig waren. Manchmal sah die Kamera eine Gebärte klar, aber die Sensoren waren durch eine ähnliche Bewegung verwirrt. Ein anderes Mal wussten die Sensoren genau, was geschah, weil die Bewegung markant war, selbst wenn das Video verschwommen oder die Hand teilweise verdeckt war. Um dies zu handhaben, entwickelte das Team eine Methode, um die beiden Vermutungen zu vermischen. Sie bildeten nicht einfach den Durchschnitt der beiden Antworten. Stattdessen passten sie das Vertrauen in jede Vermutung basierend darauf an, wie sicher sich das System bei diesem spezifischen Typ von Daten fühlte. Sie kombinierten die angepassten Wahrscheinlichkeiten dann unter Verwendung eines spezifischen Gewichts, das so gewählt wurde, dass das bestmögliche Ergebnis erzielt wurde. Dieser Prozess ermöglichte es dem endgültigen System, die Sensordaten stärker zu gewichten, wenn das Video unklar war, und das Video stärker zu gewichten, wenn die Bewegungsdaten mehrdeutig waren.

Die Ergebnisse dieses Ansatzes waren beeindruckend. Als die Forscher das System an neuen Personen testeten, die nicht Teil der Trainingsgruppe waren, lag das Video-System nur zu etwa achtundsechzig Prozent richtig. Das sensorbasierte System schnitt viel besser ab und lag bei etwa fünfundneunzig Prozent richtig. Dies bestätigte, dass die tragbaren Sensoren ein wesentlich stabileres Signal für die Erkennung dieser spezifischen Gebärden lieferten als das Video, insbesondere unter den schwierigen visuellen Bedingungen, die das Team geschaffen hatte. Das fusionierte System jedoch, das beide Quellen kombinierte, war noch besser. Es erreichte eine Genauigkeit von siebenundneunzig Prozent und identifizierte die Gebärte in fast jedem Fall korrekt. Diese Verbesserung bedeutete, dass das System weita viel weniger Fehler machte als die sensorbasierte Version und Fehler korrigierte, die die Sensoren allein nicht hätten lösen können.

Das Team untersuchte auch genau die Fehler, die das fusionierte System dennoch machte. Sie fanden heraus, dass die verbleibenden Fehler hauptsächlich zwischen Paaren von Gebärten auftraten, die von Natur aus sehr ähnlich sind, wie etwa Gebärden, die dieselbe Handform verwenden, aber in leicht unterschiedliche Richtungen zeigen, oder Gebärden, die auf subtile Unterschiede beim Beugen der Finger angewiesen sind. Dies sind die Arten von Unterscheidungen, die für einen Menschen ohne genaue Aufmerksamkeit schwierig zu treffen sind, geschweige denn für eine Maschine. Die Analyse zeigte, dass, wenn das Video und die Sensoren übereinstimmten, das System fast immer korrekt war. Wenn sie uneinig waren, nutzte die Fusionsmethode erfolgreich die zuverlässigere Quelle, um den Fehler zu korrigieren. Dies demonstrierte, dass die beiden Datentypen wahrhaft komplementär waren: Die Sensoren lieferten ein robustes Fundament der Bewegung, während das Video die notwendigen visuellen Details hinzufügte, um zwischen den ähnlichsten Gebärten zu unterscheiden.

Diese Arbeit legt nahe, dass die Zukunft der Gebärdenspracherkennung möglicherweise nicht auf einer einzigen Technologie beruhen wird. Stattdessen schafft die Kombination der visuellen Perspektive einer Kamera mit den direkten physischen Messungen von tragbaren Sensoren ein System, das gegenüber den Unvollkommenheiten realer Aufnahmen resilient ist. Während die aktuelle Studie auf eine kleine Gruppe von Freiwilligen und einen spezifischen Satz von Gebärten beschränkt war, bewies die Methode, dass es möglich ist, ein Erkennungswerkzeug zu bauen, das selbst dann gut funktioniert, wenn das Videosignal beeinträchtigt ist. Die Forscher merkten an, dass für die Nutzbarkeit dieser Technologie für alle zukünftige Arbeiten notwendig sein werden, die mehr Menschen mit unterschiedlichen Gebärstilen einbeziehen und das System in einer größeren Vielfalt von Umgebungen testen. Für den Moment bietet die Studie einen klaren Weg nach vorn und zeigt, dass Maschinen, wenn man ihnen sowohl Augen als auch einen Tastsinn gibt, die menschliche Kommunikation mit einem Maß an Präzision verstehen können, das weder ein einzelner Sinn allein erreichen könnte.