A HamNoSys-Guided Dataset and Baselines for Fine-Grained Isolated Handshape Recognition in Sign Language
Dieses Paper führt einen groß angelegten, auf HamNoSys basierenden Datensatz von 144.000 RGB-Bildern von 15 Teilnehmern für 160 Handformklassen ein und etabliert die Baseline-Leistung unter Verwendung verschiedener Deep-Learning- und Machine-Learning-Modelle unter sowohl subjektabhängigen als auch Leave-One-Subject-Out-Evaluationsprotokollen, um die feingliedrige Gebärdenspracherkennung voranzutreiben.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Gebärdensprachen sind vollwertige, komplexe Sprachen mit eigener Grammatik und Struktur, die von Millionen von Menschen auf der Welt verwendet werden. Genau wie gesprochene Sprachen aus Lauten aufgebaut sind, bestehen Gebärdensprachen aus den physischen Bewegungen der Hände, des Gesichts und des Körpers. Einer der kritischsten Bausteine ist die Form, die die Hand annimmt. Eine leichte Beugung eines Fingers oder eine andere Position des Daumens kann die Bedeutung einer Gebärde völlig verändern, ganz so, wie eine einzige Änderung eines Buchstabens ein Wort in ein anderes verwandeln kann. Damit Computer diese Sprachen verstehen oder übersetzen können, müssen sie zuerst lernen, diese spezifischen Handformen mit hoher Präzision zu erkennen. Es ist jedoch schwierig, ein Computersystem zu entwickeln, das dies leisten kann, da menschliche Hände von Person zu Person stark variieren und die Unterschiede zwischen ähnlichen Handformen unglaublich subtil sein können.
Forscher suchen schon lange nach einem Weg, diese Handformen in einer universellen Sprache zu beschreiben, die nicht nur einem Land oder einer Kultur angehört. Eines solcher Systeme, bekannt als das Hamburger Notationssystem, fungiert wie eine detaillierte Karte für Handkonfigurationen, indem es diese in spezifische Teile wie Fingerwahl und Daumenposition zerlegt. Während dieses System eine klare Definition dafür liefert, wie eine Handform aussehen sollte, mangelte es bisher an realen Daten, um Computern beizubringen, wie sie diese Formen erkennen, wenn sie von echten Menschen ausgeführt werden. Ohne eine große Sammlung realer Bilder, die diese spezifischen Formen zeigen, haben Computerprogramme Schwierigkeiten zu generalisieren und scheitern oft, wenn sie auf eine neue Person oder einen leicht anderen Winkel treffen.
Um diese Lücke zu schließen, hat ein Forscherteam einen neuen, massiven Datensatz erstellt, der darauf ausgelegt ist, Computer das Erkennen von 160 verschiedenen Handformen beizubringen. Sie verließen sich dabei nicht auf computergenerierte Bilder oder einfache Zeichnungen; stattdessen nahmen sie echte Menschen auf. Fünfzehn Freiwillige, allesamt Universitätsstudenten, wurden gebeten, jede der 160 spezifischen Handformen zu bilden, die in der offiziellen Tabelle definiert sind. Die Forscher richteten eine kontrollierte Umgebung mit einem schlichten weißen Hintergrund und einer hochauflösenden Kamera ein. Jeder Teilnehmer hielt seine Hand in der erforderlichen Form und rotierte sie langsam, sodass die Kamera die Bewegung aus verschiedenen Blickwinkeln erfassen konnte. Dieser Prozess erzeugte 144.000 einzelne Farbbilder und schuf so eine reiche Bibliothek, in der jedes einzelne Bild mit der exakten Handform beschriftet ist, die es repräsentiert.
Die Forscher testeten dann, wie gut verschiedene Computermodelle aus dieser neuen Bibliothek lernen konnten. Sie probierten zwei Hauptansätze aus. Der erste Ansatz betrachtete die Bilder als Ganzes, ähnlich wie ein Mensch, und konzentrierte sich auf das allgemeine Erscheinungsbild der Hand, den Hautton und die Beleuchtung. Der zweite Ansatz ignorierte das Bild vollständig und konzentrierte sich stattdessen nur auf die mathematischen Koordinaten von einundzwanzig spezifischen Punkten der Hand, wie etwa den Fingerspitzen und den Gelenken. Sie testeten diese Modelle auf zwei verschiedene Arten. Im ersten Test wurde der Computer mit Bildern von Personen konfrontiert, die er bereits während seines Trainings gesehen hatte, was ein Szenario simuliert, in dem das System den Nutzer kennt. Im zweiten, viel schwierigeren Test wurde der Computer mit Bildern von Menschen konfrontiert, die er noch nie zuvor getroffen hatte, was ihn zwang, sich auf das zu verlassen, was er über die Formen selbst gelernt hatte, statt auf die spezifische Person, die sie ausführt.
Die Ergebnisse zeigten einen klaren Unterschied zwischen dem Wissen über eine Person und dem Wissen über eine Form. Als der Computer an Personen getestet wurde, die er bereits gesehen hatte, schnitt er sehr gut ab und identifizierte die Handform in mehr als 86 Prozent der Fälle unter Verwendung des besten bildbasierten Modells. Als der Computer jedoch mit einer neuen Person konfrontiert wurde, die er noch nie zuvor getroffen hatte, sank die Genauigkeit signifikant auf etwa 45 Prozent. Dieser starke Rückgang zeigt, dass Computer zwar gut darin sind, Muster in vertrauten Gesichtern zu erkennen, aber immer noch Schwierigkeiten haben, die universelle Form einer Gebärde von der einzigartigen Art und Weise zu trennen, wie ein bestimmtes Individuum sie ausführt. Die Studie fand auch heraus, dass die Modelle die meisten Fehler bei Handformen machten, die fast identisch aussehen und sich nur in einem winzigen Detail unterscheiden, wie etwa der Beugung eines einzelnen Fingers oder der Position des Daumens.
Diese Arbeit bietet eine solide Grundlage für zukünftige Technologien. Indem sie eine große, ausgewogene Sammlung realer Bilder bereitstellen und testen, wie Computer mit neuen Nutzern umgehen, haben die Forscher ein Standardwerkzeug für das Fachgebiet geschaffen. Der Datensatz ermöglicht es Wissenschaftlern, bessere Systeme zu entwickeln, die letztendlich Gebärdensprache in Text oder Sprache übersetzen können, um Menschen, die nicht hören können, zu helfen, oder um gehörlosen Menschen die Kommunikation mit Hörenden zu erleichtern. Obwohl die aktuellen Modelle immer noch Schwierigkeiten haben, Gebärden von Fremden zu erkennen, gibt die neue Ressource den Forschern einen klaren Weg vor Augen, um diese Systeme zu verbessern und sicherzustellen, dass zukünftige Technologien die subtile, wunderschöne Komplexität menschlicher Hände verstehen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.