A HamNoSys-Guided Dataset and Baselines for Fine-Grained Isolated Handshape Recognition in Sign Language
Dieses Paper führt einen groß angelegten, durch HamNoSys geleiteten Benchmark-Datensatz von 144.000 RGB-Bildern von 15 Teilnehmern für 160 Handformklassen ein und etabliert unter Verwendung verschiedener Deep-Learning-Modelle subjektabhängige sowie Leave-One-Subject-Out-Baselines, um die feingliedrige isolierte Handformerkennung und die Gebärdensprachtechnologie voranzutreiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die menschliche Gebärdensprache zu verstehen. Es geht nicht nur darum, das Winken der Hände zu beobachten; es geht darum, einen komplexen, stummen Wortschatz zu entschlüsseln, bei dem die Form einer Hand, der Winkel eines Daumens oder die Beugung eines Fingers ein ganzes Wort verändern kann. Denken Sie an den Unterschied zwischen einem „Daumen hoch“ und einem „Daumen runter“ – für einen Menschen ist das offensichtlich, aber für einen Computer sind diese beiden Gesten nur eine Ansammlung von Pixeln, die sich verdächtig ähnlich sehen. Dies ist die Welt der „feingliedrigen Handformerkennung“ (fine-grained handshape recognition), ein Bereich, in dem Wissenschaftler versuchen, digitale Wörterbücher zu erstellen, die die subtilen, winzigen Unterschiede in der Art und Weise lesen können, wie Menschen Zeichen bilden. Das Ziel ist es, Werkzeuge zu schaffen, die Gebärdensprache in Text oder Sprache übersetzen können, um die Kommunikationslücke für Millionen von Menschen, die gehörlos oder schwerhörig sind, zu schließen. Aber um einem Computer diese Fähigkeit beizubringen, benötigt man eine riesige Bibliothek an Beispielen, und bisher hat dieser Bibliothek ein entscheidender, organisierter Abschnitt gefehlt.
Hier kommt eine neue Studie ins Spiel, die wie ein Oberbibliothekar für die Gebärdensprache fungiert. Die Forscher erstellten ein riesiges, sorgfältig organisiertes Fotoalbum mit 144.000 Bildern von Händen, die alle von 15 verschiedenen Personen aufgenommen wurden. Sie haben nicht einfach wahllos Fotos gesammelt; sie verwendeten ein spezielles „Regelwerk“ namens HamNoSys (Hamburg Notation System), das wie ein universelles Alphabet für Handformen ist, das Linguisten verwenden, um Zeichen zu beschreiben, ohne an eine bestimmte gesprochene Sprache gebunden zu sein. Sie baten ihre Teilnehmer, ihre Hände passend zu 160 spezifischen Formen aus diesem Regelwerk zu halten und dabei jede Drehung, Wendung und Fingerbeugung einzufangen.
Das Team testete dann vier verschiedene Arten von „Schüler“-Computern, um zu sehen, wie gut sie aus diesem Album lernen konnten. Zwei Schüler betrachteten die tatsächlichen Fotos (wie ein Mensch, der ein Bild betrachtet), während die anderen zwei Schüler nur eine Skelettkarte der Handgelenke betrachteten (wie eine Strichmännchen-Zeichnung). Sie führten zwei verschiedene Prüfungen durch: eine, bei der die Schüler dieselben Personen studierten, mit denen sie auch getestet wurden (ein freundlicher, leichter Test), und eine andere, bei der sie Hände von Menschen erkennen mussten, die sie noch nie zuvor gesehen hatten (ein viel schwierigerer, realitätsnaher Test).
Dies ist ihr Ergebnis: Wenn die Computer es erlauben wurde, dieselben Personen zu studieren, mit denen sie getestet wurden, schnitten die Foto-lesenden Schüler sehr gut ab, wobei das fortschrittlichste Modell (ein Modell namens ViT-B/16) etwa 86 % der Antworten richtig hatte. Als der Test jedoch zu „unbekannten Personen“ wechselte, sanken die Werte erheblich, wobei die besten Modelle nur etwa 4 5 % korrekt hinbekamen. Dies deutet darauf hin, dass Computer zwar gut darin werden, Handformen im Allgemeinen zu erkennen, sie aber immer noch Schwierigkeiten haben zu generalisieren, wenn eine neue Person mit einer anderen Handgröße oder einem anderen Stil auftaucht. Die Studie hob auch hervor, dass einige Handformen visuell so ähnlich sind – sie unterscheiden sich nur durch eine winzige Beugung eines Fingers –, dass selbst die besten Modelle verwirrt werden und sie wie Zwillinge in einer Menge verwechseln.
Letztendlich behauptet diese Arbeit nicht, das Problem der Gebärdenspracherkennung gelöst zu zu haben. Stattdessen bietet sie eine solide, reproduzierbare Grundlage – einen neuen, hochwertigen Datensatz und eine Reihe von Basiswerten –, die andere Forscher nutzen können, um bessere Werkzeuge zu bauen. Sie zeigt uns genau, wo der aktuelle Stand der Technologie ist, und weist darauf hin, dass die nächste große Herausforderung darin besteht, Computern beizubringen, diese subtilen Handformen unabhängig davon zu erkennen, wer sie macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.