A Hybrid CNN–MLP Model Using Confidence-Gated Fusion Framework for Real-Time Indian Sign Language Recognition

Kommunikation ist ein grundlegendes menschliches Bedürfnis, doch für Millionen von Menschen, die gehörlos oder schwerhörig sind, bleibt die Brücke zur weiteren Welt oft unterbrochen. Gebärdensprache dient diesen Gemeinschaften als eine vollständige und reiche Sprache, aber ohne ein universelles Übersetzungssystem bleibt die Kluft zwischen Gebärdensprachlern und Nicht-Gebärdensprachlern bestehen. In den letzten Jahren haben sich Wissenschaftler der Computer zugewandt, um diese Brücke zu bauen, indem sie Maschinen beibrachten, Handgesten zu „sehen“ und sie in gesprochene oder geschriebene Wörter zu übersetzen. Dieses Feld stützt sich auf zwei Hauptarten des Sehens. Ein Ansatz behandelt die Hand wie ein Foto und analysiert die Form, Farbe und Textur der Haut und der Finger, um die Bedeutung zu erraten. Der andere Ansatz ignoriert das Bild vollständig und konzentriert sich stattdessen auf die präzise Geometrie der Hand, indem er die exakte Position von Gelenken und Fingerspitzen als einen Satz von Koordinaten abbildet. Während jede Methode ihre Stärken hat, kämpfen beide damit, wenn die reale Welt unordentlich wird. Ein kamerabasiertes System könnte versagen, wenn sich das Licht ändert oder der Hintergrund unruhig ist, während ein geometriebasiertes System subtile Details übersehen könnte, die eine Gebärde von einer anderen unterscheiden.

In einer neuen Studie haben Forscher des Galgotias College of Engineering & Technology in Indien eine Lösung vorgeschlagen, die diese zwei unterschiedlichen Arten des Sehens kombiniert, um einen zuverlässigeren Übersetzer für die indische Gebärdensprache zu schaffen. Anstatt einen Computer dazu zu zwingen, sich zwischen dem Aussehen der Hand oder ihrer Struktur zu entscheiden, baute das Team ein Hybridsystem, das beides gleichzeitig nutzt. Sie erschufen zwei separate digitale „Gehirne“: eines, das darauf trainiert wurde, Gesten durch das Betrachten von Bildern von Händen zu erkennen, und ein anderes, das darauf trainiert wurde, sie durch das Lesen der mathematischen Koordinaten von Handmerkmalen zu erkennen. Die Innovation liegt nicht nur darin, zwei Modelle zu haben, sondern darin, wie sie zusammenarbeiten. Die Forscher entwarfen einen intelligenten Schaltmechanismus, der als Torwächter fungiert. Im Echtzeitbetrieb prüft das System ständig, wie sicher sich das bildbasierte Modell bei seiner Vermutung ist. Wenn das bildbasierte Modell aufgrund schlechter Lichtverhältnisse unsicher ist, vertraut das System automatisch auf das geometriebasierte Modell, das aufgrund seiner Robustheit gegenüber Umwelteinflüssen priorisiert wird. Wenn die Geometrie unklar ist, verlässt es sich auf das Bild. Diese dynamische Entscheidungsfindung wird dann über die Zeit geglättet, um sicherzustellen, dass der endgültliche Output nicht flackert oder erratisch von einem Buchstaben zum nächsten springt.

Das Team testete sein System mit einer großen Sammlung statischer Handbilder, die das Alphabet und einige spezifische Befehle darstellten, insgesamt 87.000 Bilder. Sie trainierten ihr bildlesendes Modell mit einer leichtgewichtigen Architektur namens MobileNetV2, die darauf ausgelegt ist, schnell genug für den Echtzeitgebrauch zu sein, und trainierten ihr geometrie-lesendes Modell mit einem Standard-Neuronalen-Netzwerk, das die 21 Schlüsselpunkte der Hand verarbeitet, die durch ein Werkzeug namens MediaPipe erkannt werden. Als sie die einzelnen Modelle auf die Probe stellten, waren die Ergebnisse aufschlussreich. Das bildbasierte Modell war unglaublich genau und erreichte in kontrollierten Tests eine Genauigkeit von fast 100 %, zeigte jedoch Anzeichen von Unsicherheit, wenn es mit den variablen Bedingungen eines Live-Kamerafeeds konfrontiert wurde. Das geometrie-basierte Modell war für sich genommen etwas weniger genau und erreichte etwa 97 %, blieb aber unabhängig vom Hintergrund oder der Beleuchtung bemerkenswert stabil.

Als die Forscher diese beiden Ansätze fusionierten, war das Ergebnis ein System, das Stabilität über rohe Spitzenleistung priorisierte. Das Hybridmodell erreichte in Tests eine Genauigkeit von 95 %, ein Wert, der zwar etwas unter dem theoretischen Maximum des bildbasierten Modells lag, in der Praxis jedoch weitaus konsistenter erwies. In Echtzeitversuchen behielt das Hybridsystem ein Konfidenzniveau von fast 100 % bei und eliminierte effektiv das Zögern und die Fehler, die die Einzelmodellsysteme plagten. Die Studie ergab, dass das System, indem es die beiden Modelle die Antwort basierend auf Konfidenzschwellenwerten auswählen ließ und die Ergebnisse über ein kurzes Zeitfenster glättete, die variablen Bedingungen der Umgebung bewältigen konnte. Dieser Ansatz reduzierte erfolgreich die Fehlklassifizierungen, die beim rein geometriebasierten Modell beobachtet wurden, während er stabile Vorhersagen beibehielt, was die Wirksamkeit der Kombination von visuellen und landmarkenbasierten Merkmalen für die Gestenerkennung demonstrierte.

Die Forscher kommen zu dem Schluss, dass dieses hybride Framework einen praktischen Weg nach vorn für assistive Kommunikationswerkzeuge bietet. Indem sie anerkennen, dass keine einzelne Methode in jeder Situation perfekt ist und indem sie ein System schaffen, das dynamisch auf die Methode zurückgreifen kann, die in jedem gegebenen Moment am zuverlässigsten ist, haben sie einen Gestenerkenner geschaffen, der robust genug für den realen Gebrauch ist. Die Arbeit zeigt, dass die Kombination von visuellem Erscheinungsbild mit geometrischer Struktur, gesteuert durch einen konfidenzbasierten Entscheidungsprozess, ein Werkzeug hervorbringt, das nicht nur genau, sondern auch stabil und zuverlässig ist und somit das Versprechen einer nahtlosen Kommunikation zwischen Schwerhörigen und Hörenden einen Schritt näher an die Realität bringt.