A Hybrid CNN–MLP Model Using Confidence-Gated Fusion Framework for Real-Time Indian Sign Language Recognition

Communicatie is een fundamentele menselijke behoefte, maar voor miljoenen mensen die doof of slechthorend zijn, blijft de brug naar de bredere wereld vaak gebroken. Gebarentaal dient als een volledige en rijke taal voor deze gemeenschappen, maar zonder een universeel vertaalmechanisme blijft de kloof tussen gebarentaalgebruikers en niet-gebruikers bestaan. In de afgelopen jaren hebben wetenschappers zich tot computers gericht om deze brug te bouwen, door machines te leren "zien" hoe handen gebaren maken en deze te vertalen naar gesproken of geschreven woorden. Dit vakgebied steunt op twee belangrijke manieren van zien. De ene benadering behandelt de hand als een foto, waarbij de vorm, kleur en textuur van de huid en vingers worden geanalyseerd om de betekenis te raden. De andere benadering negeert het beeld volledig en richt zich in plaats daarvan op de precieze geometrie van de hand, waarbij de exacte positie van gewrichten en vingertoppen wordt in kaart gebracht als een reeks coördinaten. Hoewel elke methode zijn sterke punten heeft, worstelen beide wanneer de echte wereld rommelig wordt. Een camera-gebaseerd systeem kan falen als de verlichting verandert of de achtergrond onoverzichtelijk is, terwijl een geometrie-gebaseerd systeem subtiele details kan missen die het ene gebaar van het andere onderscheiden.

In een nieuwe studie hebben onderzoekers aan het Galgotias College of Engineering & Technology in India een oplossing voorgesteld die deze twee verschillende manieren van zien combineert om een betrouwbaardere vertaler voor de Indiase gebarentaal te creëren. In plaats van de computer te dwingen te kiezen tussen het kijken naar het uiterlijk van de hand of de structuur ervan, bouwde het team een hybride systeem dat beide tegelijkertijd gebruikt. Ze creëerden twee afzonderlijke digitale "hersenen": één die getraind is om gebaren te herkennen door naar afbeeldingen van handen te kijken, en een andere die getraind is om ze te herkennen door de wiskundige coördinaten van handlandmarks te lezen. De innovatie ligt niet alleen in het hebben van twee modellen, maar in de manier waarop ze samenwerken. De onderzoekers ontwierpen een slim schakelmechanisme dat fungeert als een poortwachter. Tijdens de real-time operatie controleert het systeem constant hoe zelfverzekerd het beeld-gebaseerde model is in zijn gok. Als het beeld-gebaseerde model onzeker is vanwege slechte verlichting, schakelt het systeem automatisch over naar het geometrie-gebaseerde model, dat wordt geprioriteerd vanwege de robuustheid tegen omgevingsvariaties. Als de geometrie onduidelijk is, vertrouwt het op het beeld. Deze dynamische besluitvorming wordt vervolgens over een bepaalde tijd uitgesmeerd om te zorgen dat de uiteindelijke output niet flikkert of erratisch van de ene letter naar de andere springt.

Het team testte hun systeem met een grote collectie statische handafbeeldingen die het alfabet en een aantal specifieke commando's vertegenwoordigen, in totaal 80.000 afbeeldingen. Ze trainden hun beeld-lezende model met een lichte architectuur genaamd MobileNetV2, die ontworpen is om snel genoeg te zijn voor real-time gebruik, en trainden hun geometrie-lezende model met een standaard neuraal netwerk dat de 21 sleutelpunten van de hand verwerkt die worden gedetecteerd door een hulpmiddel genaamd MediaPipe. Toen ze de individuele modellen aan de tand voelden, waren de resultaten veelzeggend. Het beeld-gebaseerde model was ongelooflijk nauwkeurig en bereikte bijna 100% nauwkeurigheid in gecontroleerde tests, maar vertoonde tekenen van onzekerheid wanneer het werd geconfronteerd met de variabele omstandigheden van een live camerabeeld. Het geometrie-gebaseerde model was op zichzelf iets minder nauwkeurig, met een score van ongeveer 97%, maar bleef opmerkelijk stabiel, ongeacht de achtergrond of de verlichting.

Toen de onderzoekers deze twee benaderingen samenvoegden, was het resultaat een systeem dat prioriteit gaf aan stabiliteit boven rauwe piekprestaties. Het hybride model behaalde een nauwkeurigheid van 95% tijdens het testen, een cijfer dat, hoewel iets lager dan het theoretische maximum van het beeld-alleen model, in de praktijk veel consistenter bleek te zijn. In real-time proeven behield het hybride systeem een betrouwbaarheidsniveau van bijna 100%, waardoor de aarzeling en fouten die de single-model systemen teisterden effectief werden geëlimineerd. De studie toonde aan dat door de twee modellen de antwoorden te laten selecteren op basis van betrouwendheidsdrempels en vervolgens de resultaten over een kort tijdsvenster uit te smeren, het systeem de variabele omstandigheden van de omgeving kon aan kunnen. Deze aanpak slaagde erin de misclassificaties die bij het geometrie-alleen model werden waargenomen te verminderen, terwijl stabiele voorspellingen werden behouden, wat de effectiviteit van het combineren van visuele en landmark-gebaseerde kenmerken voor gebarenherkenning aantoont.

De onderzoekers concluderen dat dit hybride framework een praktisch pad biedt voor ondersteunende communicatiemiddelen. Door te erkennen dat geen enkele methode perfect is in elke situatie, en door een systeem te creëren dat dynamisch kan leunen op welke methode dan ook het meest betrouwbaar is op een gegeven moment, hebben ze een gebarenherkenner gecreëerd die robuust genoeg is voor gebruik in de echte wereld. Het werk laat zien dat het combineren van visuele verschijning met geometrische structuur, beheerd door een besluitvormingsproces op basis van vertrouwen, een hulpmiddel oplevert dat niet alleen accuraat is, maar ook stabiel en betrouwbaar, waardoor de belofte van naadloze communicatie tussen horenden en doven een stap dichter bij de realiteit wordt gebracht.