A Hybrid CNN–MLP Model Using Confidence-Gated Fusion Framework for Real-Time Indian Sign Language Recognition

يُعد التواصل حاجة إنسانية أساسية، ومع ذلك، بالنسبة لملايين الأشخاص الصم أو ضعاف السمع، غالباً ما تظل الجسر الممتد إلى العالم الأوسع مكسوراً. وتعتبر لغة الإشارة لغة كاملة وغنية لهذه المجتمعات، ولكن بدون نظام ترجمة عالمي، تظل الفجوة قائمة بين مستخدمي الإشارة وغير المستخدمين لها. في السنوات الأخيرة، توجه العلماء نحو الحواسيب لبناء هذا الجسر، عبر تعليم الآلات كيفية "رؤية" إيماءات اليد وترجمتها إلى كلمات منطوقة أو مكتوبة. يعتمد هذا المجال على طريقتين رئيسيتين للرؤية؛ حيث تتعامل إحدى الطريقتين مع اليد كأنها صورة فوتوغرافية، من خلال تحليل الشكل واللون وملمس الجلد والأصابع لتخمين المعنى. أما النهج الآخر فيتجاهل الصورة تماماً، ويركز بدلاً من ذلك على الهندسة الدقيقة لليد، عبر رسم خرائط للموقع الدقيق للمفاصل وأطراف الأصابع كمجموعة من الإحداثيات. وبينما يمتلك كل منهج نقاط قوة، إلا أن كلاهما يعاني عندما يصبح العالم الحقيقي فوضوياً؛ فقد يفشل النظام القائم على الكاميرا إذا تغيرت الإضاءة أو كانت الخلفية مزدحمة، بينما قد يفتقد النظام القائم على الهندسة التفاصيل الدقيقة التي تميز إشارة عن أخرى.

وفي دراسة جديدة، اقترح باحثون في كلية غالغوتياس للهندسة والتكنولوجيا في الهند حلاً يجمع بين هاتين الطريقتين المتميزتين للرؤية لإنشاء مترجم أكثر موثوقية للغة الإشارة الهندية. وبدلاً من إجبار الكمبيوتر على الاختيار بين النظر إلى مظهر اليد أو هيكلها، بنى الفريق نظاماً هجيناً يستخدم كلاهما في آن واحد. لقد أنشأوا "عقلين" رقميين منفصلين: أحدهما مدرب على التعرف على الإيماءات من خلال النظر إلى صور للأيدي، والآخر مدرب على التعرف عليها من خلال قراءة الإحداثيات الرياضية لمعالم اليد. ولا يكمن الابتكار في امتلاك نموذجين فحسب، بل في كيفية عملهما معاً. فقد صمم الباحثون آلية تبديل ذكية تعمل بمثابة حارس بوابة؛ ففي التشغيل الفوري، يتحقق النظام باستمرار من مدى ثقة النموذج القائم على الصور في تخمينه. فإذا كان النموذج القائم على الصور غير متأكد بسبب ضعف الإضاءة، يقوم النظام تلقائياً بالتحول إلى النموذج القائم على الهندسة، الذي يتم إعطاؤه الأولوية لقدرته على الصمود أمام المتغيرات البيئية. وإذا كانت الهندسة غير واضحة، فإنه يعتمد على الصورة. ويتم تنعيم عملية اتخاذ القرار الديناميكي هذه بمرور الوقت لضمان عدم حدوث وميض أو قفزات عشوائية في المخرجات النهائية من حرف إلى آخر.

اختبر الفريق نظامهم باستخدام مجموعة كبيرة من صور اليد الثابتة التي تمثل الأبجدية وبعض الأوامر المحددة، بإجمالي 87,000 صورة. وقد قاموا بتدريب نموذج قراءة الصور باستخدام بنية خفيفة الوزن تُعرف باسم MobileNetV2، المصممة لتكون سريعة بما يكفي للاستخدام في الوقت الفعلي، ودربوا نموذج قراءة الهندسة باستخدام شبكة عصبية قياسية تعالج النقاط الـ 21 الرئيسية لليد التي يتم اكتشافها بواسطة أداة تُسمى MediaPipe. وعندما وضعوا النماذج الفردية تحت الاختبار، كانت النتائج دالة؛ فقد حقق النموذج القائم على الصور دقة مذهلة وصلت إلى ما يقرب من 100% في الاختبارات المحكومة، لكنه أظهر علامات عدم اليقين عند مواجهة الظروف المتغيرة لبث الكاميرا المباشر. أما النموذج القائم على الهندسة، فقد كان أقل دقة بقليل بمفرده، حيث سجل حوالي 97%، ولكنه ظل ثابتاً بشكل ملحوظ بغض النظر عن الخلفية أو الإضاءة.

وعندما دمج الباحثون هذين النهجين، كانت النتيجة نظاماً يعطي الأولوية للاستقرار على الأداء الذروي الخام. حقق النموذج الهجين دقة بلغت 95% في الاختبار، وهي نسبة، رغم كونها أقل قليست من الحد الأقصى النظري للنموذج القائم على الصور فقط، أثبتت أنها أكثر اتساقاً في الممارسة العملية. وفي التجارب في الوقت الفعلي، حافظ النظام الهجين على مستوى ثقة يقترب من 100%، مما قضى فعلياً على التردد والأخطاء التي عانت منها الأنظمة ذات النموذج الواحد. ووجدت الدراسة أنه من خلال السماح للنموذجين باختيار الإجابة بناءً على عتبات الثقة ثم تنعيم النتائج عبر نافذة زمنية قصيرة، استطاع النظام التعامل مع الظروف المتغيرة للبيئة. وقد نجح هذا النهج في تقليل حالات التصنيف الخاطئ الملاحظة في النموذج القائم على الهندسة فقط مع الحفاظ على تنبؤات مستقرة، مما أثبت فعالية الجمع بين الميزات البصرية والمعالم الهندسية للتعرف على الإيماءات.

ويخلص الباحثون إلى أن هذا الإطار الهجين يقدم مساراً عملياً لأدوات التواصل المساعدة. فمن خلال الإقرار بأنه لا توجد طريقة واحدة مثالية في كل موقف، ومن خلال إنشاء نظام يمكنه الاعتماد ديناميكياً على الطريقة الأكثر موثوقية في أي لحظة، فقد ابتكروا نظاماً للتعرف على الإيماءات يتسم بالمتانة الكافية للاستخدام في العالم الحقيقي. إن هذا العمل يثبت أن الجمع بين المظهر البصي والهيكل الهندسي، المدار بعملية قرار قائمة على الثقة، ينتج أداة ليست دقيقة فحسب، بل هي أيضاً ثابتة وموثوقة، مما يقرب وعد التواصل السلس بين السامعين والصم خطوة أخرى من الواقع.