Vision-Based Real-Time Sign Language Recognition: A Comparative Benchmark of Landmark Tracking and Deep Sequential Architectures

بالنسبة لملايين الأشخاص الصم أو ضعاف السمع، لا تعد لغة الإشارة مجرد مجموعة من الإيماءات؛ بل هي لغة كاملة وغنية لها قواعدها وهيكلها وفروقها الدقيقة. وهي تعتمد على الشكل الدقيق لليد، وزاوية المعصم، وحركة الأصابع لإيصال المعنى. ومع ذلك، بالنسبة للأغلبية العظمى من السامعين، تظل هذه الإشارات المرئية كتاباً مغلقاً، مما يخلق حاجزاً مستمراً في المدارس وأماكن العمل والحياة اليومية. لعقود من الزمن، حاول العلماء بناء آلات يمكنها قراءة هذه الإشارات، آملين في سد الفجوة. تطلبت المحاولات المبكرة في كثير من الأحيان من المستخدمين ارتداء قفازات خاصة مزودة بمستشعرات أو معدات ضخمة تتبع حركة كل مفصل. ورغم دقة هذه الأدوات، إلا أنها كانت غير عملية للاستخدام اليومي، ومكلفة للغاية بالنسبة لمعظم الناس، وغير مريحة للارتداء لفترات طويلة. كان الهدف دائماً هو إيجاد طريقة تسمح لكاميرا قياسية، مثل تلك الموجودة في الكمبيوتر المحمول أو الهاتف الذكي، بفهم إشارات اليد دون مطالبة المستخدم بتغيير سلوكه أو حمل معدات إضافية.

لقد أصبح هذا التحدي مؤخراً قابلاً للحل بفضل التحول في كيفية "رؤية" الحواسيب للعالم. فبدلاً من محاولة تحليل كل بكسل من صورة الفيديو — وهي مهمة ثقيلة حاسوبياً وسهلة الارتباك بسبب التغيرات في الإضاءة أو الفوضى في الخلفية — يركز الباحثون الآن على الهيكل العظمي لليد. تخيل برنامج كمبيوتر يتجاهل لون البشرة أو لون القميص الذي يرتديه الشخص، وبدلاً من ذلك يحدد فوراً إحدى وعشرين نقطة محددة في اليد، من المعصم إلى أطراف الأصابع. تعمل هذه النقاط كخريطة مبسطة لشكل اليد. ومن خلال تتبع كيفية تحرك هذه النقاط وعلاقتها ببعضها البعض، يمكن للكمبيوتر فهم الإشارة التي يتم تنفيذها دون الحاجة إلى معالجة الصورة بأكملها. هذا النهج، المعروف بتتبع المعالم (landmark tracking)، يعد بجعل التعرف على لغة الإشارة سريعاً، ومنخفض التكلفة، ومتاحاً على الأجهزة العادية.

في دراسة حديثة، وضع باحث في جامعة الهندسة والتكنولوجيا في لاهور اختباراً لمدى نجاح هذه الفكرة في العالم الحقيقي. لم يكن الهدف بناء نظام واحد مثالي، بل مقارنة عشر طرق مختلفة لتعليم الكمبيوتر التعرف على معالم اليد هذه. جمع الباحث مجموعة ضخمة من بيانات الفيديو، تضم 120,000 إطار لأشخاص يوقعون. تضمنت مجموعة البيانات هذه الأبجدية المكونة من ستة وعشرين حرفاً، والعشرة أصابع، وبعض الإيماءات الخاصة للمسافات والنقاط، والتي أداها خمسة وعشرون متطوعاً مختلفاً. وقد تباين هؤلاء المتطوعون في العمر، والجنس، وحجم اليد، لضمان أن يكون الاختبار عادلاً وواقعياً. ثم قام الباحث بتغذية هذه البيانات في عشرة أنواع مختلفة من نماذج الكمبيوتر. بعضها كان عبارة عن طرق إحصائية كلاسيكية بسيطة كانت موجودة منذ عقود، بينما كانت أخرى عبارة عن شبكات تعلم عميق حديثة ومعقدة مصممة لمحاكاة الطريقة التي تعالج بها الأدمغة البشرية المعلومات المتسلسلة.

كشفت النتوة عن حقيقة مذهلة حول السرعة مقابل التعقيد. فالنماذج الأكثر تطوراً، التي استخدمت الشبكات العصبية العميقة لتحليل صور الفيديو الخام أو حركة اليد بمرور الوقت، كانت دقيقة للغاية بالفعل. أحد النماذج القائمة على الصور حدد الإشارات بشكل صحيح بنسبة تقارب 99.8 بالمائة. ومع ذلك، جاءت هذه النماذج القوية بتكلفة باهظة: فقد كانت بطيئة. تطلبت قدرة حوسبية كبيرة واستغرقت عدة أجزاء من الألف من الثانية لاتخاذ قرار، وهو أمر ملحوظ عندما تحاول إجراء محادثة في الوقت الفلي.'; وفي المقابل، كانت النماذج الأبسط، التي نظرت فقط إلى إحداثيات النقاط الواحد والعشرين لليد، سريعة للغاية. حقق أحد هذه النماذج، القائم على تقنية تسمى "تعزيز التدرج" (gradient boosting)، دقة بلغت 99.5 بالمائة مع اتخاذ القرار في غضون 0.3 مللي ثانية فقط. هذا النوع من السرعة يعني أن النظام يمكنه العمل بسلاسة على كمبيوتر محمول قياسي، ومعالجة الفيديو بمعدل أكثر من تسعين إطاراً في الثانية، وهو ما يفوق سرعة الإدراك البشري.

أما الاكتشاف الأكثر أهمية فقد تعلق بمدى جودة عمل هذه الأنظمة عند مواجهة شخص جديد لم تره من قبل. في العالم الحقيقي، يجب على مترجم لغة الإشارة أن يفهم الغرباء، وليس فقط الشخص الذي تدرب معه. وعندما اختبر الباحثون النماذج على أشخاص لم يكونوا جزءاً من بيانات التدريب، واجهت النماذج القائمة على الصور صعوبة كبيرة، حيث انخفضت دقتها بنسبة تقارب ثمانية بالمائة. بدا أنها تعتمد بشكل كبير جداً على المظهر المحدد للأيدي التي حفظتها. ومع ذلك، أثبتت النماذج الأبسط القائمة على المعالم قدرة أكبر على الصمود؛ إذ انخفضت دقتها بنسبة 5% فقط تقريباً، مما يظهر أنه من خلال التركيز على هندسة اليد بدلاً من مظهرها، يمكنها التعميم بشكل أفضل على أشخاص جدد. وهذا يشير إلى أنه بالنسبة لأداة عملية للاستخدام اليومي، فإن النهج الأبسط ليس أسرع فحسب، بل هو أيضاً أكثر موثوقية عند التعامل مع تنوع الأيدي البشرية.

كما بحثت الدراسة العملية بأكملها، بدءاً من اللحظة التي تلتقط فيها الكاميرا صورة وصولاً إلى اللحظة التي ينطق فيها الكمبيوتر بالكلمة المعترف بها. ومن خلال توقيت كل خطوة، من تتبع اليد إلى تطبيع البيانات واتخاذ التنبؤ النهائي، أكد الباحث أن المسار بأكمله يمكن أن يعمل في الوقت الفعلي. بلغ إجمالي الوقت من رؤية الإشارة إلى التعرف عليها حوالي أحد عشر مللي ثانية لأسرع نموذج. هذه السرعة كافية لمواكبة التوقيع الطبيعي، مما يسمح للكمبيوتر بتجميع الحروف في كلمات وجمل دون تأخير. كما نجح النظام أيضاً في تجميع هذه الحروف في نص، مع وجود أخطاء قليلة جداً في التهجئة أو تكوين الكلمات، مما يثبت أن هذه التكنولوجيا جاهزة للانتقال من تجربة مختبرية إلى تطبيق قابل للاستخدام.

بينما تقدم الدراسة مساراً واضحاً للمضي قدماً، فقد كان الباحث حريصاً على تحديد حدود ما تم إنجازه. فالنظام مصمم خصيصاً لتهجئة الأصابع — أي تهجئة الكلمات حرفاً بحرف — ولا يفهم بعد التدفق المستمر والمعقد لجمل لغة الإشارة الكاملة، والذي يتضمن تعبيرات الوجه ووضعية الجسم. كما أشارت الدراسة أيضاً إلى أنه في الظروف شديدة الظلمة أو عندما تكون الأصابع محجوبة الرؤية بشكل كبير، فإن قدرة الكاميرا على تتبع نقاط اليد قد تتعثر. وبالرغم من هذه الحدود، فإن هذا العمل يوفر معياراً قوياً للمجال؛ فهو يثبت أنه من خلال تجريد البيانات المرئية غير الضرورية والتركيز على الهندسة الأساسية لليد، يمكننا بناء أنظمة ليست دقيقة فحسب، بل سريعة أيضاً بما يكفي لتعيش في جيوبنا وعلى مكاتبنا. إن الطريق إلى عالم تُفهم فيه لغة الإشارة فورياً من قبل الجميع قد لا يتطلب أقوى الحواسيب الفائقة، بل يتطلب الطريقة الصحيحة للنظر إلى اليد نفسها.