A Two-Stage Lightweight Framework for Real Time Static Hand Gesture Recognition for Smart-Home Control

تخيل غرفة معيشة يمكنك فيها تشغيل الأضواء، أو ضبط منظم الحرارة، أو بدء تشغيل المكنسة الكهربائية ببساطة عن طريق رفع يدك. لا جهاز تحكم عن بعد، ولا أمر صوتي، ولا لمس فيزيائي مطلوب. هذه الرؤية للتفاعل السلس وغير التلامسي هي هدف تكنولوجيا المنازل الذكية، لكن جعلها تعمل بموثوقية في منزل حقيقي هو أمر صعب بشكل مفاجئ. فاليد البشرية شكل معقد يتغير باستمرار، وهي توجد في عالم مليء بالمشتتات: أثاث بلون البشرة، وظلال متغيرة، وخلفيات مزدحمة يمكن أن تخدع الكاميرا بسهولة. لكي يفهم الكمبيوتر إيماءة ما، يجب عليه أولاً أن يجد اليد بوضوح مقابل هذه الخلفية الصاخبة، ثم يقرر بالضبط ما الذي تفعله تلك اليد. إذا أخطأ النظام واعتبر جسماً في الخلفية بمثابة يد، فقد يشعل الأضواء بينما كنت تريد فقط التلويح. وإذا كان بطيئاً جداً، فسيشعر المستخدم بأن التفاعل متأخر وغير طبيعي. يكمن التحدي في بناء نظام يكون حاداً بما يكفي للتمييز بين اليد والجدار، وسريعاً بما يكفي للاستجابة فوراً، كل ذلك مع العمل على أجهزة ميسورة التكلفة.

لقد طور باحثون في جامعة العلوم والتكنولوجيا في بكين طريقة جديدة لحل هذه المشكلة، حيث ابتكروا نظاماً ذا مرحلتين مصمماً خصيصاً للتحكم المنزلي في الوقت الفعلي. يعتمد نهجهم على فصل مهمة العثور على اليد عن مهمة التعرف على الإيماءة، ومعاملتهما كمهمتين متميزتين تعملان معاً. أولاً، يعمل النظام مثل محرر ماهر للغاية، حيث يقوم بقص اليد من بقية الصورة بدقة متناهية. ثم يقوم برنامج كمبيوتر ثانٍ متخصص بالنظر إلى تلك اليد المعزولة ويقرر أي أمر تمثله. ومن خلال تقسيم العمل بهذه الطريقة، تمكن الباحثون من بناء نظام يتسم بدقة مذهلة وخفة كافية للعمل بسرعة على الأجهزة القياسية.

تركز المرحلة الأولى من نظامهم على "التقطيع" (segmentation)، وهي عملية فصل اليد عن الخلفية. أنشأ الباحثون مجموعة بيانات مخصصة تضم 8,000 صورة تحتوي على 16 فئة مختلفة، بما في ذلك تسعة أرقام للأصابع، وأشكالاً متنوعة لليد المفتوحة والمغلقة، وفئة خاصة لـ "عدم وجود إيماءة". هذه الفئة الأخيرة حاسمة؛ فهي تعلم الكمبيوتر متى لا تكون اليد موجودة أو عندما تكون موجودة جزئياً فقط في الإطار، مما يمنع النظام من تفعيل الأوامر بالخطأ عندما يمر شخص ما بجانب الكاميرا فقط. ولتدريب الكمبيوتر على إيجاد اليد، استخدموا نسخة معدلة من شبكة تحليل صور معروفة تسمى U-Net. لقد قاموا بتجريد هذه الشبكة، وإزالة الأجزاء غير الضرورية لجعلها أصغر وأسرع بكثير دون فقدان قدرتها على رؤية التفاصيل. والنتيجة هي نموذج يمكنه عزل اليد عن خلفية معقدة في أقل من ثماني ملي ثوانٍ، وهي سرعة كافية للتفاعل في الوقت الفعلي. وعند اختبارها على مجموعة منفصلة وأكثر صعوبة من الصور الملتقطة من منظور الشخص الأول مع وجود انسداد بصري شديد، نجح النظام في تحديد اليد بشكل صحيح في ما يقرب من 90 بالمائة من الحالات، مما يثبت قدرته على التعامل مع الواقع الفوضوي للمنزل.

بمجرد عزل اليد، تتولى المرحلة الثانية المهمة لتحديد الإيماءة المحددة. صمم الباحثون شبكة تصنيف جديدة خفيفة الوزن تسمى EdgeHandCNN. وعلى عكس النماذج القديمة والأبسط التي غالباً ما كانت تخلط بين الإيماءات المتشابهة، فقد بُنيت هذه البنية الجديدة للتركيز على التفاصيل الدقيقة المهمة: عدد الأصابع الممدودة، والاتجاه الذي تشير إليه، وشكل راحة اليد. إنها تولي اهتماماً كبيراً للتفاصيل عالية التردد، مثل الحواف الحادة لأطراف الأصابع وخطوط راحة اليد، وهي الاختلافات الجورية بين علامة "الإبهام للأعلى" وعلامة "OK". وفي الاختبارات، حققت هذه الشبكة المتخصصة نسبة نجاح تقترب من 99.6 بالمائة، حيث حددت الإيماءة بشكل صحيح في كل حالة تقريباً. وقد فعلت ذلك في أقل من ملي ثانية، مما جعل عملية التعرف بأكملها فورية تقريباً.

قام الباحثون بدمج هاتين المرحلتين في نظام نموذج أولي كامل لاختبار كيفية عمله في الممارسة العملية. لقد بنوا واجهة برمجية يمكنها استقبال بث فيديو مباشر، وقص المنطقة التي يقف فيها المستخدم، وإيجاد اليد، ثم ترجمة الإيماءة إلى أمر. يتضمن النظام فحص سلامة: إذا رأت الكاميرا أقل من 3% من اليد، فإنها تفترض عدم وجود إيماءة وتتجاهل الإطار، مما يمنع الإنذارات الكاذبة. وفي اختباراتهم، استغرقت العملية بأكملها، من التقاط الصورة إلى إصدار الأمر، ما بين 30 إلى 40 ملي ثانية. هذه السرعة كافية لتكون فورية بالنسبة للمستخدم البشري، مما يسمح بتجربة سلسة حيث يستجيب المنزل بمجرد تحريك اليد. يتطلب النظام بأكمله ذاكرة وقدرة حوسبية قليلة جداً، مما يجعل من الممكن تشغيله على أجهزة الكمبيوتر المنزلية القياسية أو أجهزة الحافة المستقبلية دون الحاجة إلى خوادم مكلفة ومستهلكة للطاقة.

تُظهر الدراسة أنه من خلال الفصل الدقيق بين مشكلة إيجاد اليد ومشكلة فهمها، من الممكن إنشاء نظام للتعرف على الإيماءات يتسم بالمتانة والكفاءة. أظهر الباحثون أن طريقتهم تصفّي ضجيج الخلفية بفعالية وتتعامل مع متغيرات المنزل الحقيقي، مع بقائها سريعة بما يكفي للتحكم التفاعلي. ووجدوا أن شبكتهم المخصصة تفوقت بشكل كبير على النماذج الأقدم والأقل عمقاً، والتي كانت تعاني للتمييز بين الإيماءات المتشابهة. وبينما يركز العمل الحالي على الإيماءات الثابتة — أي الثبات على وضعية معينة للحظة — يشير الباحثون إلى أن العمل المستقبلي يمكن أن يتوسع ليشمل الإيماءات المتحركة ويحسن كيفية تكيف النظام مع مختلف الأشخاص وظروف الإضاءة. في الوقت الحالي، يثبت هذا العمل أن النهج خفيف الوزن ذو المرحلتين يمكن أن يوفر التفاعل الموثوق ومنخفض التأخير اللازم لجعل التحكم في المنازل الذكية بدون تلامس حقيقة عملية.