Novel Human-Machine Interface via a Robust Hand Gesture Recognition System Using a Channel-Pruned You Only Look Once Version 5 Model
تقدم هذه الورقة نظاماً قوياً للتعرف على إيماءات اليد في الوقت الفعلي لواجهات التفاعل بين الإنسان والآلة، يستخدم نموذج YOLOv5s تم تقليص قنواته وضبطه بدقة لتحقيق سرعات كشف عالية تتجاوز 60 إطاراً في الثانية ودقة فائقة، مما يتيح التحكم السلس في تطبيقات الوسائط المتعددة مثل VLC وSpotify.
المؤلفون الأصليون:Abir Sen, Rabi Shaw, Tapas Kumar Mishra, Ratnakar Dash
لطالما سعى البشر لإيجاد طرق للتواصل مع الآلات تبدو طبيعية، متجاوزين القيود الصارمة للوحات المفاتيح والفأرة. ولعقود من الزمن، استكشف العلماء فكرة السماح للناس بالتحكم في أجهزة الكمبيوتر باستخدام أيديهم، وهو مجال يُعرف باسم التعرف على إيماءات اليد. تعتمد هذه التكنولوجيا على الكاميرات لالتقاط صور ليد الشخص، يتبعها برنامج يحدد شكل وموضع الأصابع لفهم ما يحاول المستخدم قوله. ورغم أن هذا يبدو بسيطاً، إلا أن العالم الحقيقي فوضوي؛ فتغيرات الإضاءة، والخلفيات المزدحمة، وإمكانية حجب الأيدي جزئياً، كلها عوامل تسبب الارتباك لرؤية الكمبيوتر. علاوة على ذلك، لكي تشعر هذه الأنظمة باستجابة حقيقية، يجب أن تعالج المعلومات بشكل فوري تقريباً، وهي مهمة تتطلب غالباً أجهزة كمبيوتر قوية وتستهلك الكثير من الطاقة، مما يجعل من الصعب تثبيتها في الأجهزة اليومية. ويكمن التحدي في إنشاء نظام يكون ذكياً بما يكفي للرؤية بوضوح في الظروف الصعبة، وخفيفاً بما يكفي ليعمل بسرعة على الأجهزة القياسية.
لقد عالج فريق من الباحثين من مؤسسات في الهند هذا التحدي عبر تطوير طريقة جديدة لجعل التحكم بالإيماءات أسرع وأكثر موثوقية. فقد ركزوا على نوع محدد من نماذج الذكاء الاصطناعي يسمى YOLO، والذي يرمز إلى "You Only Look Once" (أنت تنظر مرة واحدة فقط). هذا النموذج مصمم لرصد الأشياء في الصور بسرعة كبيرة. بدأ الباحثون بنسخة صغيرة وفعالة من هذا النموذج ثم طبقوا تقنية تسمى "تقليم القنوات" (channel pruning). تخيل شبكة طرق واسعة حيث تكون بعض المسارات نادرة الاستخدام؛ تقليم القنوات يشبه إغلاق تلك المسارات الفارغة لتقليل الازدحام المروري وتسريع السفر، دون تغيير الوجهة. ومن خلال الإزالة المنهجية للأجزاء غير الضرورية من البنية الداخلية لنموذج الكمبيوتر، أنشأ الفريق نسخة مبسطة أصغر حجماً وأسرع بكثير من الأصل. ثم قاموا بإعادة تدريب هذا النموذج المبسط بعناقة لضمان عدم فقدانه القدرة على التعرف على الإيماءات بدقة، حتى بعد تقليل حجمه.
تظهر نتائج هذا العمل أن النموذج المبسط يعمل بشكل استثنائي. فعند اختباره على مجموعة من صور إيماءات اليد، حقق النظام الجديد سرعة كشف تزيد عن 60 إطاراً في الثانية. وهذا يعني أن الكمبيوتر يمكنه تحليل أكثر من 60 صورة مختلفة لليد في الثانية الواحدة، وهي سرعة كافية لجعل التفاعل يبدو فورياً للمستخدم البشري. تمكن النظام من تحديد ثلاثة عشر شكلاً مختلفاً لليد، مثل كف مفتوحة، أو قبضة، أو أعداد أصابع محددة، بدرجة عالية من الدقة. وبينما تسببت عملية إزالة أجزاء من النموذج في انخفاض طفيف جداً في الدقة الخام، إلا أن عملية إعادة التدريب استعادت معظم هذا الأداء، مما نتج عنه نظام يقدم أفضل توازن بين السرعة والدقة. ووجد الباحثون أن هذا النهج تفوق على العديد من الطرق الأخرى الموجودة، بما في ذلك النماذج الأكبر والأكثر تعقيداً التي تستغرق وقتاً أطول لمعالجة الصور نفسها.
ولإثبات أن هذه التكنولوجيا تعمل في بيئة واقعية، بنى الفريق واجهة عمل تسمح للمستخدمين بالتحكم في مشغلات الوسائط باستخدام أيديهم فقط. فقد ربطوا نظام التعرف على الإيماءات الخاص بهم ببرنامج VLC، وهو مشغل فيديو شهير، وخدمة Spotify لبث الموسيقى. وفي عرضهم التوضيحي، كان بإمكان المستخدم رفع شكل يد معين لإخبار الكمبيوتر بتشغيل أغنية، أو إيقاف الفيديو مؤقتاً، أو تخطي المسار التالي، أو ضبط مستوى الصوت. استجاب النظام في أجزاء من الثانية، مما جعل التحكم يبدو سلساً. ومع ذلك، واجه الباحثون عقبة عملية: نظرًا لأن الكمبيوتر كان سريعاً جداً، فقد كان يسجل أحياناً إيماءة واحدة عدة مرات في تتابع سريع، مما يتسبب في تخطي الموسيقى لعدة أغانٍ أو ارتفاع مستوى الصوت بسرعة كبيرة. ولحل هذه المشكلة، أدخلوا وقفة قصيرة ومتعمدة في وقت استجابة البرنامج. ضمن هذا التأخير الصغير التعامل مع كل حركة يد كأمر واحد متميز، مما منع النظام من المبالغة في رد الفعل تجاه حركات المستخدم الطبيعية.
تؤكد الدراسة أنه من الممكن بناء أنظمة تحكم بالإيماءات قوية وتعمل في الوقت الفعلي دون الحاجة إلى قدرة حوسبة هائلة. فمن خلال تحسين البنية الداخلية لنموذج الذكاء الاصطناعي، أنشأ الباحثون أداة خفيفة الوزن وفعالة للغاية في آن واحد. ويشير هذا العمل إلى أنه في المستقبل القريب، قد يتمكن المستخدمون من التحكم في أنظمة الترفيه الخاصة بهم، أو أجهزة المنزل الذكي، أو التطبيقات الأخرى بحركات بسيطة من أيديهم، حتى في الغرف ذات الإضاءة المتغيرة أو الخلفيات المزدحمة. ويخطط الباحثون لتوسيع هذا العمل في المستقبل ليشمل الإيماءات الديناميكية، حيث تهم حركة اليد بقدر ما يهم شكلها، ولدمج إشارات اليد مع مدخلات أخرى مثل تتبع العين. أما الآن، فقد أثبتوا مساراً واضحاً نحو جعل التفاعل بين الإنسان والآلة أكثر سهولة واستجابة، محولين المهمة المعقدة لرؤية الكمبيوتر إلى تجربة بسيطة وموثوقة للمستخدمين العاديين.
ملخص تقني: واجهة تفاعل جديدة بين الإنسان والآلة عبر نظام قوي للتعرف على إيماءات اليد
بيان المشكلة يعد التعرف على إيماءات اليد (HGR) وسيلة حيوية لتعزيز التفاعل بين الإنسان والحاسوب (HCI)، لا سيما في تطبيقات الوسائط المتعددة مثل الواقع الافتراضي، والألعاب، وأتمتة المنازل الذكية. ومع ذلك، تواجه الأنظمة الحالية تحديات كبيرة في السيناريوهات الواقعية، بما في ذلك الخلفيات المعقدة، وظروف الإضاءة المتغيرة، والانسداد (occlusion). علاوة على ذلك، هناك حاجة لنماذج تعلم عميق خفيفة الوزن يمكنها إجراء اكتشاف وتصنيف الإيماءات بسرعة استنتاج فائقة (بالملي ثانية) ومعدلات إطارات عالية (إطار في الثانية) لتمكين التحكم السريع واللحظي في التطبيقات. غالبًا ما تعاني الحلول الحالية من صعوبة في الموازنة بين دقة النموذج وكفاءة الحوسبة، مما يؤدي إلى زمن انتقال (latency) أو انخفاض في المتانة في البيئات الديناميكية.
المنهجية يقترح المؤلفون نظامًا قويًا للتعرف على إيماءات اليد يرتكز على نموذج You Only Look Once version 5 small (YOLOv5s) الذي تم تقليص قنواته (channel-pruned). تتبع المنهجية إطار عمل مكونًا من خمس مراحل:
اختيار النموذج الأساسي: تم اختيار نموذج YOLOv5s كنموذج أساسي نظرًا لحجمه المدمج وسرعة استنتاجه مقارنة بالنسخ الأحدث والأكثر تعقيدًا (مثل YOLOv7–v11). تم تهيئة النموذج بأوزان مدربة مسبقًا من مجموعة بيانات COCO وضبطه بدقة (fine-tuned) على بيانات الإيماءات (بمقاس 480×480 بكسل) باستخدام مُحسن SGD.
تقليص القنوات (Channel Pruning): لتقليل تعقيد وحجم النموذج، تم تطبيق خوارزمية تقليص القنوات. تضمن ذلك:
التدريب المتناثر (Sparse Training): إدخال عوامل قياس (γ) إلى طبقات تطبيع الدفعات (Batch Normalization - BN) وتطبيق حد تنظيم L1 على دالة الخسارة. يشجع هذا عوامل القياس على الاقتراب من الصفر، مما يساعد في تحديد القنوات الأقل أهمية.
تنفيذ التقليص: تم استبعاد القنوات التي كانت عوامل القياس الخاصة بها أقل من عتبة محددة (تم تحديدها بناءً على معدل تقليص معين). اختبرت الدراسة معدلات تقليص بنسبة 10%، و15%، و20%.
الضبط الدقيق (Fine-Tuning): إدراكًا بأن عملية التقليص تسبب انخفاضًا طفيفًا في الدقة بسبب المقايضة بين الحجم والدقة، تمت إعادة تدريب النماذج المقلصة (fine-tuned) باستخدام معلمات فائقة محددة (حجم الدفعة 32، 60 حقبة تدريبية) لاستعادة أداء الاكتشاف.
تنفيذ واجهة التفاعل بين الإنسان والآلة (HMI): تم نشر النموذج المحسن وخفيف الوزن للتحكم في تطبيقات الوسائط المتعددة (مشغل VLC وSpotify). تم ربط فئات الإيماءات بأحداث لوحة المفاتيح (على سبيل المثال، 'Ok' للتشغيل، و'Two' للمسار التالي) باستخدام واجهة أوامر playerctl.
تعزيز المتانة: لمعالجة المشكلات حيث تؤدي معدلات الإطارات العالية إلى تشغيل الوظائف المستمرة (مثل ضبط مستوى الصوت أو تخطي المسار) عدة مرات متتالية وبسرعة، تم دمج دالة time.sleep(). أدى ذلك إلى إدخال تأخير متعمد لمزامنة خرائط الإيماءات مع إجراءات التطبيق، مما منع صدور أوامر سريعة غير مقصودة.
المساهمات الرئيسية يحدد البحث خمس مساهمات رئيسية:
الضبط الدقيق: تحسين نموذج YOLOv5s باستخدام إعدادات معلمات فائقة محددة للكشف عن إيماءات اليد وتصنيفها في الوقت الفعلي.
ضغط النموذج: تطبيق خوارزمية تقليص القنوات على نموذج YOLOv5s لإنشاء بنية أكثر دمجًا مع سرعات استنتاج متسارعة.
استعادة الدقة: استراتيجية إعادة تدريب للتخفيف من فقدان الدقة المرتبط عادةً بتقليص النماذج، مما يضمن معدلات اكتشاف عالية رغم تقليل عدد المعلمات.
تطوير واجهة HMI في الوقت الفعلي: بناء واجهة تحكم بالإيماءات لمشغلات VLC وSpotify تستفيد من النموذج المقلص للعمل بزمن انتقال منخفض وسرعة عالية.
تحسين المتانة: تعزيز موثوقية واجهة HMI في السيناريوهات الواقعية من خلال آليات المزامنة التي تدير محفزات الوظائف المستمرة.
النتائج التجريبية تم تقييم النظام على مجموعتي بيانات: مجموعة بيانات NITR-HGR الخاصة (13 فئة إيماءات) ومجموعة بيانات ASL العامة (29 فئة).
الأداء مقابل النموذج الأساسي: في مجموعة بيانات NITR-HGR، حقق نموذج YOLOv5s المقلص بنسبة 10% درجة F-score بلغت 99.65% و mAP (50-95) بلغت 92.50%، وهو ما يطابق أداء YOLOv5s الأساسي مع تقليل حجم النموذج من 14.5 ميجابايت إلى 12 ميجابايت وتقليل وقت الاستنتاج من 7.1 مللي ثانية إلى 6.2 مللي ثانية. لاحظت الدراسة أن معدلات التقليص 10%، و15%، و20% أدت إلى تقليل GFLOPS بنسبة 13%، و18%، و25%، على التوالي، مقارنة بالنموذج الأساسي.
المقارنة مع أحدث التقنيات (State-of-the-Art): تفوق النموذج المقترح على 15 نموذجًا آخر للكشف عن الأشياء (بما في ذلك Faster R-CNN، وSSD، وYOLOv3، وإصدارات مختلفة من YOLOv5–v11) من حيث الدقة والاستدعاء و mAP. والجدير بالذكر أنه حقق F-score أعلى (99.65%) و mAP أعلى (92.50%) من نموذج YOLOv7 الأكبر (99.00% F-score و92.45% mAP)، بينما كان أصغر حجمًا بشكل ملحوظ (12 ميجابايت مقابل 74.9 ميجابايت).
السرعة: حقق النظام متوسط سرعة اكتشاف يتجاوز 60 إطارًا في الثانية (fps)، مما يلبي متطلبات التحكم في التطبيقات في الوقت الفعلي.
أداء واجهة HMI: في الاختبارات الواقعية للتحكم في VLC وSpotify، أظهر النظام معدلات اكتشاف عالية (تصل إلى 100% للأفعال المنفصلة مثل التشغيل/الإيقاف المؤقت) ومتوسط أوقات استجابة تتراوح بين 5.0 مللي ثانية و12.9 مللي ثانية. نجح إدخال دالة النوم (sleep function) في الحد من مشكلة الأوامر المستمرة التي يتم تشغيلها عدة مرات.
الأهمية والادعاءات يزعم المؤلفون أن عملهم يوفر حلاً خفيف الوزن، ومتينًا، وفعالًا لواجهات التحكم بالإيماءات في الوقت الفعلي. من خلال النجاح في الموازنة بين حجم النموذج ودقته عبر تقليص القنوات والضبط الدقيق، يتيح النظام نشر التعرف على الإيماءات عالي الأداء في البيئات محدودة الموارد. ويؤكد البحث أن الطريقة المقترحة تحسن من متانة تطبيقات التحكم بالإيماءات ضد الخلفيات المعقدة وتغيرات الإضاءة مع الحفاظ على أوقات الاستج দ্রুত السريعة اللازمة للتفاعل السلس مع المستخدم. ويخلص المؤلفون إلى أن هذا النهج يقدم بديلًا قابلًا للتطبيق للنماذج الأثقل وزنًا للتحكم في الوسائط المتعددة في الوقت الفعلي، مع التخطيط لأعمال مستقبلية للتوسع في التعرف على الإيماءات الديناميكية والدمج متعدد الوسائط (مثل حركة العين وتعبيرات الوجه).