UniCon-Former: Unified Convolution Transformer is All You Need for Hand Gesture Recognition

تخيل أنك تحاول تعليم روبوت فهم إيماءات اليد البشرية، مثل التلويح للتحية أو إشارة "التوقف". إنها مهمة صعبة بالنسبة للكمبيوتر لأنه يحتاج إلى رؤية شيئين في آن واحد: التفاصيل الدقيقة والخاصة لأصابعك (الميزات المحلية) والصورة الكبيرة لكيفية حركة ذراعك بأكملها عبر الزمن (السياق العالمي). لفترة طويلة، استخدمت أجهزة الكمبيوتر أداتين مختلفتين لحل هذه المشكلة. إحدى الأدوات، وتسمى الشبكة العصبية الالتفافية (CNN)، كانت تشبه المحقق شديد التدقيق الذي يمكنه رصد بصمة إصبع واحدة، لكنه يضيع إذا طُلب منه فهم قصة كاملة. أما الأداة الأخرى، وهي "المحول" (Transformer)، فكانت تشبه الحكواتي العظيم الذي يمكنه ربط كل نقطة حبكة في رواية، ولكنه يصاب بالارتباك ويصبح بطيئاً عندما يحاول النظر في كل حرف من حروف الكتاب. لقد حاول الباحثون بناء روبوت يكون محققاً حاد الذكاء وحكواتياً بارعاً في آن واحد، لكن دمج الأداتين معاً كان يعني غالباً أن يصبح الروبوت ثقيلاً وبطيئاً لدرجة تجعله غير مفيد.

هنا تبدأ قصة "UniCon-Former". أراد المؤلفون، ماليكا غارج، وديباشيس غوش، وبياري موهان برادهان، بناء روبوت أذكى وأخف وزناً يمكنه التعرف على إيماأت اليد الديناميكية — الحركات التي تحدث بمرور الوقت — دون أن يغرق في الكثير من العمليات الحسابية. لم يقوموا بمجرد دمج الأداتين معاً؛ بل ابتكروا طريقة جديدة تسم تسمح لهما بالعمل كفريق واحد موحد. ومن خلال استخدام هيكل "هرمي" ذكي، أنشأوا نظاماً يمكنه التكبير على التفاصيل والابتعاد لرؤية الصورة الكبيرة، كل ذلك باستخدام موارد أقل من النماذج السابقة. يشير عملهم إلى أن هذا النهج الجديد يمكن أن يجعل الألعاب التي يتم التحكم فيها بالإيماءات، والواقع الافتراضي، وترجمة لغة الإشارة، أسرع وأكثر دقة، مما يثبت أنك لست بحاجة إلى دماغ ضخم لفهم مجرد تلويحة بسيطة.

المشكلة: المحقق مقابل الحكواتي

لفهم سبب بناء المؤلفين لـ UniCon-Former، علينا النظر إلى الشخصيتين الرئيسيتين في عالم الرؤية الحاسوبية.

أولاً، هناك الشبكة العصبية الالتفافية (CNN). فكر في هذا كأنه محقق يحمل عدسة مكبرة. إنه مذهل في النظر إلى جزء صغير من صورة وقول: "أرى إبهاماً هنا، وعقل إصبع هناك". إنه بارع في رصد التفاصيل المحلية. ومع ذلك، فإن عدسته المكبرة لها مدى محدود؛ فهو يكافح لفهم كيفية تحرك يدك عبر الشاشة بأكملها أو كيف تتغير الإيماءة على مدار عدة ثوانٍ. إنه يشبه المحقق الذي يمكنه تحديد حذاء مشتبه به، لكنه لا يستطيع إخبارك أين كان المشتبه به قبل ساعة.

ثم هناك المحول (Transformer). هذا هو الحكواتي العظيم. يستخدم آلية تسمى "الانتباه الذاتي" (self-attention) للنظر في كل جزء من تسلسل المدخلات (مثل كل إطار في الفيديو) ومعرفة كيف ترتبط جميعها ببعضها البعض. يمكنه بسهولة فهم أن يدك التي تتحرك للأعلى في الإطار الأول مرتبطة بيدك التي تتحرك للأسفل في الإطار العاشر. ولكن، هناك عقبة: كونك حكواتياً هو أمر مكلف. لربط كل قطعة معلومات بكل قطعة أخرى، يتعين على الجهاز القيام بكم هائل من العمليات الحسابية. الأمر يشبه محاولة تقديم كل شخص في ملعب رياضي لكل شخص آخر؛ المجهود ينمو بشكل هائل لدرجة أن الكمبيوتر يصبح بطيئاً ويستهلك الكثير من الطاقة.

يجادل المؤلفون بأنه بينما تعتبر المحولات قوية، إلا أنها تعاني من "الحشو الزائد". هم يقارنون أشياء كثيرة لا تحتاج إلى مقارنة بعضها البعض، مما يهدر الوقت والطاقة. ومن ناحية أخرى، فإن الشبكات الالتفافية (CNNs) فعالة ولكنها تفتقد الصورة الكبيرة. الهدف كان بناء نموذج يحصل على أفضل ما في العالمين دون عيوبهما.

الحل: هرم التركيز

يقترح المؤلفون نموذجاً جديداً يسمى UniCon-Former (المحول الالتفافي الموحد). بدلاً من ترك "المحول" يعاني مع الفيديو بأكمله دفعة واحدة، قدموا هيكلاً "هرمياً".

تخيل أنك تنظر إلى جبل. إذا حاولت رؤية كل صخرة على الجبل من القمة تماماً، فسيكون الأمر مربكاً. ولكن إذا بدأت من القاعدة وتسلقت للأعلى، يمكنك التركيز على تفاصيل الصخور القريبة منك، ثم تتراجع لترى شكل المنحدر، وأخيراً تصل إلى القمة لترى سلسلة الجبال بأكملها. يقوم UniCon-Former بهذا بالضبط مع إطارات الفيديو.

إليك كيف يحدث السحر:

1. الإعداد: تتم معالجة فيديو إيماءة اليد أولاً بواسطة شبكة CNN قياسية (ResNet-18) للحصول على الميزات الأساسية.
2. الهرم: ينقسم النموذج إلى مراحل. في بداية كل مرحلة، يستخدم النموذج "كتلة التفافية" (C-Block) خاصة لتقليص البيانات. الأمر يشبه أخذ صورة عالية الدقة وضغطها قليلاً قبل تمريرها إلى المستوى التالي. هذا يخلق شكلاً هرمياً حيث تصبح البيانات أصغر وأكثر تركيزاً كلما تعمقت في الشبكة.
3. المزج: قبل أن تدخل البيانات إلى جزء "الانتباه" الخاص بالمحول (حيث يبحث عن الروابط)، تمر عبر هذه الكتلة (C-Block). تستخدم هذه الكتلة "الالتفاف المنفصل عميقاً" (depthwise separable convolution)، وهي طريقة متطورة تعني أنها تعالج الصورة بكفاءة من خلال النظر في التفاصيل المحلية أولاً.
4. النتيجة: من خلال تقليص البيانات في كل مرحلة، يتعلم النموذج ميزات بمقاييس مختلفة. يتعلم التفاصيل الدقيقة للأصابع في البداية، وحركة الذراع الأوسع لاحقاً. هذا يسمح للمحول بالقيام بعمله في ربط النقاط دون أن يغمره الكثير من البيانات.

يشرح المؤلفون أن هذا النهج يساعد النموذج على تعلم "ميزات متعددة المقاييس". بما أن الأيدي تأتي بأحجام وأشكال مختلفة، والإيماءات يمكن أن تكون سريعة أو بطيئة، فإن القدرة على رؤية الصورة بمستويات مختلفة من التكبير أمر بالغ الأهمية. كما يقلل الهيكل الهرمي من التكلفة الحسابية، مما يجعل النموذج أخف وأسرع من المحول القياسي.

التجربة: اختبار الأيدي

لمعرفة ما إذا كانت فكرتهم قد نجحت، اختبر الفريق UniCon-Former على مجموعتي بيانات شهيرتين: NVGesture و Briareo. تحتوي مجموعات البيانات هذه على فيديوهات لأشخاص يقومون بإيماءات اليد، تم التقاطها بأنواع مختلفة من الكاميرات. بعض الكاميرات ترى الألوان فقط (RGB)، وبعضها يرى العمق (مدى بعد الأشياء)، وبعضها يرى الأشعة تحت الحمراء (الحرارة)، وبعضها يرى "التدفق البصري" (كيف تتحرك البكسلات).

قام الباحثون بتدريب نموذجهم على هذه الفيديوهات وقارنوه بنماذج شهيرة أخرى، بما في ذلك المحول "التقليدي" (vanilla) ونماذج مختلفة تعتمد على CNN. استخدموا تقنية تسمى "الدمج المتأخر" (late fusion)، مما يعني أنهم دربوا النموذج على كل نوع من بيانات الكاميرا بشكل منفصل ثم دمجوا التوقعات النهائية للحصول على أفضل إجابة.

ماذا وجدوا؟
كانت النتائج واعدة للغاية. في مجموعة بيانات NVGesture، تفوق Uni-Con-Former على المحول القياسي في كل الفئات تقريباً.

• عند النظر في صور الألوان فقط، حقق دقة بلغت 81.67%، متفوقاً على المحول القياسي الذي حقق 76.50%.
• مع صور العمق، وصل إلى 85.27%، مقارنة بـ 83.00% للمحول.
• عندما دمجوا أنواعاً متعددة من البيانات (مثل اللون والعمق والأشعة تحت الحمراء)، أصبح النموذج أفضل، حيث وصل إلى دقة 87.97%.

في مجموعة بيانات Briareo، كانت النتائج أكثر إبهاراً.

• باستخدام صور الأشعة تحت الحمراء فقط، وصل النموذج إلى دقة 97.92%، بينما حقق المحول القياسي 95.10%.
• عند دمج اللون والأشعة تحت الحمراء والتدفق، وصل إلى 98.61%، وهو أعلى سجل لديهم.

لاحظ المؤلفون أن النموذج أدى بشكل جيد بشكل خاص عند استخدام أنواع متعددة من البيانات (multimodal). ولاحظوا أن إضافة المزيد من أنواع المدخلات (مثل إضافة "المنحدرات" أو "التدفق البصري") أدت عموماً إلى تحسين الدقة، مما يشير إلى أن النموذج يمكنه استخدام جميع المعلومات المتاحة بفعالية لفهم الإيماءة.

الكفاءة: فعل المزيد بأقل

أحد أهم النتائج لم يكن يتعلق بالدقة فحسب، بل بالكفاءة أيضاً. قارن المؤلفون نموذجهم بالنماذج الأخرى بناءً على عدد "المعلمات" (التي تمثل خلايا الدماغ للذكاء الاصطائي) و "MACs" (العمليات الحسابية) التي يحتاجها.

• UniCon-Former لديه 19.58 مليون معلمة ويتطلب 60.25 جيجا من العمليات الحسابية (MACs).
• المحول القياسي المستخدم للمقارنة لديه 24.30 مليون معلمة و 62.92 جيجا من العمليات الحسابية.
• أما "العمالقة" الآخرون مثل NAS1 فقد امتلكوا 93.90 مليون معلمة.

هذا يعني أن Uni-Con-Former ليس فقط أكثر دقة، بل هو أيضاً أصغر حجماً وأقل تكلفة حسابية. إنه يشبه بناء سيارة تستهلك وقوداً أقل وتتحرك بشكل أسرع من المنافسين. يشير المؤلفون إلى أن هذه الكفاءة تجعل النموذج مرناً ومناسباً للتطبيقات الواقعية حيث قد تكون قوة الحوسبة محدودة.

الخلاصة

تخلص الورقة البحثية إلى أن UniCon-Former هو محاولة ناجحة لتوحيد نقاط القوة في الشبكات الالتفافية (CNN) والمحولات (Transformers). من خلال إنشاء هيكل هرمي يعالج البيانات بمقاييس مختلفة، يمكن للنموذج تعلم التفاصيل المحلية والسياق العالمي بكفاءة. تشير التجارب إلى أن هذا النهج يؤدي إلى نتائج رائدة في التعرف على إيماءات اليد، متفوقاً على الطرق الموجودة بموارد أقل.

بينما يثق المؤلفون في نتائجهم بناءً على البيانات من مجموعتي NVGesture و Briareo، فإنهم يقدمون هذا كتحقق قوي من تصميمهم وليس كحل نهائي غير قابل للتغيير. هم يسلطون الض light على أن نموذجهم يقدم توازناً أفضل بين التعقيد والأداء، مما يمهد الطريق لجعل التعرف على الإيماءات أسرع وأرخص وأكثر دقة للجميع.