Multimodal Surface EMG Hand Gesture Recognition Using Query-Based Transformers for Prosthetic Control

تخيل أنك تحاول تعليم يد روبوتية أن تفعل تماماً ما تفعله يدك، فقط من خلال الاستماع إلى الهمسات الكهربائية الضئيلة التي ترسلها عضلاتك. هذا هو عالم التحكم في الأطراف الاصطناعية، حيث يستخدم العلماء أجهزة استشعار لقراءة إشارات "تخطيط كهربائية العضل السطحي" (sEMG) — وهي الضوضاء الكهربائية الناتجة عند انقباض عضلاتك. فكر في هذه الإشارات كأنها محطة راديو فوضوية تبث مزيجاً من التشويش والموسيقى؛ والهدف هو ضبط المحطة ومعرفة أي أغنية (أو إيماءة يد) تُعزف بالضبط. لعقود من الزمن، حاول الباحثون بناء "مترجمين" يحولون هذه الهمسات الكهربائية إلى حركات سلسة وطبيعية للأطراف الاصطناعية. لكن العقبة هنا هي: كلما زاد عدد إيماءات اليد الممكنة وأصبحت أكثر تعقيداً، بدأت المترجمات القديمة تشعر بالارتباك وتخفق في المهمة بشكل متكرر. إنهم يشبهون طالباً يحاول حفظ قاموس من خلال النظر فقط إلى الحروف الفردية، متجاهلاً الصورة الكبيرة لكيفية ترابط الكلمات معاً.

الآن، تخيل لو كان بإمكان ذلك الطالب أيضاً رؤية عيني الشخص وهما تنظران إلى الشيء الذي يريد الإمساك به، أو الشعور بحركة ذراعه وهي تتأرجح. هنا يأتي دور البحث الجديد، الذي يقترح طريقة أكثر ذكاءً للاستماع. فبدلاً من مجرد التحديق في إشارات العضلات، يعمل هذا النظام الجديد كأنّه محقق فائق التنظيم يجمع الأدلة من مصادر متعددة — كهرباء العضلات، ومستشعرات حركة الذراع، وحتى أين تتجه نظرات العين — لحل لغز "ما هي إيماءة اليد هذه؟". يقدم البحث نوعاً جديداً من البرمجيات الذكية يسمى EMG-CrossFormer. لقد صُمم ليكون بارعاً في تعدد المهام، حيث يجمع أنواعاً مختلفة من البيانات لفهم حركات اليد بشكل أفضل من أي وقت مضى، خاصة للأشخاص الذين فقدوا ذراعاً ويحتاجون إلى طرف اصطناعي يشعرون معه أنه جزء حقيقي من جسدهم.

أدوات المحقق الجديدة: EMG-CrossFormer

أدرك مؤلفو هذا البحث، فيديريكو ديل بوب، وإليزا تينتوري، ومانفريدو أتزوري، أن الطريقة القديمة لفك تشفير إيماءات اليد كانت تصطدم بحائط مسدود. فنماذج التعلم العميق التقليدية، التي تشبه حواسيب قوية ولكن ضيقة الأفق، بارعة في النظر إلى التفاصيل المحلية الصغيرة (مثل انقباضة عضلة واحدة) ولكنها تعاني في ربط النقاط ببعضها عبر الزمن أو عبر أنواع مختلفة من الإشارات. إنها تشبه طباخاً يجيد تقطيع البصل ببراعة ولكنه لا يعرف كيف يمزجه مع الملح والفلفل لصنع حساء. وعندما تطول قائمة إيماءات اليد (مثل 40 حركة مختلفة)، تبدأ هذه النماذج القديمة في الفشل، وغالباً ما يكون أداؤها أسوأ من الطرق الأقدم والأبسط.

لإصلاح ذلك، بنى الفريق EMG-CrossFormer، وهو نموذج هجين يعمل كقائد أوركسترا عالي التقنية. فبدلاً من وجود عازف واحد يعزف على آلة واحدة، يجمع هذا النظام بين "أقسام" مختلفة من الأوركسترا:

1. العازفون (المشفرات): أولاً، يستمع النظام إلى البيانات الخام. لديه "هياكل أساسية" (العازفون) تقرأ إشارات العضلات (sEMM). ويمكنه حتى قراءة أدلة إضافية مثل بيانات مقياس التسارع (الذي يتتبع كيفية تحرك الذراع في الفضاء) وبيانات تتبع العين (التي توضح أين ينظر الشخص).
2. القائد (الانتباه المتقاطع - Cross-Attention): هذا هو الجزء السحري. في الماضي، كانت الأنظمة تكتفي بوضع كل هذه الأدلة في كومة واحدة وتأمل في الحصول على نتيجة جيدة. لكن EMG-CrossFormer يستخدم تقنية تسمى "الانتباه المتقاطع". تخيل القائد وهو يسأل قسم العضلات: "مهلاً، ماذا تشعرون؟" ثم يلتفت إلى قسم العين قائلاً: "وأنتم، إلى أين ينظرون؟". يجبر النظام هذه الإشارات المختلفة على التحدث مع بعضها البعض، ودمج قصصها في فهم مثالي واحد للإيماءة.
3. العازف المنفرد (مفكك الشفرات القائم على الاستعلام): أخيراً، يستخدم النظام "استعلامات إيماءات قابلة للتعلم". فكر في هذه الاستعلامات كأنها مجموعة من البطاقات السحرية، تمثل كل منها إيماءة يد معينة (مثل "أمسك كوباً" أو "لوّح بالتحية"). يسأل النظام هذه البطاقات: "هل تتطابق هذه الإيماءة مع القصة التي سمعناها للتو؟" ثم يختار الفائز.

ما وجدوه: قوة العمل الجماعي

اختبر الباحثون هذا النظام الجديد على أربع مجموعات بيانات (مجموعات من البيانات من أشخاص حقيقيين، بوجود أطراف أو بدونها) تسمى NinaPro DB2، DB3، DB7، وDB10. وقد وضعوا EMG-CrossFormer في مواجهة ستة نماذج أخرى رفيعة المستوى ليروا من منهم يستطيع تخمين إيماءات اليد بشكل أفضل.

النتائج باستخدام إشارات العضلات فقط:
عند استخدام إشارات العضلات (sEMG) وحدها، كان النموذج الجديد هو البطل بالفعل، لكن الانتصار كان متواضعاً نوعاً ما.

• في مجموعة بيانات DB2، حقق دقة بلغت 72.33%.
• في DB3 (التي تشمل مبتوري الأطراف)، وصل إلى 52.48%.
• في DB7، بلغ 79.16%.
• في DB10، سجل 73.49%.
  وعلى الرغم من أنه كان الأفضل، إلا أن الورقة تشير إلى أن الفجوة بين هذا النموذج الجديد وثاني أفضل نموذج كانت صغيرة، مما يوحي بأن حتى أكثر المترجمات ذكاءً التي تعتمد على العضلات فقط تعاني عندما تكون الإشارات مشوشة أو عندما تكون الإيماءات متشابهة جداً.

سحر إضافة المزيد من الأدلة:
بعد ذلك، قاموا بتفعيل المستشعرات الإضافية. فعندما أضافوا بيانات مقياس التسارع (الذي يتتبع حركة الذراع)، ارتفعت النتائج بشكل صاروخي.

• في DB2، قفزت الدقة إلى 90.66%.
• في DB3 (مبتوري الأطراف)، ارتفعت إلى 80.40%.
• في DB7، وصلت إلى 92.79%.
• في DB10، بلغت 92.06%.

هذا التحسن الهائل يشير إلى أن إشارات العضلات وحدها ليست كافية لسرد القصة كاملة. فمن خلال إضافة أدلة "الحركة" من مقياس التسارع، استطاع النظام أخيراً التمييز بين الإيماءات التي قد تبدو متشابهة في العضلات ولكنها تختلف في حركة الذراع.

تحول تتبع العين:
جربوا أيضاً إضافة بيانات تتبع العين (أين ينظر الشخص) إلى المزيج. ومن المثير للاهتمام أن هذا لم يجعل الأمور أفضل دائماً. ففي بعض مجموعات البيانات، لم يؤدِ إضافة بيانات العين إلى تحسين النتيجة كثيراً مقارنة باستخدام العضلات وحركة الذراع فقط. يقترح المؤلفون أن هذا قد يكون لأن تتبع العين أفضل في التنبؤ بما تريد فعله لاحقاً، بدلاً من فك تشفير ما تفعله حالياً. الأمر يشبه محاولة تخمين ما يأكله شخص ما من خلال مراقبة عينيه؛ قد يساعد ذلك، لكنه ليس مباشراً مثل الشعور بالطعام في فمه.

لماذا يهم هذا (وما لا يمثله)

تخلص الورقة البحثية إلى أن الجمع بين التفاصيل المحلية (ما تفعله العضلات الآن) والسياق العالمي (كيف تتحرك الذراع وأين تتجه العين) هو المفتاح لفتح آفاق إيماءات اليد المعقدة. لقد صُمم النموذج الجديد، EMG-CrossFormer، ليكون مرناً؛ إذ يمكنه التعامل مع أي عدد من الإشارات، مما يجعله أداة جاهزة للمستقبل في مجال الأطراف الاصطناعية.

ومع ذلك، فإن المؤلفين حذرون من المبالغة في تقدير النتائج. فقد أشاروا إلى أنه رغم أن الأرقام تبدو رائعة، إلا أن النظام لا يزال "صندوقاً أسود" — نحن نعرف أنه يعمل، لكننا لا نفهم تماماً لماذا يعمل بهذا الشكل الجيد داخل طبقاته العصبية. كما أشاروا إلى أن الاختبارات أُجريت على مجموعات بيانات محددة، وأن الأطراف الاصطناعية في العالم الحقيقي تواجه تحديات أكبر بكثير، مثل ضجيج الإشارات الناتج عن العرق أو الحركة.

تستبعد الورقة صراحةً فكرة أن النماذج القديمة البسيطة كافية للمهام المعقدة؛ فهي ببساطة لا تستطيع التوسع. كما تشير أيضاً إلى أن مجرد إلقاء المزيد من البيانات على نظام سيء لن يفيد؛ بل إن الطريقة التي تدمج بها هذه البيانات (استراتيجية الدمج) هي الأهم. يقترح المؤلفون أن تقنية "الانتباه المتقاطع" الخاصة بهم تتفوق على مجرد لصق البيانات معاً، لأنها تجبر النظام على فهم العلاقة بين الإشارات المختلفة حقاً.

في النهاية، لا يدعي هذا البحث أنه حل مشكلة الأطراف الاصطناعية المثالية إلى الأبد. بدلاً من ذلك، يقدم مخططاً بيانياً قوياً. فهو يوضح أنه إذا أردنا للروبوتات أن تتحرك مثل البشر، فعلينا التوقف عن الاستماع إلى صوت واحد فقط والبدء في قيادة أوركسترا كاملة من الإشارات. إن الطريق نحو المستقبل يتطلب بناء أنظمة ليست ذكية فحسب، بل قادرة على التكيف، ومستعدة للتعلم من العضلات، والحركة، وحتى نظرة العين للشخص الذي يرتديها.