A Vision-Based Shared-Control Teleoperation Scheme for Controlling the Robotic Arm of a Four-Legged Robot
تقدم هذه الورقة نظام تشغيل عن بُعد بالتحكم المشترك يعتمد على الرؤية، يستخدم كاميرا خارجية وتعلم الآلة لربط حركات معصم المشغل بأسلوب حدسي بذراع آلية لروبوت رباعي الأرجل، مع توظيف مخطط مسار لضمان تجنب الاصطدام في الوقت الفعلي في البيئات الخطرة.
المؤلفون الأصليون:Murilo Vinicius da Silva, Matheus Hipolito Carvalho, Juliano Negri, Thiago Segreto, Gustavo J. G. Lahr, Ricardo V. Godoy, Marcelo Becker
تخيل أنك تحاول التحكم في كلب آلي مزود بذراع ميكانيكية، ولكن بدلاً من استخدام وحدة تحكم معقدة لألعاب الفيديو تحتوي على عصي تحكم وأزرار، فإنك ببساطة تستخدم يدك. هذه هي الفكرة الجوهرية لهذا البحث: طريقة جديدة لـ "التحكم عن بُعد" (teleoperate) في روبوت رباعي الأرجل باستخدام حركاتك وكاميرا فقط.
إليك تفصيل لكيفية عمل ذلك، باستخدام تشبيهات بسيطة:
المشكلة: صراع "عصا التحكم"
عادةً ما يكون التحكم في ذراع الروبوت مثل محاولة رسم لوحة فنية رائعة وأنت ترتدي قفازات فرن سميكة وتنظر إلى اللوحة من خلال ثقب مفتاح صغير. يتعين عليك استخدام عصي التحكم لتحريك ذراع الروبوت للأعلى، والأسفل، واليسار، واليمين. هذا الأمر صعب التعلم، ومرهق لعقلك، ومن السهل الخطأ فيه، خاصة إذا كنت في مكان خطير حيث لا يمكنك رؤية كل شيء بوضوح.
الحل: "اليد الشبحية"
ابتكر الباحثون نظاماً تعمل فيه ذراع الروبوت كأنها ظل أو صورة مرآة ليدك أنت.
الكاميرا: يستخدمون كاميرا خاصة (Intel RealSense) يمكنها رؤية العمق، تماماً كما تفعل عيون البشر. وهي تراقب معصمك.
الرابط السحري: عندما تحرك معصمك للأمام، تتحرك ذراع الروبوت للأمام. وعندما تميل يدك، تميل يد الروبوت. الأمر كما لو أن الروبوت يرتدي "قفازاً شبحياً" يحاكي حركاتك بدقة في الوقت الفعلي.
كيف "يفكر" الروبوت
النظام ليس مجرد نسخة عمياء منك؛ بل لديه "عقل سلامة" مدمج فيه.
تجنب الاصطدام: تخيل أن ذراع الروبوت راقص حذر جداً. حتى لو حركت يدك بسرعة، يتحقق الروبوت من جسده ومن المحيط ليتأكد من أنه لن يصطدم بالجدران أو يتعثر بنفسه. الأمر يشبه امتلاك حارس شخصي يمنعك من الاصطدام بإطار الباب.
وضعان للتشغيل: يحتوي النظام على طريقة ذكية للتبديل بين الوضع "اليدوي" و"التلقائي" دون الضغط على أزرار. وهو يستخدم عد الأصابع:
ارفع إصبعاً واحداً: أنت في وضع التحكم الكامل. يتبع الروبوت معصمك مثل كلب وفيّ.
ارفع إصبعين: أنت تنتقل إلى وضع "شبه مستقل". الآن، إذا قمت بحركة "قبضة اليد" فوق جسم ما (مثل علبة صودا)، سيعرف الروبوت أفضل طريقة للإمساك به، وسيقوم هو بالعمل الدقيق بدلاً منك. وإذا فتحت يدك، فإنه يترك الشيء.
التجربة: اختبار "الالتقاط والوضع"
لإثبات نجاح ذلك، اختبر الفريق النظام على روبوت "سبوت" (Spot) الحقيقي من شركة بوسطن ديناميكس (الكلب الروبوتي الشهير).
المهمة: كان على شخصين مختلفين التقاط أشياء يومية (علبة رقائق وزجاجة تنظيف) ونقلها إلى صندوق.
النتيجة: نجح كلا المستخدمين. استطاعوا الإمساك بالأشياء، وتحريكها، وإسقاطها في الصندوق بمجرد التلويح بأيديهم.
الدقة: قاموا بقياس مدى قرب الروبوت من اتباع يد الإنسان. في المتوسط، كان الروبوت بعيداً بنحو 7 سنتيمترات (حوالي 3 بوصات). ويشير البحث إلى أنه كلما حرك الإنسان يده بشكل أسرع، زاد الخطأ قليلاً، وهو أمر منطقي لأن الروبوت يستغرق جزءاً ضئيلاً من الثانية للحاق بسرعة حركتك.
لماذا يهم هذا الأمر
هذا النهج يشبه الترقية من جهاز تحكم عن بعد معقد إلى محادثة طبيعية. لست بحاجة لارتداء مستشعرات خاصة على جسدك أو تعلم لغة جديدة من الأزرار. أنت فقط تستخدم حركات يدك الطبيعية. لقد صُمم ليكون طريقة أرخص، وأسهل، وأكثر أماناً للناس للتحكم في الروبوتات في البيئات الصعبة، مثل المصانع أو مناطق الكوارث، دون الحاجة لأن تكون خبيراً في الروبوتات.
باخت ملخص: يوضح هذا البحث أنه يمكنك التحكم في ذراع روبوتية عالية التقنية ببساطة عن طريق التلويح بيدك أمام الكاميرا، مع وجود ذكاء في الروبوت يجعله يتبعك بأمان ويساعدك حتى في الإمساك بالأشياء عندما تطلب منه ذلك.
ملخص تقني: مخطط تحكم مشترك قائم على الرؤية للتحكم في الذراع الروبوتية لروبوت رباعي الأرجل
بيان المشكلة يمثل التحكم عن بُعد للروبوتات رباعية الأرجل المجهزة بأذرع مناولة في البيئات الخطرة أو النائية تحديات كبيرة. فأساليب التحكم التقليدية التي تعتمد على عصا التحكم (joysticks) أو أجهزة التحكم في الألعاب غالبًا ما تتطلب مستويات عالية من الخبرة، مما يؤدي إلى منحنيات تعلم حادة وحمل إدراكي مفرط على المشغلين. وتواجه هذه الواجهات صعوبة في توفير تحكم بديهي في المناورات ذات درجات الحرية العالية (DoF)، لا سيما عندما يفتقر المشغلون إلى الوعي الموقفي الكافي أو الإدراك ثلاثي الأبعاد، مما يؤدي إلى انخفاض الدقة، والإجهاد، وزيادة مخاطر الاصطدام. وبينما توفر المستشعرات القابلة للارتداء (مثل وحدات القياس بالقصور الذاتي IMUs، أو تخطيط كهربائية العضلات EMG) بدائل أخرى، إلا أنها تفرض عوائق في النشر مثل التلامس الجسدي المزعج، والوقت الطويل اللازم للمعايرة، والحساسية لآثار الحركة. علاوة على ذلك، غالبًا ما تعاني أنظمة الرؤية أحادية العدسة من غموض العمق وانزياح المقياس، كما يمكن لخطوط معالجة الرؤية المعقدة أن تعيق الاستجابة في الوقت الفعلي.
المنهجية يقترح المؤلفون إطار عمل للتحكم المشترك قائم على الرؤية يقوم برسم خرائط لحركات ذراع الإنسان مباشرة إلى مناور روبوتي باستخدام كاميرا خارجية، مما يلغي الحاجة إلى الأجهزة القابلة للارتداء. تم تنفيذ النظام على روبوت "سبوت" (Spot) من شركة بوسطن دايناميكس المزود بذراع ذات 6 درجات حرية وقبضة فكية.
التقاط الحركة وتقدير الوضعية:
الأجهزة: تُستخدم كاميرا عمق من نوع Intel RealSense D435i للحصول على صور RGB وعمق متزامنة بتردد 30 هرتز.
المعايرة: يحدد وسم ArUco مرجعًا مستقرًا. ويقوم النظام بحساب مصفوفة التحويل المتجانس بين إطار الكاميرا وإطار الوسم.
التتبع: يُستخدم نظام MediaPipe Pose لاستخراج إحداثيات المعصم ثنائية الأبعاد من تدفق RGB. ويتم أخذ قيم العمق من صورة العمق المحاذية، مع تنقيحها باستخدام مرشح الوسيط (median filter) عبر نافذة 5×5 بكسل، ثم إعادة إسقاطها هندسيًا للحصول على إحداثيات المعصم ثلاثية الأبعاد.
الترشيح: يعمل مرشح المتوسط المتحرك الأسي (بمعامل α=0.5) على تنعيم المسار، ويتم استبعاد التحديثات التي تتجاوز قفزاتها 25 سم لضمان المتانة.
الاتجاه: تُستخدم معالم اليد (المعصم، ومفصل مشط الإصبع للسبابة، ومفصل مشط الإصبع للصغير) لحساب الناظم الكفي (palm normal) وربع quaternion للدوران (roll quaternion)، مما يؤدي إلى محاذاة انحراف (yaw) الكاميرا مع محور الدوران (roll) للروبوت للتحكم في اتجاه النهاية الطرفية.
بنية التحكم:
أنماط التحكم المشترك: يعمل النظام في نمطين، يتم اختيارهما عبر إيماءات عد الأصابع:
التحكم اليدوي عن بُعد: يتبع النهاية الطرفية للروبوت موضع معصم المشغل في الوقت الفعلي. وتُفعل إجراءات القبضة (فتح/إغلاق) عبر إيماءات كف اليد المفتوحة وقبضة اليد المغلقة، على التوالي.
النمط شبه المستقل: يتم تفعيله عبر إيماءة قبضة اليد المغلقة فوق جسم مكتشف، حيث ينفذ الروبوت تلقائيًا روتين الإمساك. يستخدم هذا النمط شبكة كشف الأجسام YOLOv11 لتحديد الأجسام القابلة للمناولة وتقدير وضعيتها ثلاثية الأبعاد. يختار النظام الهدف بناءً على الثقة والقرب، ثم ينفذ الاقتراب والإمساك تلقائيًا باستخدام SDK الخاص بـ Spot.
السلامة: يقوم مخطط المسار بالتحقق باستمرار من الاصطدامات مع العوائق ومع هيكل الروبوت نفسه.
التنفيذ:
يدمج إطار العمل Boston Dynamics SDK، وROS Noetic، وMoveIt.
تتم الاتصالات عبر مواضيع ROS، مع تشغيل حلقة التحكم بتردد 5 هرتز تقريبًا لأوامر الموضع.
يتضمن النظام طبقات عرض لتصحيح الأخطاء (debugging overlays) لتصور مراحل الإدراك والتحكم.
المساهمات الرئيسية
واجهة بديهية: حل غير جراحي ومنخفض التكلفة يستخدم كاميرا عمق واحدة لربط حركات معصم الإنسان بالمناور الروبوتي، مما يلغي الحاجة إلى المستشعرات القابلة للارتداء أو المعايرة المعقدة.
إطار عمل للتحكم المشترك: بنية هجينة تنتقل بسلاسة بين التحكم اليدوي المباشر والإمساك شبه المستقل بناءً على إيماءات اليد البسيطة (عد الأصابع وشكل اليد).
خط معالجة إدراك متين: طريقة لتتبع المعصم ثلاثي الأبعاد وتقدير اتجاه اليد باستخدام بيانات العمق أحادية العدسة (RealSense) مدمجة مع MediaPipe، والتي تم التحقق من صحتها مقابل الحقيقة الأرضية.
التحقق في الوقت الفعلي: النشر الناجح على روبوت رباعي الأرجل حقيقي (Spot) لأداء مهام الالتقاط والوضع.
النتائج التجريبية تم التحقق من النظام من خلال المحاكاة في Gazing وبتجارب واقعية تضمنت مستخدمين يقومان بمهام الالتقاط والوضع لأجسام يومية (علبة رقائق ومنتج تنظيف).
نجاح المهمة: نجح كلا المستخدمين في الإمساك بالأجسام ووضعها في الوقت الفعلي، مع الحفاظ على وضعيات مستقرة للنهاية الطرفية وتعديل اتجاه القبضة حسب المطلوب.
تحليل الدقة: باستخدام نظام التقاط الحركة Optitrack كحقيقة أرضية، حقق النظام متوسط خطأ موضعي قدره 0.07 متر.
ديناميكيات الخطأ: كشف التحليل أن خطأ الموضع يزدادة مع سرعة المعصم، وهو ما يعزى إلى زمن الاستجابة (latency) المطلوب لوصول النهاية الطرفية للروبوت إلى الموضع المستهدف.
الاستجابة: أظهر النظام القدرة على التعامل مع التحكم المستمر وأوامر الإيماءات المنفصلة (الإمساك/الإطلاق) بفعالية.
الأهمية والادعاءات يزعم البحث أن إطار العمل هذا يوفر بديلًا فعالًا من حيث التكلفة وسهل الوصول للتحكم المعقد عن بُعد، لا سيما في البيئات عالية المخاطر حيث تكون الواجهات التقليدية غير عملية أو تتطلب جهدًا إدراكيًا كبيرًا. ومن خلال الاستفادة من رؤية العمق وتتبع اليد المبسط، يوفر النظام توازنًا بين البديهية والاستجابة والسلامة. ويؤكد المؤلفون أن هذا النهج لا يتطلب أجهزة قابلة للارتداء ولا واجهات تقليدية، مما يخفض حاجز الدخول لتشغيل المناورات المتنقلة.
يختتم العمل بالإشارة بتواضع إلى أنه بينما يعد النظام الحالي متينًا، فإن النسخ المستقبلية ستركز على تنفيذ تخطيط مسار متقدم لتجنب العوائق، ودمج المجالات المحتملة (potential fields) لتحسين متانة التحكم المشترك، وإجراء دراسات مقارنة مع الواجهات التقليدية لمزيد من التحقق من فعالية النظام.