⚡ electrical engineering

Path Planning and Reinforcement Learning-Driven Control of On-Orbit Free-Flying Multi-Arm Robots

تقترح هذه الورقة إطار تحكم هجين يجمع بين تحسين المسار لتوليد مسارات قابلة للتنفيذ والتعلم التعزيزي للتتبع التكيفي لتمكين التخطيط الحركي المتين والفعال وتثبيت الاستقرار للروبوتات متعددة الأذرع ذات الطيران الحر في سيناريوهات الخدمة المدارية غير اليقينية.

المؤلفون الأصليون: Álvaro Belmonte-Baeza, José Luis Ramón, Leonard Felicetti, Miguel Cazorla, Jorge Pomares

نُشر 2026-03-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Álvaro Belmonte-Baeza, José Luis Ramón, Leonard Felicetti, Miguel Cazorla, Jorge Pomares

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تحريك قطعة أثاث ضخمة وعائمة (مثل أريكة) داخل سفينة فضاء في حالة انعدام جاذبية. لا يمكنك مجرد دفعها؛ فإذا دفعت جانبًا واحدًا، سيبدأ الشيء بأكمله بالدوران خارج السيطرة. الآن، تخيل أن هذا الأثاث مزود بأربعة أذرع روبوتية، وهدفك هو جعل هذا الأثاث يمشي عبر أرضية السفينة، ليلتقط أداة ما، ثم ينتقل إلى مكان جديد، كل ذلك دون الاصطدام بأي شيء أو الانجراف بعيدًا.

هذا هو التحدي الذي يواجهه الروبوت المداري (الروبوتات التي تعمل في الفضاء) والتي تحتاج إلى صيانة الأقمار الصناعية أو بناء المحطات الفضائية. تقترح ورقة بحثية جديدة نظامًا ذكيًا "بمخين اثنين" لحل هذه المشكلة، يجمع بين التخطيط المثالي ورد الفعل الغريزي.

إليك كيف يعمل الأمر، مقسمًا إلى مفاهيم بسيطة:

1. المخان: المهندس المعماري والرياضي

لقد ابتكر الباحثون نظامًا هجينًا يقسم المهمة إلى جزأين:

المخ (أ): المهندس المعماري (تحسين المسار)
فكر في هذا كمهندس معماري فائق الذكاء يرسم مخططًا مثاليًا قبل أن تبدأ الحركة حتى. إنه يحسب المسار الدقيق الذي يجب أن يتخذه الروبوت. هو يحدد:
- كيفية تحريك الأذرع.
- كيفية استخدام دافعات جسم الروبوت (محركات صاروخية صغيرة) للبقاء ثابتًا.
- متى يمسك بالجدار بالضبط ومتى يتركه.
- العيب: المهندس المعماري ذكي جدًا، لكنه يفترض أن العالم مثالي. هو لا يعرف ماذا يفعل إذا هبت ريح شمسية مفاجئة دفعت الروبوت، أو إذا كانت مستشعرات الروبوت غير دقيقة تمامًا.
المخ (ب): الرياضي (التعلم التعزيزي)
فكر في هذا كرياضي مدرب تدريبًا عاليًا، قد مارس التدريب في صالة رياضية بها عوائق عشوائية، وأرضيات زلقة، وأوزان متغيرة. هذا "الرياضي" ليس لديه مخطط؛ بل لديه ذاكرة عضلية. هو يراقب مخطط المهندس المعماري ويحاول اتباعه. إذا تعرض الروبوت لضربة أو إذا كان الحساب رياضيًا غير دقيق، يقوم "الرياضي" فورًا بتعديل عضلاته (المفاصل والدوافع) للبقاء على المسار. إنه يتعلم من خلال التجربة والخطأ، تمامًا مثل كلب يتعلم التقاط "الفرسبي".

2. السلاح السري: "حقيبة الظهر ذات الدوافع"

في الماضي، حاولت روبوتات الفضاء التحرك عن طريق هز أذرعها فقط. تخيل أنك تحاول المشي عبر بحيرة متجمدة باستخدام يديك فقط للدفع؛ فمن المرجح أن تدور في دوائر أو تنزلق.

هذا الروبوت الجديد لديه حقيبة ظهر من الدوافع الصغيرة (صواريخ مصغرة).

التشبيه: تخيل أنك تمشي على حبل مشدود. إذا بدأت في الترنح، فأنت لا تحاول التوازن باستخدام ذراعيك فقط؛ بل لديك صديق (الدافع) يعطيك دفعة صغيرة ودقيقة لإبقائك مستقيمًا.
النتيجة: يستخدم الروبوت هذه الدوافع لتثبيت جسمه بينما تقوم الأذرع بعملية "المشي". هذا يجعل الحركة أكثر سلاسة وأمانًا، ويتطلب قوة أقل من الأذرع، مما يعني تآكلًا أقل للروبوت.

3. معسكر التدريب: فجوة "المحاكاة إلى الواقع"

كيف تعلم "الرياضي" (المخ ب) التعامل مع الفضاء؟ لا يمكنك إرسال روبوت إلى الفضاء وتركه يصطدم آلاف المرات ليتعلم.

الصالة الرياضية الافتراضية: بنى الباحثون لعبة فيديو واقعية للغاية (محاكاة) تشبه الفضاء تمامًا.
عامل الفوضى: لجعل الروبوت قويًا، جعلوا اللعبة "معطلة". لقد غيروا وزن الروبوت، وأضافوا ضجيجًا وهميًا للمستشعرات، وجعلوا الفيزياء مختلفة قليًا عن مخطط المهندس المعماري المثالي.
النتي نتيجة: عندما يذهب الروبوت أخيرًا إلى الفضاء الحقيقي، يكون الأمر بالنسبة له مثل ملاكم تدرب في صالة رياضية بها أكياس رمل ثقيلة وأرضيات زلقة. يبدو العالم الحقيقي سهلاً بالمقارنة. يمكنه التعامل مع "عدم التطابق" بين الخطة المثالية والواقع الفوضوي.

4. الاختباران الكبيران

اختبر الفريق هذا النظام في سيناريوهين:

اختبار "الزحف": كان الروبوت ممسكًا بالفعل بالسفينة الفضائية وكان عليه المشي لمسافة 1.2 متر إلى مكان جديد.
- النتيجة: تحرك الروبوت بسلاسة. عملت الدوافع كمنظم استقرار، مما منع الروبوت من الانجراف بينما كانت الأذرع "تمشيه" للأمام.
اختبار "الاقتراب": كان الروبوت يطفو في الفضاء، دون لمس السفينة بعد. كان عليه الطيران بالقرب منها، ثم الإمساك بها، ثم المشي.
- النتيجة: خطط المهندس المعماري لمسار للطيران بالقرب باستخدام الدوافع. نفذ "الرياضي" الخطة، وأمسك بالسفينة، ثم انتقل بسلاسة إلى "وضع المشي" دون فقدان قبضته أو الاصطدام.

لماذا يهم هذا الأمر؟

الفضاء مكان خطير وغير متوقع. إذا اعتمد الروبوت فقط على خطة مثالية، فإن خطأً صغيرًا يمكن أن يؤدي إلى فشل المهمة. وإذا اعتمد فقط على الغريزة، فقد يكون غير فعال أو غير آمن.

تظهر هذه الورقة البحثية أن الجمع بين خطة مثالية وغريزة قوية وقابلة للتكيف هو الاستراتيجية الرابحة. الأمر يشبه امتلاك نظام تحديد مواقع (GPS) يعرف الطريق بدقة، ولكن لديه أيضًا سائق يمكنه الانحراف لتجنب حفرة في الطريق فورًا.

باخت-صار: يسمح هذا النظام لروبوتات الفضاء بالتحرك بدقة الجراح وقدرة الجمبازي على التكيف، مما يجعلها جاهزة للمهام المعقدة للإصلاح والبناء في المدار.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "تخطيط المسار والتحكم المدفوع بالتعلم التعزيزي للروبوتات متعددة الأذرع ذات الطيران الحر في المدار".

1. بيان المشكلة

تتناول الورقة التحديات المتعلقة بتخطيط الحركة والتحكم لـ الروبوتات متعددة الأذرع ذات الطيران الحر في سيناريوهات الخدمة المدارية (مثل خدمة الأقمار الصناعية، إزالة الحطام، والتجميع في الفضاء). وتشمل الصعوبات الرئيسية ما يلي:

الاقتران الديناميكي: تؤدي حركة الأذرع الروبوتية إلى توليد قوى وعزوم رد فعل على قاعدة الروبوت، مما يسبب انحرافاً غير مقصود في بيئة الجاذبية الصغرى.
عدم اليقين البيئي: بيئات الفضاء غير حتمية، وتتميز باضطرابات مدارية، وتأخير في الاتصالات، وتقدير غير كامل للحالة.
عدم دقة النموذج: يعتمد تخطيط المسار التقليدي (TO) على نماذج رياضية دقيقة. وغالباً ما تؤدي التبسيطات التي تُجرى على هذه النماذج (مثل تجاهل الديناميكيات المعقدة أو حالات التلامس) إلى أداء دون المستوى أو الفشل عند التنفيذ في العالم الحقيقي.
التحكم عالي الأبعاد: يتطلب التحكم في أذرع متعددة (درجات حرية عالية) في آن واحد مع قاعدة متحركة إدارة فضاء عمل معقد وعالي الأبعاد.

غالباً ما تكافح الطرق الحالية لتحقيق التوازن بين الكفاءة الحسابية للتخطيط القائم على الأمثلة وبين المتانة المطلوبة للتعامل مع الاضطرابات في العالم الحقيقي.

2. المنهجية

يقترح المؤلفون إطار عمل هجين يدمج تحسين المسار (TO) للتخطيط رفيع المستوى، والتعلم التعزيزي (RL) للتحكم التكيفي منخفض المستوى.

أ. بنية النظام

الروبوت: روبوت متعدد الأذرع عام ( $\zeta$ من الأذرع، و $n$ من درجات الحرية لكل ذراع) مجهز بآليات إرساء للمؤثر النهائي ومجموعة من الدافعات (thrusters) على قاعدته للتحكم الدقيق في الجسم.
الديناميكيات: ينمذج النظام ديناميكيات مدارية كاملة، بما في ذلك الاقتران بين القاعدة والأذرع، والاضطرابات المدارية، وتفاعلات التلامس متعددة المراحل.

ب. تحسين المسار (TO) - المخطط

يقوم نموذج (TO) بصياغة مسألة تحكم أمثل (OCP) لتوليد مسارات مرجعية فعالة وممكنة.

التمثيل البارامتري: يستخدم منحنيات (splines) متعددة الحدود (من الدرجة الثالثة) لتمثيل مسارات القاعدة، وقوى الدافعات، ومسارات المؤثر النهائي.
المراحل: يتم تقسيم الحركة إلى مراحل تلامس (الأذرع مثبتة بسطح الهدف) ومراحل عدم تلامس (الأذرع تتأرجح). تقوم مسألة (OCP) بتحسين مدة هذه المراحل (نمط المشي/Gait) وتوقيت الإرساء وفك الإرساء.
القيود:
- القيود الكينماتيكية (نطاقات المفاصل، تجنب الاصطدام الذاتي).
- القيود الديناميكية (معادلات نيوتن-أويلر للقاعدة).
- قيود التلامس (يجب أن تطابق المؤثرات النهائية خريطة سطح الهدف $m(x,y)$ وأن تكون سرعتها صفراً أثناء التلامس).
- تجنب الاصطدام (الحفاظ على مسافة دنيا $\delta$ من السطح خلال مراحل التأرجح).
الهدف: تقليل قوى التلامس، وسرعات القاعدة، واستهلاك الوقود مع ضمان سلاسة الانتقالات.
المحلل (Solver): يتم تحويل مسألة (OCP) المستمرة إلى مسألة برمجة غير خطية (NLP) يتم حلها عبر IPOPT.

ج. التعلم التعزيزي (RL) - المتحكم

يعمل نموذج (RL) كمتحكم خالٍ من النموذج (model-free) لتتبع المسار المرجعي الناتج عن (TO)، مما يعوض عن عدم تطابق النماذج والاضطرابات.

صياغة ماركوف لاتخاذ القرار (MDP):
- الملاحظات: وضع وسرعة القاعدة الحالية، الوضع المطلوب للقاعدة، حالات المفاصل، الإجراءات السابقة، وأوضاع المؤثر النهائي الحالية والمطلوبة.
- الإجراءات: مواضع المفاصل المستهدفة (التي يتم تحويلها إلى عزوم عبر متحكم PD عالي التردد) ومتجهات قوة الدافعات. فضاء العمل هو 27 بُعداً (4 أذرع $\times$ 6 درجات حرية + 3 محاور للدافعات).
- دالة المكافأة: مكافأة مركبة تشمل:
  - مكافآت المهمة: تقليل الخطأ اللوغاريتمي لتتبع القاعدة والمؤثر النهائي.
  - مكافآت التطبيع: معاقبة الاستهلاك العالي للطاقة، والتسارع، واستخدام الدافعات لضمان السلاسة وكفاءة الوقود.
  - مكافآت العقوبة: عقوبات شديدة على الاصطدامات (اصطدام الجسم أو الأذرع غير المرساة).
- استراتيجية التدريب:
  - التعلم المنهجي (Curriculum Learning): يبدأ بإزاحات صغيرة للهدف ويزيد الصعوبة تدريجياً مع تحسن السياسة.
  - التعميم النطاقي (Domain Randomization): يتم تغيير كتلة النظام ( $\pm 10\%$ )، ومواضع المفاصل الأولية، وضوضاء المستشعرات لضمان المتانة ونقل التعلم من المحاكاة إلى الواقع (sim-to-real).
  - الخوارزمية: خوارزمية تحسين السياسة القريبة (PPO) المدربة في بيئة NVIDIA Isaac Sim.

3. المساهمات الرئيسية

تحسين المسار المدرك للتلامس مع الديناميكيات الكاملة: صاغ المؤلفون مسألة (OCP) تعمل على تحسين مسارات المؤثر النهائي، وقوى الدافعات، وتوقيت التلامس بشكل مشترك. وهي تلتقط ديناميكيات النظام الكاملة، مما يسمح بسلوك سلس وفعال في استهلاك الوقود مناسب للجاذبية الصغرى.
التكيف مع التوقيت وتصميم التكلفة: يقوم التحسين بضبط مدة المراحل ديناميكياً ومعاقبة أخطاء التتبع وقوى التلامس، مما يسمح بالجدولة الذاتية لعمليات الإرساء.
تعلم سياسة عالية الأبعاد: تطوير سياسة تعلم تعزيزي لفضاء عمل يبلغ 27 درجة حرية (متعدد الأذرع + الدافعات)، مما يدير الديناميكيات المقترنة وعدم تطابق النماذج في أحد أكثر الإعدادات تعقيداً في أدبيات الروبوتات.
إطار عمل تعلم تعزيزي متين: تنفيذ تشكيل مكافآت مدرك للمدار، واستراتيجيات التعلم المنهجي، وحقن الضوضاء لضمان التعميم تحت ظروف عدم اليقين الواقعية للرحلات الفضائية.

4. النتائج التجريبية

تم التحقق من صحة إطار العمل من خلال دراستي حالة في المحاكاة:

الحالة 1: الحركة السطحية (التلامس الأولي):
- المهمة: يتحرك الروبوت مسافة 1.2 متر (على محور x) ولاحقاً 1.5 متر (x) + 0.5 متر (y) مع الحفاظ على التلامس.
- النتائج: تفوق النهج الهجين المزود بالدافعات بشكل كبير على النسخة التي لا تحتوي على دافعات. قللت الدافعات من تذبذبات القاعدة، وجعلت ملفات التسارع أكثر سلاسة، وخفضت بشكل كبير قوى التفاعل المطلوبة عند نقاط الإرساء (مما يحسن السلامة).
- التتبع: تتبعت سياسة (RL) المسار المرجعي لـ (TO) بدقة عالية (متوسط الأخطاء في نطاق المليمترات إلى السنتيمترات)، مع التعامل بنجاح مع الديناميكيات الكاملة للنظام رغم أن المخطط استخدم نموذجاً مبسطاً.
الحالة 2: تقريب الطيران الحر (لا يوجد تلامس أولي):
- المهمة: يبدأ الروبوت على بعد 0.5 متر من الهدف، ويستخدم الدافعات للاقتراب، ثم يرسي، وبعد ذلك ينتقل إلى وضعية مستهدفة.
- النتائج: نجح (TO) في توليد مناورة "اقتراب قطري" باستخدام الدافعات لسد الفجوة قبل الانتقال إلى الحركة المعتمدة على الأذرع. تتبعت سياسة (RL) بسلاسة هذا الانتقال المعقد من الطيران الحر إلى الحركة القائمة على التلامس.
الأداء المقارن:
- حقق المتحكم المدفوع بـ (RL) متوسط خطأ تتبع قدره $6.7 \times 10^{-3}$ متر، وهو ما يتفوق بشكل كبير على الطرق الكلاسيكية مثل الكينماتيكا العكسية التفاضلية ( $9.2 \times 10^{-2}$ متر) والمتحكمات القائمة على السرعة.

5. الأهمية والتأثير

تعزيز الاستقلالية: يُمكّن هذا الإطار الروبوتات من العمل بشكل مستقل في بيئات غير مؤكدة من خلال الجمع بين دقة الأمثلة وقدرة التعلم على التكيف.
السلامة والكفاءة: يقلل دمج الدافعات من الاعتماد على قوى رد الفعل الناتجة عن الأذرع، مما يقلل الإجهاد على نقاط الإرساء ويمنع الانحراف، وهو أمر بالغ الأهمية لخدمة الأقمار الصناعية الدقيقة.
القابلية للتوسع: يسمح التصميم النمطي بإضافة المزيد من الأذرع أو المفاصل مع زيادة يمكن التحكم فيها في العبء الحسابي.
إمكانية الانتقال من المحاكاة إلى الواقع: من خلال التدريب على نموذج كامل الديناميكيات بينما يتم التخطيط بنموذج مبسط، وباستخدام التعميم النطاقي، فإن النظام يتمتع بمتانة تجاه "فجوة الواقع"، مما يجعله مرشحاً قوياً لمهمات الفضاء المستقبلية.

في الختام، تضع هذه الورقة أساساً قوياً لتعزيز استقلالية الأنظمة الروبوتية الفضائية من خلال الجسر الفعال بين التخطيط الدقيق المحدد للمهام والتحكم التكيفي المتين في البيئات المدارية الديناميكية.