Safe Deep Reinforcement Learning for Spacecraft Reorientation with Pointing Keep-Out Constraint

ملخص تقني: التعلم المعزز العميق الآمن لإعادة توجيه المركبات الفضائية مع قيد منطقة حظر التوجيه

بيان المشكلة
تتطلب مناورات إعادة توجيه المركبات الفضائية غالباً الالتزام الصارم بقيود التوجيه لمنع تعرض الأدوات الحساسة الموجودة على متنها (مثل الكاميرات البصرية) لأجرام سماوية ساطعة مثل الشمس. إن النهج التقليدي للتحكم المقيد في الوضعية، مثل تخطيط الوضعية والتحكم التنبئي بالنماذج غير الخطي (MPC)، يتسم بكثافة حسابية عالية ويشكل تحدياً للتطبيق في الوقت الفعلي على متن المركبة. وفي المقابل، فإن طرق حقل الجهد الاصطناعي (APF)، رغم كفاءتها، تعاني غالباً من مشكلة النقاط الدنيا المحلية. وبينما يوفر التعلم المعزز العميق (DRL) بديلاً فعالاً من حيث الحساب للتحكم المستمر، إلا أن تطبيقه في السيناريوهات الحرجة التي تتطلب السلامة لا يزال محدوداً. ويتمثل التحدي الرئيسي في غياب الضمانات الرسمية للسلامة؛ حيث إن وكلاء التعلم المعزز العميق القياسيين الذين يتم تدريبهم باستخدام تشكيل المكافأة (Reward Shaping) وحده قد يفشلون في الالتزام الصارم بالقيود أثناء التشغيل الفعلي.

المنهجية
تقترح الورقة إطار عمل للتعلم المعزز الآمن (Safe RL) لإعادة توجيه المركبات الفضاء مع منطقة حظر توجيه واحدة. تدمج المنهجية خوارزمية "الممثل الناعم - الناقد الحاد" (Soft Actor-Critic - SAC) مع مرشح سلامة يعتمد على دالة حاجز التحكم (Control Barrier Function - CBF).

• فضاء الحالة وتصميم المكافأة: تم تصميم تمثيل مبتكر لفضاء الحالة يتضمن تمثيلاً مدمجاً وصريحاً لمنطقة قيد الوضعية. يتضمن متجه الحالة الوضعية النسبية، ومعدل الدوران، ومتجه خط البصر للحمولة، والزاوية بين خط البصر واتجاه التجنب، وهامش زاوية الأمان، ومتجه اتجاه التجنب النسبي. وتجمع دالة المكافأة بين مكافأة أساسية للتقارب في الوضعية وتقليل جهد التحكم، ودالة عقوبة محددة ($P_{f-zone}$) تزداد كلما اقتربت المركبة الفضائية من حدود منطقة الحظر.
• استراتيجية التدريب: يتم تدريب الوكيل باستخدام نهج التعلم المنهجي (Curriculum Learning) عبر مرحلتين. المرحلة الأولى تدرب سياسة أساسية لتنظيم الوضعية غير المقيدة مع زيادة زوايا الانحراف الأولية. المرحلة الثانية تقوم بضبط هذه السياسة بدقة مع تفعيل عقوبة منطقة الحظر، مما يولد قيوداً تتقاطع مع مسارات الدوران الأقصر المتوقعة للوكيل.
• مرشح السلامة: لضمان الامتثال للقيود أثناء التشغيل، يتم وضع مرشح سلامة يعتمد على دالة حاجز التحكم (CBF) بين وكيل التعلم المعزز والبيئة. يقوم المرشح بحل برنامج تربيعي (QP) عند كل خطوة زمنية لإيجاد عزم الدوران الأقرب للإجراء المقترح من الوكيل مع الالتزام بحدود التحكم وقيد منطقة الحظر. تم تعريف المجموعة الآمنة باستخدام مجموعة قيد داخلية متينة تأخذ في الاعتبار زمن أخذ العينات والاضطرابات المحتملة.

النتائج الرئيسية
أُجريت عمليات محاكاة مكثفة، بما في ذلك تحليل مونت كارلو لـ 10,000 سيناريو، لتقييم إطار العمل المقترح:

• محدودية التعلم المعزز القياسي: عند استخدام إطار تعلم معزز قياسي (يعتمد على تشكيل المكافأة فقط)، نجح الوكيل في الوصول إلى الهدف في حوالي 97% من الحالات. ومع ذلك، أدت 2.66% من المناورات إلى انتهاكات لمنطقة الحظر، مما يثبت أن تشكيل المكافأة وحده لا يمكنه ضمان السلامة.
• أداء التعلم المعزز الآمن: عند دمج مرشح السلامة القائم على (CBF)، انخفض معدل انتهاكات القيود إلى 0%. وظل متوسط المكافأة وزمن الاستقرار مقارباً لنهج التعلم المعزز القياسي (مع انخفاض طفيف في المكافأة وزيادة طفيفة في زمن الاستقرار)، بينما انخفض جهد التحكم قليلاً.
• حساسية المعاملات: يؤثر المعامل $\mu$ في صياغة (CBF) بشكل كبير على الأداء. فبينما وفرت القيمة $\mu=0.0025$ السلامة والأداء الأمثل، أدت قيمة $\mu$ أصغر وغير مناسبة ($\mu=0.0001$) إلى تدهور الأداء (زمن استقرار أعلى وحالات عدم استقرار أكثر) مقارنة بالتعلم المعزز القياسي، رغم أنها لا تزال تتجنب الانتهاكات.
• حالات عدم الاستقرار: فشلت نسبة صغيرة من الحالات (0.22% مع المرشح) في الاستقرار. وأشار التحليل إلى أن هذه الحالات كانت ناتجة عن سياسة الوكيل (مما أدى إلى تحيزات أو دورات حدية) وليس بسبب مرشح السلامة، مما يشير إلى الحاجة لمزيد من تدريب الوكيل.

الأهمية والادعاءات
تدعي الورقة أن إطار العمل المقترح يعالج بفعالية فجوة السلامة في تطبيق التعلم المعزز العميق للتحكم في وضعية المركبات الفضائية. المساهمة الأساسية هي إثبات أنه بينما يحسن تشكيل المكافأة الوعي بالقيود، فإنه غير كافٍ لضمان السلامة في المناورات الحرجة. في المقابل، يضمن دمج مرشح السلامة القائم على (CBF) الامتثال الصارم لقيود التوجيه دون المساس بشكل كبير بأداء التحكم. ويخلص المؤلفون إلى أن نهجهم يوفر حلاً قابلاً للتطبيق في الوقت الفعلي لإعادة توجيه المركبات الفضائية المقيدة، رغم ملاحظتهم أن هناك حاجة لعمل مستقبلي لمعالجة سلوكيات عدم الاستقرار وتوسيع الخوارزمية للتعامل مع مناطق حظر متعددة باستخدام شبكات الذاكرة الطويلة قصيرة المدى (LSTM).