Satellite Trajectory Optimization via Proximal Policy Optimization for Space Debris Avoidance

تخيل أن السماء فوقنا ليست مجرد فضاء فارغ، بل هي طريق سريع مزدحم وفوضوي حيث تتحرك آلاف السيارات بسرعات هائلة. هذا هو المدار الأرضي المنخفض (LEO) والمدار الجغرافي الثابت (GEO)، وهي الأحياء التي تعيش فيها أقمارنا الصناعية. المشكلة؟ حركة المرور أصبحت مزدحمة بشكل خطير. في كل عام، نطلق المزيد من الأقمار الصناعية، وتتحطم الأقمار القديمة، مما يخلق سحابة من الحطام غير المرئي—الخردة الفضائية. إذا اصطدمت قطعتان من هذا الحطام ببعضهما البعض، فستنتجان المزيد من الحطام، مما قد يؤدي إلى تفاعل متسلسل جامح يُعرف باسم "متلازمة كيسلر"، حيث يصبح المدار مليئاً بالأنقاض لدرجة تجعل استخدامه مستحيلاً.

للحفاظ على سلامة الأقمار الصناعية، نعتمد عادةً على مشغلين بشريين على الأرض. يعملون مثل مراقبي الحركة الجوية، يراقبون الرادار، ويحسبون المخاطر، ويوجهون الأقمار الصناعية يدوياً لتشغيل محركاتها والمراوغة. ولكن مع انفجار عدد الأقمار الصناعية، تصبح هذه الطريقة اليدوية مثل محاولة توجيه حركة المرور في مدينة ضخمة باستخدام جهاز لاسلكي وشخص واحد فقط؛ فهي بطيئة للغاية ومجهدة للغاية. وهنا يأتي دور التعلم المعزز (Reinforcement Learning - RL). فكر في التعلم المعزز كأنه لعبة فيديو يتعلم فيها "وكيل الذكاء الاصطناعي" اللعب من خلال التجربة، والفشل، والحصول على "نقاط" مقابل التحركات الجيدة. فبدلاً من برمجته بقواعد صارمة مثل "إذا كان الصخر قريباً، تحرك يساراً"، يتعلم الذكاء الاصطناعي أفضل طريقة للمراوغة من خلال خوض آلاف السيناريوهات في محاكاة، ليكتشف التوازن المثالي بين البقاء آمناً، وتوفير الوقود، والحفاظ على استقرار مداره.

---

مهمة الورقة البحثية: تعليم قمر صناعي المراوغة عبر القيادة الآلية

في هذه الدراسة، قرر المؤلف، لوغان لونا وفريقه، بناء سائق قمر صناعي فائق الذكاء ومستقل باستخدام نوع معين من الذكاء الاصطناعي يسمى تحسين السياسة القريبة (Proximal Policy Optimization - PPO). كان هدفهم هو معرفة ما إذا كان بإمكان الذكاء الاصطناعي تعلم مراوغة حطام الفضاء بشكل أفضل من الطرق التقليدية القائمة على القواعد التي يستخدمها البشر حالياً.

ولفعل ذلك، لم يعتمدوا على التخمين فحسب؛ بل بنوا محاكي لعبة فيديو عالي الدقة. لم يكن هذا مجرد رسوم متحركة بسيطة؛ بل كان محرك فيزياء يحاكي الفضاء الحقيقي. تضمن جاذبية الأرض، والقمر، والشمس، وحاكى كيفية استهلاك القمر الصناعي للوقود للتحرك. لقد ملأوا هذا الكون الرقمي بآلاف القطع من "الحطام" (بعضها حقيقي وبعضها محاكى) وأطلقوا سراح وكيل الذكاء الاصطناعي الخاص بهم ليلعب لعبة "تجنب الخردة".

التدريب: من مبتدئ إلى محترف

لم يبدأ الذكاء الاصطناعي كخبير. استخدم الباحثون تقنية تسمى التعلم المنهجي (Curriculum Learning)، وهي تشبه لعبة الفيديو ذات المستويات.

• المستوى 1 (أساسي): واجه الذكاء الاصطناعي قطعاً قليلة من الحطام وتعلم الأساسيات لعدم الاصطدام.
• المستوى 2 (متوسط): زادت كثافة حركة المرور، مما أجبر الذكاء الاصطناعي على التخطيط المسبق وحرق الوقود بشكل استباقي.
• المستوى 3 (متقدم): واجه الذكاء الاصطناعي مجالاً فوضوياً ومزدحماً من الحطام، وهو ما يمثل سيناريو "الوضع الصعب".

لقد تم مكافأة الذكاء الاصطناعي للبقاء على قيد الحياة، والحفاظ على مسافة آمنة من الخردة، وتوفير الوقود. كما تم معاقبته بشدة عند الاصطدام أو إهدار الكثير من الطاقة. مع مرور الوقت، تعلم الذكاء الاصطناعي استراتيجية لا تقتصر فقط على رد الفعل تجاه الخطر، بل تتعلق بالتوجيه بسلاسة بعيداً عنه قبل وقت طويل من وقوع التصادم.

المواجهة: الذكاء الاصطناني ضد الحرس القديم

لمعرفة ما إذا كان سائق الذكاء الاصطناعي الجديد جيداً حقاً، وضع المؤلفون مواجهة بينه وبين ثلاثة "سائقين" آخرين في 1,000 سيناريو اصطدام محاكى:

1. سائق "عدم اتخاذ إجراء": قمر صناعي يجلس مكانه ويتمنى الأفضل. (تنبيه: لقد اصطدم في كل مرة).
2. السائق "القائم على القواعد": نظام تقليدي يتبع قواعد صارمة مكتوبة مسبقاً (مثلاً: "إذا كانت المسافة < س، أشعل المحرك").
3. السائق "الاندفاعي": نظام يحسب دفعة واحدة وسريعة من السرعة للابتعاد.
4. الذكاء الاصطناعي "الشبكة العميقة كيو" (DQN): نوع آخر من الذكاء الاصطناعي، ولكنه يتخذ القرارات بطريقة أكثر جموداً وخطوة بخطوة.

النتائج: الذكاء الاصطناعي يفوز، ولكن بتكلفة

كانت النتائج دراماتيكية. في الـ 1,000 حلقة محاكاة:

• نجح ذكاء PPO الاصطناعي في تجنب الاصطدامات بنسبة 97.5%. لقد كان بارعاً في المراوغة.
• نجح السائق القائم على القواعد بنسبة 20.7% فقط.
• تمكن السائق الاندفاعي من النجاح بنسبة 27.5%.
• عانى ذكاء DQN الاصطناعي، حيث نجح بنسبة 38.0% فقط، وغالباً ما قام بتحركات غير منتظمة أدت به إلى الانجراف في مدارات جامحة.

تعلم وكيل PPO أن يكون استباقياً. فبدلاً من الانتظار حتى اللحظة الأخيرة للقيام بحرق وقود ذعري، كان يقوم بدفع القمر الصناعي بلطف في وقت مبكر، مما يخلق منطقة عازلة واسعة وآمنة. كان الأمر يشبه سائقاً ماهراً يرى سيارة تنحرف في الأفق فيوجه نفسه بعيداً بهدوء، بدلاً من الضغط على المكابح في اللحظة الأخيرة.

ومع ذلك، كان هناك شرط. تشير الورقة إلى أنه بينما كان الذكاء الاصطناعي رائعاً في "عدم الاصطدام"، إلا أنه كان "مستهلكاً للوقود". استهلك وكيل PPO في المتوسط 254.492 كجم من الوقود، مقارنة بـ 4.125 كجم فقط للسائق الاندفاعي و 137.666 كجم للسائق القائم على القواعد. كان الذكاء الاصطناعي مركزاً جداً على مكافأة "عدم الاصطدام" لدرجة أنه لم يمانع حرق وقود إضافي لضمان السلامة المطلقة. يعترف المؤلفون بأن هذا مقايضة: الذكاء الاصطناعي آمن للغاية، لكنه يحرق وقوداً أكثر من الطرق الأقدم والأبسط.

ماذا يعني هذا (وماذا لا يعني)

تخلص الورقة إلى أن نهج الذكاء الاصطناعي هذا يمثل خطوة هائلة للأمام للتعامل مع السماوات المزدحمة في المستقبل. فهو يثبت أن الذكاء الاصطناعي يمكنه تعلم مناورات معقدة وسلسة تتفوق على القواعد التي صممها البشر في البيئات الفوضوية.

ومع ذلك، فإن المؤلفين حذرون من القول بأن هذا المنتج جاهز للطيران غداً. فقد أشاروا إلى أن المحاكاة أعطت الذكاء الاصطناعي "رؤية مثالية" — فقد كان يعرف بالضبط مكان كل قطعة من الخردة دون أي أخطاء. في العالم الحقيقي، تكون المستشعرات مليئة بالضجيج، ويمكن أن تتأخر البيانات. كما ذكروا أيضاً أن استهلاك الذكاء الاصطناعي العالي للوقود قد يمثل مشكلة للأقمار الصناعية التي تحتاج للاستمرار لسنوات.

لذا، ورغم أن هذه ليست مشكلة محلولة تماماً للعالم الحقيقي بعد، إلا أنها إثبات مفهوم قوي. فهي تظهر أنه إذا تمكنا من تعليم الأقمار الصناعية التفكير بأنفسهم باستخدام الذكاء الاصطناعي، فقد نتمكن من منع الطرق السريعة المدارية من التحول إلى موقف سيارات ضخم وغير قابل للإدارة من الخردة الفضائية. لقد جعل المؤلفون أيضاً كود المحاكاة الخاص بهم متاحاً للعامة، داعين الآخرين لمحاولة كسر رقمهم القياسي وتحسين الاستراتيجية.