Curriculum-based Sample Efficient Reinforcement Learning for Robust Stabilization of a Quadrotor

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "التعلم بالمنهج الدراسي لتعزيز كفاءة العينات في التعلم المعزز من أجل الاستقرار المتين لطائرة كوادروتور (Quadrotor)."

1. بيان المشكلة

تتناول الورقة البحثية تحدي تدريب وكلاء التعلم المعزز (RL) لتحقيق استقرار متين لطائرة كوادروتور (تحديداً Crazyflie 2.1) تحت ظروف معقدة.

• الهدف: يجب على الوكيل تحقيق استقرار في موقع الطائرة ($x, y, z$) واتجاه الانحراف ($\psi$) انطلاقاً من ظروف ابتدائية عشوائية، بما في ذلك سرعات خطية وزاوية غير صفرية، وذلك عبر التحكم المباشر في عدد دورات المحرك في الدقيقة (RPM) (تحكم من الطرف إلى الطرف - end-to-end control).
• قيود الأداء: يجب أن يستوفي الحل مقاييس نظرية التحكم الصارمة ذات الصلة بعمليات الفحص الجوي:
  • زمن الاستقرار (Settling time): أقل من 5 ثوانٍ.
  • خطأ الحالة المستقرة للموضع (Positional steady-state error): أقل من 2.5 سم.
  • خطأ تتبع الانحراف (Yaw-tracking error): أقل من درجتين.
• التحدي: عملية تدريب التعلم المعزز من مرحلة واحدة (one-stage end-to-end RL) التقليدية مكلفة حاسوبياً وغير فعالة من حيث كفاءة العينات؛ فهي غالباً ما تتطلب مئات الملايين من الخطوات الزمنية وأشهر من الضبط، وتفشل في كثير من الأحيان في تلبية متطلبات العبور (transient) والحالة المستقرة المحددة حتى مع التدريب المكثف.

2. المنهجية

يقترح المؤلفون إطار عمل التعلم بالمنهج الدراسي (Curriculum Learning - CL) المكون من ثلاث مراحل لتفكيك مهمة الاستقرار المعقدة إلى مهام فرعية يمكن إدارتها، مع نقل المعرفة تدريجياً لتحسين كفاءة العينات.

أ. هيكل المنهج الدراسي

تنقسم عملية التعلم إلى ثلاث مراحل متتالية، حيث يتم توسيع نطاق التهيئة (initialization domain) مع الحفاظ على هيكل مكافأة ثابت:

1. المرحلة الأولى ($\Omega_1$ - التحليق المستقر/Hovering):
   • المهمة: تعلم الإقلاع والتحليق عند نقطة ثابتة $(0,0,1)$ من نقطة بداية ثابتة $(0,0,0)$.
   • الهدف: تأسيس التحكم الأساسي في المحركات (دوران متماثل RPM) والاستقرار.
2. المرحلة الثانية ($\Omega_2$ - الاقتران والتوجه/Coupling & Orientation):
   • المهمة: الوصول إلى الهدف $(0,0,1)$ مع $\psi=0$ من مواضع ابتدائية عشوائية (ضمن أسطوانة نصف قطرها 2 متر) ووضعيات عشوائية (الدوران حول محور Roll/Pitch $\in [-15^\circ, 15^\circ]$، والانحراف Yaw $\in [-180^\circ, 180^\circ]$).
   • الهدف: تعلم الاقتران بين درجات الحرية الانتقالية ($x, y$) ودرجات الحرية الدورانية (Roll $\phi$, Pitch $\theta$).
3. المرحلة الثالثة ($\Omega_3$ - الاستقرار المتين/Robust Stabilization):
   • المهمة: نفس المرحلة الثانية ولكن مع سرعات خطية وزاوية ابتدائية عشوائية ($\in [-1, 1]$ م/ث و راد/ث).
   • الهدف: تعلم تصحيح الزخم والاضطرابات، وتحقيق هدف الاستقرار المتين النهائي.

ب. تصميم دالة المكافأة

تم تصميم دالة مكافأة تراكمية مخصصة $R(t)$ لفرض الاستقرار والدقة:
$$R(t) = 25 - 20T_e - 100E + 20S - 18w_e$$

• مكافأة الهدف ($T_e$): تعاقب المسافة عن الهدف وخطأ الانحراف (Yaw error).
• مكافأة الاستكشاف ($E$): تعاقب الوكيل إذا خرج عن حدود أسطوانة محددة (لمنع الاستكشاف غير المنضبط).
• مكافأة الاستقرار ($S$): توفر مكافأة إيجابية عندما تكون الطائرة ضمن كرة سماحية من الهدف وتكون زوايا الـ Roll/Pitch قريبة من الصفر.
• مكافأة الملاحة ($w_e$): تعاقب التغيرات السريعة في السرعات الزاوية لضمان انتقالات سلسة.
• القطع (Truncation): يتم قطع الحلقات (Episodes) إذا تجاوزت زوايا الـ Roll/Pitch مقدار $\pm 15^\circ$ أو إذا خرجت الطائرة من أسطوانة الأمان، مما يفرض قيود السلامة أثناء التدريب.

ج. إعداد التعلم المعزز (RL Setup)

• الخوارزمية: تحسين السياسة القريبة (Proximal Policy Optimization - PPO).
• البيئة: Gym-PyBullet-Drones (محاكاة قائمة على الفيزياء).
• فضاء الملاحظة (Observation Space): 12 بُعداً (الموضع، زوايا أويلر، السرعات الخطية، السرعات الزاوية).
• فضاء العمل (Action Space): 4 أبعاد (عدد دورات المحرك لكل محرك من المحركات الأربعة).
• بنية الشبكة: شبكة عصبية متعددة الطبقات (MLP) مكونة من 4 طبقات (12 مدخلاً $\to$ 6 64 مخفية $\to$ 64 مخفية $\to$ 4 مخرجات).

3. المساهمات الرئيسية

1. منهج دراسي مبتكر ثلاثي المراحل: على عكس الأعمال السابقة التي تعدل أوزان المكافأة، يقوم هذا النهج بتوسيع نطاق التهيئة (الموضع، التوجه، السرعة) بشكل تدريجي. وهذا يحترم الطبيعة "ناقصة الفعل" (underactuated) لطائرات الكوادروتور والاقتران بين الديناميكا الانتقالية والدورانية.
2. كفاءة العينات: يقلل هذا الأسلوب بشكل كبير من الموارد الحسابية المطلوبة. فبينما فشل التدريب أحادي المرحلة في التقارب حتى بعد 100 مليون خطوة، حقق نهج التعلم بالمنهج الدراسي الهدف في حوالي 41.5 مليون خطوة.
3. ضمانات الأداء: تم تصميم دالة المكافأة وشروط القطع صراحةً لتلبية مقاييس زمن الاستقرار ودقة الحالة المستقرة المحددة مسبقاً والمطلوبة لمهام الفحص الجوي.
4. التحقق المتين: تم التحقق من السياسة مقابل 30 حالة ابتدائية عشوائية متنوعة وفي سيناريو تتبع وضعيات الفحص المعقد.

4. النتائج

• مقارنة كفاءة العينات:
  • التدريب أحادي المرحلة: فشل في تحقيق المهمة المستهدفة بعد 100 مليون خطوة زمنية (23.4 ساعة من وقت التشغيل الفعلي). ظلت قيمة المكافأة التراكمية للحلقة (ECR) منخفضة.
  • التعلم بالمنهج الدراسي: نجح في تحقيق المهمة المستهدفة في حوالي 41.5 مليون خطوة زمنية (11 ساعة إجمالية).
    • المرحلة 1: 11.5 مليون خطوة (3 ساعات).
    • المرحلة 2: 15 مليون خطوة (4 ساعات).
    • المرحلة 3: 15 مليون خطوة (4 ساعات).
• اختبار المتانة:
  • نجحت السياسة المدربة بالمنهج الدراسي في تثبيت الطائرة من 30 حالة ابتدائية عشوائية (بما في ذلك سرعات عالية وتوجهات قصوى) في أقل من 5 ثوانٍ في معظم الحالات.
  • في الحالات القصوى (السرعة الابتدائية العالية)، أظهرت الطائرة عمليات انتقال كبيرة (الهبوط قريباً من الأرض) لكنها نجحت في التعافي والاستقرار.
• سيناريو الفحص: نجحت السياسة في تتبع تسلسل وضعيات الفحص (مواضع مع زوايا انحراف محددة) مع أخطاء ضمن الحدود المحددة ($<2.5$ سم للموضع، $<2^\circ$ للانحراف).

5. الأهمية والخاتمة

يُظهر هذا العمل أن التعلم بالمنهج الدراسي (Curriculum Learning) هو مُمكّن حاسم لتطبيق التعلم المعزز على مهام التحكم الجوي المعقدة والحساسة للسلامة. من خلال محاكاة التعلم البشري (التدرج في الصعوبة)، حقق المؤلفون:

• تقليص جذري في وقت التدريب: خفض وقت التدريب بأكثر من النصف مقارنة بالنموذج المرجعي الفاشل.
• الجدوى: جعل تدريب التعلم المعزز عالي كفاءة العينات أمراً ممكناً دون الحاجة إلى مجموعات حوسبة فائقة ضخمة لعدة أشهر.
• الموثوقية: إنتاج سياسة تلبي المواصفات الهندسية الصارمة (زمن الاستقرار، حدود الخطأ) والتي غالباً ما يفشل التعلم المعزز القياسي في ضمانها.

العمل المستقبلي: يخطط المؤلفون لأتمتة إعداد المنهج الدراسي وسد فجوة المحاكاة إلى الواقع (Sim2Real gap) عبر نشر السياسة المدربة على طائرات Crazyflie حقيقية.