Computationally efficient Gauss-Newton reinforcement learning for model predictive control

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تعلم رينفورسمنت (التعلم التعزيزي) لأسلوب غاوس-نيوتن كفء حاسوبياً للتحكم التنبئي بالنماذج (MPC)."

1. بيان المشكلة

تتناول الورقة البحثية تحدي تطبيق التعلم التعزيزي (Reinforcement Learning - RL) على سياسات التحكم التنبئي بالنماذج (Model Predictive Control - MPC). وبينما يوفر الـ MPC قابلية التفسير، والتعامل مع القيود، والأداء الأولي القوي مقارنة بسياسات الشبكات العصبية (NN) "الصندوق الأسود"، فإن تحسين معاملات الـ MPC عبر التعلم التعزيزي يعد أمراً مستهلكاً للموارد الحاسوبية.

• عنق الزجاجة: تعتمد معظم طرق التعلم التعزيزي على التحسين من الدرجة الأولى (مثل Gradient Descent/Adam)، والتي تتقارب خطياً. وهذا غير فعال عندما تتطلب كل عملية تحديث للسياسة حل مسألة تحكم أمثل (OCP).
• معضلة الدرجة الثانية: توفر طرق الدرجة الثانية (مثل Newton، أو Quasi-Newton) تقارباً فائق الخطية (Superlinear convergence)، وهو أمر مرغوب بشدة في الـ MPC. ومع ذلك، تتطلب طرق الدرجة الثانية الدقيقة حساب هيسيان (Hessian) السياسة. بالنسبة للـ MPC، يتضمن هذا حساب حساسيات البرمجة غير الخطية (NLP) من الدرجة الثانية، والتي تعتمد على مشتقات الدرجة الثالثة لـ "لاغرانج" النظام. وهذا الأمر غير قابل للتطبيق حاسوبياً ومستهلك للذاكرة، خاصة في الأنظمة عالية الأبعاد أو شديدة اللاخطية.
• مشكلات الاستقرار: تعاني التقريبات الحالية من الدرجة الثانية غالباً من عدم الاستقرار بسبب تقديرات التدرج/الهيسيان المشوبة بالضجيج وسوء قياس المعاملات (Parameter scaling)، مما يؤدي إلى تدريب مضطرب.

2. المنهجية

يقترح المؤلفون إطار عمل يجمع بين تقريب غاوس-نيوتن (Gauss-Newton approximation) للهيسيان مع المتوسط المعتمد على الزخم (Momentum-based averaging) واستراتيجية منطقة الثقة التكيفية (Adaptive trust-region).

أ. تقريب هيسيان غاوس-نيوتن

المساهمة النظرية الجوهرية هي تقريب مبتكر لهيسيان السياسة الحتمية الذي يلغي الحاجة إلى حساسيات الـ NLP من الدرجة الثانية.

• التقريب القياسي: العمل السابق (Kordabad et al., 2022) قرب الهيسيان كـ $M = M_1 + M_2$. المصطلح $M_1$ يتطلب مشتقات السياسة من الدرجة الثانية (وهي مكلفة حاسوبياً).
• الابتكار: يثبت المؤلفون أنه مع اقتراب معاملات السياسة $\theta$ من $\theta^*$ المثلى، يتلاشى المصطلح $M_1$ لأن تدرج دالة قيمة الفعل (Action-value function) بالنسبة للأفعال يصبح صفراً عند النقطة المثلى (Lemma 1).
• النتيجة: يقترحون استخدام المصطلح $M_2$ فقط (تقريب غاوس-نيوتن):
  $$M_2(\theta) = \mathbb{E}_s \left[ \nabla_\theta \pi_\theta(s)^\top \nabla_a^2 Q_{\pi_\theta}(s, a)|_{a=\pi_\theta(s)} \nabla_\theta \pi_\theta(s) \right]$$
  يعتمد هذا المصطلح فقط على حساسيات الـ NLP من الدرجة الأولى (Jacobian الخاص بالسياسة)، وهي قابلة للتطبيق حاسوبياً، ومع ذلك يثبت المؤلفون بصرامة أن هذا التقريب لا يزال يضمن تقارباً فائق الخطية.

ب. متوسط الهيسيان المعتمد على الزخم

للتعامل مع الضجيج المتأصل في تقديرات التعلم التعزيزي العشوائية (الناتجة عن أخذ عينات محدودة من الحالات والأفعال)، قدم المؤلفون مخطط زخم لتقدير الهيسيان.

• قاموا بتعريف متوسط متحرك أسي منحاز لتقديرات الهيسيان المحلية.
• والأهم من ذلك، اقترحوا استراتيجية تهيئة محددة (باستخدام الجذر التربيعي لتقدير زخم Adam الأول) لمنع الهيسيان من الهيمنة بواسطة التقديرات غير الدقيقة في المراحل المبكرة.
• يتم تطبيق عامل تصحيح الانحياز لضمان أن يكون التقدير غير منحاز.

ج. تحسين منطقة الثقة التكيفية

لضمان الاستقرار أثناء التدريب، يتم تقييد تحديث المعامل داخل منطقة ثقة تكيفية.

• بدلاً من مقارنة المكافأة المتوقعة مقابل الفعل (والتي تكون مشوبة بالضجيج في التعلم التعزيزي)، يتم تغيير نصف قطر منطقة الثقة $\delta_k$ ديناميكياً بناءً على معيار (2-norm) لخطوة تحديث Adam.
• يسمح هذا بخطوات كبيرة عندما تكون التدرجات كبيرة (بعيداً عن النقطة المثلى) وخطوات تحفظية بالقرب من النقطة المثلى، دون الحاجة إلى مقارنات مكلفة لدالة الهدف.

3. المساهمات الرئيسية

1. هيسيان كفء حاسوبياً: تقريب غاوس-نيوتن الذي يلغي الحاجة إلى مشتقات الدرجة الثالثة وحساسيات الـ NLP من الدرجة الثانية، مما يقلل التعقيد الحسابي مع الحفاظ على ضمانات التقارب فائق الخطية.
2. مخطط تدريب قوي: تقنية متوسط الهيسيان المعتمدة على الزخم مقترنة بقيد منطقة الثقة التكيفية، مما يضمن تدريباً مستقراً حتى مع التقديرات المشوبة بالضمس والقياسات المتغيرة للمعاملات.
3. إثبات نظري: إثبات رياضي صارم بأن التقريب المقترح يتقارب فائق الخطية نحو السياسة المثلى.
4. التحقق التجريبي: تجربة على نموذج مفاعل خزان ذو تقليب مستمر (CSTR) غير خطي، أظهرت كفاءة بيانات وسرعة تقارب متفوقة مقارنة بطرق الدرجة الأولى (Adam) والتعلم العميق (TD3).

4. النتائج

تم تقييم الطريقة المقترحة على نموذج CSTR غير خطي مع مستويات متفاوتة من البارامترية (2، 13، و33 معاملاً قابلاً للتدريب).

• سرعة التقارب: تقارب نهج غاوس-نيوتن بشكل أسرع بكثير من محسن Adam (الدرجة الأولى) وتطلب حلقات (Episodes) أقل للوصول إلى الأداء الأمثل. كما تفوق على طريقة "Approximate Newton" (التي تستخدم كامل الهيسيان $M_1+M_2$) من حيث وقت التنفيذ الفعلي (Wall-clock time) للسياسات ذات البارامترات العالية.
• الكفاءة الحسابية:
  • Adam: الأسرع في كل دورة (Iteration) ولكن الأبطأ في التقارب.
  • Approximate Newton: بطيء للغاية في كل دورة بسبب التوسع التربيعي لحسابات الحساسية من الدرجة الثانية؛ وأصبح غير قابل للتطبيق مع زيادة عدد المعاملات.
  • الـ Gauss-Newton المقترح: كان وقت الدورة ضعف وقت Adam تقريباً، ولكنه أقل بكثير من Approximate Newton الكامل. أدى تقليل عدد الدورات إلى تحقيق مكسب صافٍ في إجمالي وقت التدريب للسياسات المعقدة.
• القوة تجاه القياس (Robustness to Scaling): أظهرت الطريقة مرونة عالية تجاه سوء قياس المعاملات (تفاوت حساسية دالة الهدف). بينما فشل Adam في التقارب أو علق في نقاط مثلى محلية مع المعاملات سيئة القياس، تقارب منهج Gauss-Newton بمتانة.
• المقارنة مع التعلم العميق (Deep RL): بالمقارنة مع سياسة الشبكة العصبية المدربة باستخدام TD3:
  • التهيئة: بدأ الـ MPC-based RL بسياسة أولية أفضل بكثير (عبر حل OCP قائم على النموذج) مقارنة بالتهيئة العشوائية للشبكات العصبية.
  • الأداء: حققت سياسة الـ MPC المدربة مكافأة تراكمية نهائية أعلى وتتبعاً أفضل لنقطة الضبط (Setpoint tracking) مع انتهاكات أقل للقيود مقارنة بسياسة الشبكة العصبية.
  • كفاءة البيانات: تطلب نهج الـ MPC عدداً أقل بكثير من التفاعلات مع البيئة للوصول إلى أداء عالٍ.

5. الأهمية

يجسر هذا العمل الفجوة بين قابلية التفسير والسلامة في التحكم التنبئي بالنماذج (MPC) وبين القدرة على التكيف في التعلم التعزيزي (RL). ومن خلال جعل تحسين الدرجة الثانية متاحاً حاسوبياً لسياسات الـ MPC، تمكنت الورقة من:

• كفاءة العينات: تقليل هائل في عدد التفاعلات بين الوكيل والبيئة المطلوبة للتدريب، وهو أمر بالغ الأهمية في العمليات الصناعية حيث يكون جمع البيانات مكلفاً أو محفوفاً بالمخاطر.
• القابلية للتوسع: القدرة على ضبط سياسات MPC المعقدة ذات البارامترات العالية دون الانفجار الحسابي المرتبط بمشتقات الدرجة الثانية الكاملة.
• الاستقرار: توفير إطار عمل قوي يتعامل مع مشكلات الضجيج والقياس الشائعة في أنظمة التحكم الصناعية، مما يجعل التعلم التعزيزي خياراً أكثر جدوى لتطبيقات التحكم في العمليات الواقعية.

باختصار، توفر الورقة مساراً سليماً رياضياً وفعالاً عملياً لتحسين سياسات الـ MPC باستخدام تقنيات تعلم تعزيزي متقدمة من الدرجة الثانية، متجاوزة بذلك العوائق الحسابية الرئيسية التي حدت سابقاً من اعتمادها.