On Building Myopic MPC Policies using Supervised Learning

إليك ملخص تقني مفصل للورقة البحثية بعنوان "حول بناء سياسات التحكم التنبئي بالنماذج (MPC) قصيرة المدى باستخدام التعلم الخاضع للإشراف" من تأليف كريستوفر أ. أوريكو، وبوكان يانغ، ودينيش كريشنامورتي.

1. بيان المشكلة

يُعد التحكم التنبئي بالنماذج (MPC) استراتيجية تحكم قوية تقوم بحل مسألة الأمثلة عبر الإنترنت (online) عند كل لحظة أخذ عينات. ومع ذلك، يفرض هذا عبئاً حوسبياً ثقيلاً، مما يجعل من الصعب تنفيذه على الأنظمة المدمجة ذات الموارد المحدودة أو التي تتطلب أوقات أخذ عينات سريعة.

للتخفيف من حدة ذلك، يستخدم التحكم التنبئي بالنماذج الصريح التقريبي (Approximate Explicit MPC) التعلم الخاضع للإشراف لتدريب شبكة عصبية لمحاكاة سياسة الـ MPC المثلى (رسم الخرائط من الحالة إلى الإجراء) خارج الخط (offline). وبينما يقلل هذا من الحوسبة عبر الإنترنت، فإنه يعاني من عيبين رئيسيين:

1. فقدان الأداء: السياسة المتعلمة هي تقريب؛ لذا فإن التغييرات في معلمات المتحكم (مثل القيود، أو زمن أخذ العينات) أثناء التشغيل عبر الإنترنت يمكن أن تؤدي إلى تدهور الأداء أو انتهاكات السلامة.
2. الافتقار إلى الضمانات: مجرد تقليل الخطأ بين السياسة المتعلمة والسياسة المثلى لا يضمن بقاء النظام مغلق الحلقة مستقراً أو يعمل بشكل جيد.

تعتمد الأساليب الحالية لتعلم دالة التكلفة المستقبلية (value function) عادةً على التعلم التعزيزي (RL) أو البرمجة الديناميكية التقريبية (ADP) باستخدام بيانات المسارات مغلقة الحلقة. تعالج هذه الورقة الفجوة في استخدام التعلم الخاضع للإشراف خارج الخط لتعلم دالة القيمة مباشرة من أزواج (الحالة-الإجراء-القيمة) المثلى، بهدف إنشاء MPC "قصير المدى" (myopic) يحتفظ بضمانات الأداء الخاصة بالـ MPC طويل المدى.

2. المنهجية

ينقل الأسلوب المقترح التركيز من تعلم السياسة ($\pi(x) \to u$) إلى تعلم دالة القيمة المثلى ($V^*(x)$)، والتي تمثل التكلفة المستقبلية من حالة معينة.

أ. صياغة الـ MPC قصير المدى (Myopic MPC)

بدلاً من حل مسألة أمثلة طويلة المدى عبر الإنترنت، يقوم المتحكم بحل مسألة أمثلة خطوة واحدة (قصيرة المدى):
$$\min_{u \in U} \ell(x(t), u) + V(x^+)$$
حيث $x^+ = f(x(t), u)$ هي الحالة اللاحقة، و $\ell$ هي تكلفة المرحلة، و $V(x^+)$ هو التقريب المتعلم للتكلفة المستقبلية. إذا كانت $V$ هي دالة القيمة المثلى الدقيقة، فإن مبدأ بيلمان للأمثلية (Bellman's Principle of Optimality) يضمن أن هذا النهج الجشع ذو الخطوة الواحدة يحقق نفس أداء الـ MPC كامل الأفق.

ب. التعلم الخاضع للإشراف مع قيد خاصية الهبوط (Descent Property)

يقترح المؤلفون تدريب مقرب دالة بارامتري $V(x; \theta)$ باستخدام مجموعة بيانات $D$ من الأزوات المثلى $\{(x_i, u^*_i, V^*(x_i))\}$ التي تم توليدها خارج الخط عن طريق حل مسائل MPC طويلة المدى.

الابتكار الجوهري يكمن في دالة الخسارة والقيود:

1. النهج القياسي (MSE): تقليل متوسط مربع الخطأ (MSE) بين القيمة المتوقعة والقيمة المثلى:
   $$\min_\theta \sum \|V(x_i; \theta) - V^*(x_i)\|^2$$
   يجادل المؤلفون بأن تحقيق MSE منخفض لا يضمن أداء تحكم جيد. فقد تناسب الدالة البيانات جيداً ولكن قد تكون تدرجاتها أو فروقها النسبية غير صحيحة، مما يؤدي إلى سلوك سيء في الحلقة المغلقة.

2. النهج المقترح (خاصية الهبوط): يقدم المؤلفون قيداً يضمن أن دالة القيمة المتعلمة تحقق خاصية الهبوط. وتحديداً، لأي نقطة تدريب $x_i$ والإجراء الأمثل $u^*_i$، يجب أن تكون التكلفة المستقبلية للحالة اللاحقة أقل من تكلفة الحالة الحالية، مضافاً إليها تكلفة المرحلة الفورية:
   $$V(f(x_i, u^*_i); \theta) - V(x_i; \theta) \leq \ell(x_i, u^*_i)$$
   تصبح مسألة التدريب مسألة أمثلة مقيدة:
   $$\min_\theta \text{MSE} \quad \text{s.t.} \quad V(f(x_i, u^*_i); \theta) - V(x_i; \theta) \leq \ell(x_i, u^*_i)$$
   هذا القيد يوجه عملية التعلم لضمان أن دالة القيمة تعمل كدالة ليابونوف للتحكم (CLF)، مما يضمن تحرك النظام نحو تكاليف أقل.

ج. توليد البيانات

يتم توليد بيانات التدريب عن طريق حل الـ MPC كامل الأفق خارج الخط لمختلف الحالات. وللتعامل مع التكلفة الحوسبية لتوليد مجموعات بيانات كبيرة، يستفيد المؤلفون من تحليل الحساسية البارامترية. بمجرد إيجاد الحل الأمثل لحالة معينة، تسمح الحساسيات باحتساب الحلول للحالات المجاورة بسرعة، مما يعزز مجموعة البيانات فعلياً دون الحاجة لإعادة حل مسألة الأمثلة الكاملة لكل نقطة.

3. المساهمات الرئيسية

• دالة القيمة بدلاً من السياسة: اقتراح تعلم دالة التكلفة المستقبلية عبر التعلم الخاضع للإشراف بدلاً من السياسة نفسها، مما يسمح بالتكيف عبر الإنترنت.
• قيد خاصية الهبوط: تقديم قيد مبتكر في هدف التعلم الخاضع للإشراف يفرض الواقع الفيزيائي لخفض التكلفة، وهو أمر أكثر أهمية للاستقرار من مجرد تقليل الـ MSE الخام.
• التعلم خارج الخط مع القدرة على التكيف عبر الإنترنت: يوضح البحث أنه بينما يتم تعلم دالة القيمة خارج الخط، فإن الـ MPC قصير المدى الناتج يمكنه التكيف عبر الإنترنت مع التغييرات في القيود، وأوقات أخذ العينات، ومعلمات النموذج، لأنه يحل مسألة أمثلة (المعادلة 2) بدلاً من تنفيذ سياسة شبكة عصبية ثابتة.
• تعزيز البيانات القائم على الحساسية: استخدام الحساسيات البارامترية لتوليد حجم كبير من أزواج (الحالة-الإجراء-القيمة) المطلوبة للتدريب بكفاءة.

4. النتائج (مثال اختبار المفاعل الكيميائي المستمر CSTR)

تم التحقق من المنهجية باستخدام مسألة تحكم لمفاعل كيميائي مستمر (CSTR) مع خبير MPC طويل المدى ($N=140$) كمرجع أساسي.

• التدريب باستخدام MSE فقط: حققت شبكة الدوال الأساسية الشعاعية (RBF) التي تدربت فقط على MSE خطأ تدريب منخفض جداً (MSE = 0.0515). ومع ذلك، عند استخدامها في الـ MPC قصير المدى، فشلت مسارات الحلقة المغلقة في الوصول إلى نقطة التوازن (setpoint)، حيث أظهرت سلوكاً دورياً وأداءً ضعيفاً.
• التدريب باستخدام قيد الهبوط: حققت شبكة RBF التي تدربت مع قيد خاصية الهبوط خطأ تدريب أعلى بكثير (MSE = 0.8199). وبالرغم من أن "دقة" الملاءمة للبيانات كانت أسوأ، إلا أن الـ MPC قصير المدى الناتج نجح في تتبع نقطة التوازن، محققاً أداءً يطابق أداء الـ MPC الخبير طويل المدى.
• المتانة تجاه تغير المعلمات: اختبر المؤلفون الـ MPC قصير المدى مع دالة القيمة المقيدة بالهبوط تحت ظروف متغيرة:
  • تقليل زمن أخذ العينات من 3 ثوانٍ إلى 0.1 ثانية.
  • تشديد قيود الحالة (رفع الحد الأدنى لدرجة الحرارة).
  • النتيجة: تكيف الـ MPC قصير المدى بنجاح مع هذه التغييرات، بينما فشلت تقريبات السياسة المباشرة لأنها كانت ثابتة على توزيع التدريب.

5. الأهمية

تتحدى هذه الورقة بشكل جوهري النموذج القياسي لـ "التحكم التنبئي بالنماذج الصريح التقريبي" حيث يكون الهدف هو تقليل الخطأ بين السياسة المتعلمة والسياسة المثلى. وهي تثبت أن تقليل خطأ التنبؤ (MSE) ليس كافياً لاستقرار التحكم.

من خلال فرض خاصية الهبوط، يضمن المؤلفون أن دالة القيمة المتعلمة تحافظ على الخصائص الهيكلية المطلوبة للاستقرار، حتى لو كانت القيم المطلقة أقل دقة. يقدم هذا النهج حلاً وسطاً:

1. حوسبة منخفضة عبر الإنترنت: حل مسألة أمثلة بسيطة بخطوة واحدة بدلاً من مسألة طويلة المدى.
2. أداء عالٍ: الحفاظ على ضمانات الاستقرار والأمثلية الخاصة بالـ MPC القياسي.
3. المرونة: على عكس شبكات السياسة الثابتة، يمكن للـ MPC قصير المدى التعامل مع التغييرات في الوقت الفعلي لقيود النظام ومعلماته، مما يجعله مناسباً جداً لتطبيقات التحكم المدمجة العملية.