⚡ electrical engineering

Policy Optimization for Unknown Systems using Differentiable Model Predictive Control

تقدم هذه الورقة إطار عمل جديد لتحسين السياسات للتحكم التنبئي بالنماذج يجمع بين التقدير التفاضلي وتقدير التدرج من الدرجة صفر لتحقيق أداء عابر أسرع وتقارب قوي في ظل عدم اليقين في النموذج، كما هو موضح في مهمة طائرة كوادكوبتر ذات 12 بُعداً.

المؤلفون الأصليون: Riccardo Zuliani, Efe C. Balta, John Lygeros

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Riccardo Zuliani, Efe C. Balta, John Lygeros

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طائرة بدون طيار (درون) كيف تطير بدقة إلى نقطة محددة في الغرفة. تريدها أن تصل إلى هناك بسرعة، وسلاسة، ودون الاصطدام بالجدران.

المشكلة هي أنك لا تعرف الفيزياء الدقيقة للطائرة. ربما تكون الرياح غريبة، أو البطارية قديمة، أو المحركات تختلف قليلاً عما كنت تعتقده. لديك تخمين أفضل (نموذج) لكيفية طيرانها، لكنك تعلم أن تخمينك هذا ليس مثاليًا بنسبة 100%.

تقدم هذه الورقة البحثية طريقة ذكية لتعليم الطائرة كيفية الطيران، حتى عندما يكون "تخمينك الأفضل" معيبًا. يطلقون عليها اسم تحسين السياسة للأنظمة غير المعروفة باستخدام التحكم التنبئي بالنماذج القابل للتفاضل (Policy Optimization for Unknown Systems using Differentiable Model Predictive Control). هذا الاسم طويل ومعقد، فلنقم بتبسيطه باستخدام تشبيهات من الحياة اليومية.

المعلمان: المنظر والمستكشف

لحل هذه المشكلة، يجمع المؤلفون بين اثنين من "المعلمين" (أو الاستراتيجيات) في معلم خارق واحد.

1. المنظر (نهج قائم على النموذج - Model-Based Approach)

من هو: هذا المعلم لديه كتاب مدرسي. هو يعرف قواعد الفيزياء وكيف يجب أن تطير الطائرة بناءً على خريطة رسمها.
كيف يعلم: يقول: "إذا دفعت عصا التحكم بهذا الاتجاه، فستذهب الطائرة إلى هناك".
المشكلة: إذا كانت الخريطة خاطئة (على سبيل المثال، وجود تيار هوائي خفي)، فإن "المنظر" سيعطيك نصيحة سيئة بكل ثقة. إذا استمعت إليه فقط، فقد تصطدم.
الميزة: هو سريع جدًا. يمكنه حساب الخطوة التالية فورًا دون الحاجة لتجربتها أولاً.

2. المستكشف (نهج من الدرجة الصفرية / غير قائم على النموذج - Zeroth-Order / Model-Free Approach)

من هو: هذا المعلم ليس لديه خريطة. هو يعرف فقط كيف يطير عن طريق التجربة والخطأ.
كيف يعلم: يقول: "لنحاول دفع عصا التحكم قليلًا جهة اليسار. هل اقتربنا؟ حسنًا، لنحاول قليلًا جه اليمين. أيهما كان أفضل؟"
المشكلة: هو بطيء. عليك أن تطير بالطائرة فعليًا، وتصطدم قليلاً، ثم تتعافى، وتحاول مرة أخرى لتتعلم. يستغرق الأمر وقتًا طويلاً لتصبح جيدًا.
الميزة: هو دائمًا على حق بشأن واقع الموقف لأنه يقيس الواقع فعليًا. لا يمكن خداعه بخريطة سيئة.

الحل: "المدرب الهجين"

ابتكر المؤلفون نظامًا يعمل مثل مدرب هجين. هذا المدرب يستمع إلى كل من "المنظر" و"المستكشف"، لكنه يغير مقدار استماعه لكل منهما بمرور الوقت.

في البداية: يثق المدرب في المنظر (النموذج) أكثر. لماذا؟ لأن المنظر سريع. تتعلم الطائرة بسرعة، وتقوم بقفزات كبيرة نحو الهدف. الأمر يشبه استخدام نظام تحديد المواقع (GPS) للقيادة إلى مدينة جديدة؛ فهو يوصلك إلى 90% من الطريق بسرعة كبيرة.
مع مرور الوقت: يبدأ المدرب في الاستماع أكثر إلى المستكشف (البيانات). لماذا؟ لأن نظام الـ GPS قد يكون غير دقيق تمامًا، ولا تريد الاصطدام بحفرة أخيرة. يقوم المستكشف بإجراء تعديلات صغيرة ودقيقة بناءً على ما يحدث فعليًا على الطريق.

يتم التحكم في هذا "الخلط" بواسطة قرص (يسمى $\eta$ في الورقة البحثية).

إذا كان النموذج جيدًا، يظل القرص مرتفعًا (يعتمد غالبًا على المنظر).
إذا كان النموذج سيئًا، ينخفض القرص (يعتمد غالبًا على المستكشف).
والأهم من ذلك، أن القرص يخفض مستوى "المنظر" تدريجيًا بمرور الوقت، مما يضمن أن النظام سيعتمد في النهاية على بيانات العالم الحقيقي لضمان عدم وقوعه في "فخ محلي" (مكان يبدو جيدًا على الخريطة ولكنه في الواقع طريق مسدود).

سحر "القابلية للتفاضل" (Differentiable Magic)

قد تتساءل: "كيف يعرف المدرب كيفية خلط هذين الاثنين؟"

عادةً، عندما يكون لديك نظام معقد مثل طائرة بدون طيار، يكون الأمر أشبه بصندوق أسود. تضغط على زر، ويحدث شيء ما، لكن لا يمكنك بسهولة رؤية الرياضيات داخل الصندوق لتعرف لماذا حدث ذلك.

استخدم المؤلفون خدعة تسمى التحكم التنبئي بالنماذج القابل للتفاضل (Differentiable MPC). تخيل أن خطة طيران الطائرة ليست صندوقًا أسود، بل صندوق زجاجي شفاف. يمكنك رؤية كل ترس ورافعة بداخله. ولأنهم يستطيعون رؤية التروس، يمكنهم حسابيًا تحديد كيف سيغير تغيير طفيف في إعدادات الطائرة مسار الطيران بدقة. هذا يسمح لـ "المنظر" بتقديم نصيحة دقيقة للغاية، حتى لو كانت الخريطة غير دقيقة تمامًا.

النتيجة: أفضل ما في العالمين

اختبر المؤلفون هذه الطريقة على طائرة "كوادكوبتر" ذات 12 بُعدًا (طائرة لديها 12 شيئًا مختلفًا للتحكم فيها، مثل الموقع، والسرعة، والميلان).

فريق "المنظر فقط": وصلوا إلى الهدف بسرعة في البداية، لكنهم بدأوا في التذبذب ولم يتمكنوا من الاستقرار لأن خريطتهم كانت خاطئة نوعًا ما.
فريق "المستكشف فقط": كان آمنًا ومستقرًا جدًا، لكن استغرق الأمر وقتًا طويلاً جدًا للتعلم.
فريق "المدرب الهجين": وصلوا إلى الهدف بسرعة (بفضل المنظر) ثم استقروا بشكل مثالي (بفضل المستكشف).

الخلاصة:
تقدم هذه الورقة البحثية طريقة جديدة لتدريب الروبوتات. فهي تسمح لنا باستخدام أفضل تخميناتنا للتعلم بسرعة، ولكنها تستخدم تجارب العالم الحقيقي لإصلاح أخطائنا. الأمر يشبه امتلاك نظام GPS يعرف متى يثق في الخريطة ومتى يقول: "في الواقع، أرى ازدحامًا مروريًا، لنأخذ طريقًا آخر"، مما يضمن وصولك إلى وجهتك بأمان وكفاءة، حتى لو لم تكن تعرف المدينة تمامًا.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تحسين السياسة للأنظمة غير المعروفة باستخدام التحكم التنبئي بالنماذج القابل للتفاضل" (Policy Optimization for Unknown Systems using Differentiable Model Predictive Control) من تأليف زولياني، وبالتا، وليجيروس.

1. بيان المشكلة

تتناول الورقة البحثية تحدي تحسين السياسة (policy optimization) للتحكم التنبئي بالنماذج (MPC) عندما تكون ديناميكيات النظام غير معروفة أو تم نمذجتها بشكل غير دقيق.

السياق: تعتمد سياسات MPC على نموذج نظام للتنبؤ بالمسارات المستقبلية وتحسين مدخلات التحكم. غالبًا ما تفترض طرق تحسين السياسة القياسية أن نموذج الديناميكيات دقيق تمامًا.
الفجوة: عندما يكون النموذج غير دقيق (غير مطابق)، يمكن أن يؤدي الانحدار الاشتقاقي المعتمد على النموذج فقط إلى أداء دون المستوى الأمثل أو التباعد. وعلى العكس من ذلك، فإن الطرق المعتمدة على البيانات فقط (التي لا تعتمد على النموذج - model-free) والتي تستخدم الرتبة الصفرية تكون قوية ولكنها غالبًا ما تعاني من بطء التقارب وارتفاع تعقيد العينات.
الهدف: الهدف هو إيجاد معاملات MPC المثلى ( $\theta$ ) التي تقلل دالة التكلفة ذات الحلقة المغلقة $C(x, u)$ عبر أفق زمني محدود، على الرغم من أن الديناميكيات الحقيقية $f$ غير معروفة والنموذج المتاح $g$ هو نموذج تقريبي فقط. المشكلة بطبيعتها غير سلسة (non-smooth) بسبب طبقة تحسين MPC ووجود القيود.

2. المنهجية

يقترح المؤلفون إطار عمل هجين لتحسين السياسة يمزج بين تقدير التدرج المعتمد على النموذج والتحسين من الرتبة الصفرية (المعتمد على البيانات). هذا النهج مستوحى من تقنيات التحسين "الرمادي" (gray-box) ولكن تم تكييفه مع المشهد غير السلس لـ MPC.

أ. الأسس الرياضية

التحليل غير السلس: نظرًا لأن حلول MPC هي دوال غير سلسة من المعاملات، استخدم المؤلفون نظرية الدوال القابلة للتعريف (definable functions) والجاكوبيان المحافظ (conservative Jacobians) (بولتي وباويلز، 2021). يسمح هذا بتعريف مشتقات معممة تحقق قاعدة السلسلة، مما يتيح تحليل الحساسية لخريطة حل MPC.
الاستقرار (Stationarity): نظرًا لعدم توفر المعلومات الكاملة، يستهدف الخوارزمية نقاط Goldstein $\delta$ -critical بدلاً من نقاط Clarke الثابتة القياسية. هذا شرط أمثل أضعف يناسب المشكلات غير السلسة وغير المحدبة حيث لا تتوفر التدرجات الدقيقة.

ب. الخوارزمية الهجينة

قاعدة التحديث الأساسية عند التكرار $k$ تجمع بين تقديرين للتدرج:
$\theta_{k+1} = \Pi_\Theta [\theta_k - \alpha_k d_k]$
حيث أن اتجاه البحث $d_k$ هو مجموع موزون:
$d_k = \eta_k d_{k,1} + (1 - \eta_k) d_{k,2}$

الاتجاه المعتمد على النموذج ( $d_{k,1}$ ):
- يستخدم النموذج التقريبي $g$ لحساب جاكوبي محافظ لدالة التكلفة عبر قاعدة السلسلة.
- يحسب الجاكوبيان لمسارات الحالة والتحكم ( $J_x, J_u$ ) بشكل متكرر باستخدام جاكوبيان النموذج ( $J_g$ ) وجاكوبيان سياسة MPC.
- المزايا: تقارب سريع إذا كان النموذج دقيقًا. العيوب: لا توجد ضمانات للتقارب إذا كان النموذج منحازًا.
اتجاه الرتبة الصفرية ( $d_{k,2}$ ):
- يستخدم مقدر تدرج بنقطة واحدة يعتمد على التنعيم العشوائي (فلامان وآخرون، 2004؛ لين وآخرون، 2022).
- يقوم بتقييم دالة التكلفة عند معامل مضطرب $\theta_k + \delta v_k$ (حيث $v_k$ ضوضاء عشوائية) لتقدير تدرج نسخة منقحة من دالة التكلفة، $C_\delta$ .
- المزايا: ضمان التقارب تحت فرضيات بسيطة بغض النظر عن دقة النموذج. العيوب: معدل تقارب أبطأ.
التوزين التكيفي ( $\eta_k$ ):
- المقياس $\eta_k \in [0, 1]$ يوازن بين الاتجاهين.
- تقترح الورقة جدولاً حيث $\eta_k \to 0$ عندما $k \to \infty$ . هذا يسمح للخوارزمية بالاستفادة من النموذج لـ التحولات الأولية السريعة والاعتماد تدريجيًا على التصحيح المعتمد على البيانات لضمان التقارب التقاربي إلى نقطة حرجة.

ج. ضمانات التقارب

يثبت المؤلفون أنه بموجب افتراضات الاستمرارية المحلية (Lipschitz continuity) والقابلية للتعريف (الافتراضات 1 و2)، ومع جداول مناسبة لحجم الخطوة ( $\alpha_k$ ) والتوزين ( $\eta_k$ )، فإن المتتالية $\theta_k$ تتقارب إلى نقطة Goldstein Fritz-John $\delta$ -critical لمشكلة التحسين المقيدة.

3. المساهمات الرئيسية

إطار عمل هجين مبتكر: تقديم خوارزمية لتحسين السياسة تدمج بسلاسة بين MPC القابل للتفاضل (المعتمد على النموذج) والتحسين من الرتبة الصفرية (المعتمد على البيانات) للأنظمة غير المعروفة.
ضمانات نظرية في ظل عدم اليقين: إثبات التقارب إلى نقطة حرجة حتى عندما تكون ديناميكيات النموذج غير دقيقة، وهو تقدم كبير مقارنة بطرق ضبط MPC الحالية التي تتطلب نماذج دقيقة.
التعامل مع عدم السلاسة: تطبيق نظرية الجاكوبيان المحافظ على تحسين سياسة MPC، مما يسمح بتحليل حساسية صارم لخريطة حل MPC غير السلسة.
آلية الثقة التكيفية: مخطط توزين مرن يسمح للممارسين بالموازنة بين سرعة النموذج ومتانة البيانات ديناميكيًا.

4. نتائج المحاكاة

تم التحقق من صحة الطريقة باستخدام مهمة تحكم في طائرة بدون طيار (quadcopter) غير خطية مكونة من 12 بُعدًا (عبد الكريم وآخرون، 2022).

الإعداد: النظام الحقيقي هو طائرة بدون طيار غير خطية. يستخدم المتحكم نموذجًا خطيًا $g$ تم تحديده عبر طريقة المربعات الصغرى من 100 مسار. الهدف هو تتبع مسار مرجعي مع احترام قيود الحالة والمدخلات.
النماذج المرجعية (Baselines):
- المعتمد على النموذج فقط: تحسن أولي سريع ولكنه أصبح غير مستقر وفشل في التقارب بسبب عدم تطابق النموذج.
- الرتبة الصفرية فقط: مستقر ومتسق ولكنه تقارب ببطء شديد.
- الهجين المقترح: حقق أفضل ما في العالمين — تقارب أولي سريع (مدفوع بالنموذج) وتقارب طويل الأمد مستقر (مدفوع بتصحيح الرتبة الصفرية).
الأداء:
- حققت الطريقة الهجينة تكلفة نهائية قدرها 1084.91، مقارنة بـ 1081.3 للمتحكم الذي تم ضبطه باستخدام النموذج غير الخطي الدقيق (أقل من 1% من عدم المثالية).
- كانت مسارات المتحكم المتعلم متطابقة نوعيًا وكميًا تقريبًا مع النموذج المرجعي "المثالي".
- أظهر تغيير معدل اضمحلال $\eta_k$ أن الاعتماد الأعلى على النموذج ( $\gamma=0.25$ ) سرّع التعلم الأولي ولكنه زاد من عدم الاستقرار، بينما كان الاعتماد الأقل ( $\gamma=0.75$ ) أكثر متانة ولكنه أبطأ.

5. الأهمية

يجمع هذا العمل بين التحكم المعتمد على النموذج (الذي يوفر السلامة والقابلية للتفسير) والتعلم غير المعتمد على النموذج (الذي يوفر المتانة تجاه عدم اليقين).

الأثر العملي: يوفر مسارًا قابلًا للتطبيق لنشر MPC في الأنظمة الواقعية حيث يكون الحصول على نموذج فيزيائي مثالي أمرًا مستحيلاً، بينما يكون التعلم المعزز المعتمد على البيانات فقط غير فعال من حيث العينات أو غير آمن.
السلامة: من خلال الاحتفاظ بهيكل MPC، تحافظ الطريقة على ضمانات استيفاء القيود أثناء عملية التعلم، على عكس العديد من طرق تدرج السياسة "الصندوق الأسود".
الاتجاه المستقبلي: تقترح الورقة عملًا مستقبليًا لتعزيز ضمانات السلامة وتوسيع الإطار للتعامل مع قيود المستوى الأعلى غير المحدبة بشكل أوسع.

باختصار، تقدم هذه الورقة طريقة قوية، ذات أساس نظري، وفعالة تجريبيًا لضبط سياسات MPC في ظل عدم يقين النموذج، مما يثبت أن النهج "الرمادي" يتفوق بشكل كبير على البدائل المعتمدة على النموذج فقط أو المعتمدة على البيانات فقط.