ملخص تقني: تحسين السياسة الموجه بالنموذج في المحاكيات القابلة للتفاضل عبر الاستكشاف العشوائي

1. بيان المشكلة

يتيح التخطيط القابل للتفاضل (Differentiable planning) التحسين القائم على التدرج لمشكلات اتخاذ القرار من خلال الاستفيد من النماذج القابلة للتفاضل لديناميكيات النظام. ورغم فعالية هذا النهج في الإعدادات الحتمية، إلا أنه يواجه تحديات كبيرة عند تطبيقه على المجالات الهجينة (المنفصلة-المستمرة) وغير الخطية للغاية.

تكمن المشكلة الجوهرية في مشهد التحسين (Optimization landscape). فمن أجل تمكين انتشار التدرج في المجالات الهجينة، يجب تقريب الهياكل المنطقية أو المنفصلة عبر عمليات تسوية سلسة (مثل t-norms). وهذا يخلق مقايضة جوهرية:

• التسويات عالية الدقة (High Fidelity Relaxations): تقرب المشكلة الأصلية بدقة ولكنها تؤدي إلى مشاهد تحسين سيئة الحالة (ill-conditioned landscapes) تتميز بمناطق مسطحة، وانتقالات حادة، وانقطاعات. في هذه المناطق، تكون التدرجات إما غير معرفة أو غير مفيدة، مما يتسبب في وقوع المحسنات في نقاط محلية سيئة.
• التنعيم الشديد (Aggressive Smoothing): يحسن سلوك التدرج وقابلية التحسين، ولكنه يشوه هندسة المشكلة الأساسية، مما قد يؤدي إلى حلول دون المستوى الأمثل أو غير قابلة للتنفيذ تحت الديناميكيات الحقيقية.

وبناءً على ذلك، غالباً ما يعاني التخطيط التفاضلي الحتمي القياسي من بطء التقارب، والحساسية تجاه التهيئة الأولية، والفشل في الهروب من النقاط المحلية السيئة، حتى عندما يكون النموذج الأساسي دقيقاً. أما طرق التعلم المعزز (RL) القائمة على النموذج (Model-free)، ورغم تضمينها للاستكشاف، فإنها تفشل في استغلال بنية النظام المعروفة بشكل صريح، مما يؤدي إلى ضعف كفاءة العينات في المجالات التي تتوفر فيها النماذج.

2. المنهجية: تحسين السياسة الموجه بالنموذج (MDPO)

يقترح المؤلفون تحسين السياسة الموجه بالنموذج (MDPO)، وهو إطار عمل يدمج الاستكشاف العشوائي مباشرة في عملية التخطيط التفاضلي. وخلافاً للتعلم المعزز القياسي الذي يستكشف عبر ضوضاء معلمات السياسة أو التفاعل مع البيئة، يقوم MDPO بحقن الضوضاء في فضاء الأفعال (Action space) أثناء تحسين معلمات السياسة.

2.1 اضطراب الفعل العشوائي (Stochastic Action Perturbation)

بدلاً من تنفيذ الأفعال بشكل حتمي ($a_t = \pi_\theta(s_t)$)، يعرّف MDPO سياسة عشوائية:
$$\tilde{a}_t = \pi_\theta(s_t) + \epsilon_t, \quad \epsilon_t \sim \mathcal{N}(0, \Sigma_t)$$
يتطور النظام وفقاً للديناميكيات $s_{t+1} = f(s_t, \tilde{a}_t, \xi_t)$. ويصبح هدف التحسين هو المكافأة التراكمية المتوقعة تحت هذه السياسة المضطربة. وباستخدام خدعة إعادة المعلمة (reparameterization trick)، يتم فصل الضوضاء $\epsilon_t$ عن معلمات السياسة $\theta$، مما يسمح بحساب التدرجات عبر الانتشار العكسي القياسي عبر الرسم البيالي الحسابي العشوائي. وهذا يمكّن المحسن من سبر أغوار مناطق مشهد الهدف التي لا يمكن الوصول إليها عبر التدرجات الحتمية، خاصة في المناطق المسطحة أو المشبعة.

2.2 تغيير حجم الضوضاء التكيفي (Adaptive Noise Scaling)

الابتكار الرئيسي في MDPO هو تغيير حجم الضوضاء التكيفي والموجه بالنموذج. بما أن نموذج التخطيط متاح بالكامل، فإن الطريقة تستفيد من الحساسية المستمدة من التدرج لبناء ملف تعريف استكشاف يعتمد على الزمن $\{\sigma_t\}_{t=0}^{H-1}$.

تعمل العملية من خلال إجراء يتكون من مرحلتين لكل تكرار:

1. التشغيل التحليلي (Analysis Rollout): يتم إنشاء مسار باستخدام السياسة الحالية دون ضوضاء فعل. ويتم تقدير حساسية الهدف بالنسبة للأفعال في كل خطوة زمنية عبر مقدار التدرج: $g_t = \nabla_{a_t} \sum r(s_k, a_k)$. ويتم حساب درجة حساسية قياسية $s_t = \|g_t\|^2$.
2. بناء ملف تعريف الضوضاء: يتم تطبيع درجات الحساسية وربطها بمقياس ضوضاء $\sigma_t$ باستخدام دالة بحيث:
   $$\sigma_t = \sigma_{\max} + (\sigma_{\min} - \sigma_{\max})(1 - \hat{s}_t)^\alpha$$
   هذا الربط يخصص ضوضاء أكبر للخطوات الزمنية ذات الحساسية العالية (حيث يكون للأفعال تأثير أكبر على هدف المسار) وضوضاء أقل للمناطق غير الحساسة.
3. تشغيل التحديث (Update Rollout): يتم إجراء تشغيل ثانٍ باستخدام ملف تعريف الضوضاء المستمد لتحديث معلمات السياسة.

يضمن هذا النهج أن يكون الاستكشاف واعياً بالبنية (structure-aware)، حيث يحترم ديناميكيات النظام ويستهدف المناطق ذات الحساسية العالية للهدف، بدلاً من تطبيق ضوضاء متماثلة (isotropic noise) بشكل عشوائي.

3. المساهمات الرئيسية

1. تحديد أمراض التحسين (Optimization Pathologies): يحدد البحث ويحلل رسمياً الطبيعة سيئة الحالة لمشاهد التحسين في التخطيط التفاضلي، ويسلط الضوء بشكل خاص على المقايضة بين دقة التسوية وقابلية التدرج في المجالات الهجينة.
2. آلية الاستكشاف العشوائي: اقتراح MDPO، الذي يقدم عشوائية مهيكلة وموجهة بالنموذج في فضاء الأفعال. وخلافاً للتحسين العشوائي القياسي، يتم تطبيق الاضطرابات على مستوى المسار داخل نموذج التخطিং.
3. تغيير حجم الضوضاء التكيفي: تطوير آلية لضبط مقدار الضوضاء ديناميكياً بناءً على حساسية المسار المحلية، مما يتيح ملف تعريف استكشاف يعتمد على الزمن يتكيف مع كل من مشهد التحسين والخطوة الزمنية المحددة ضمن الأفق الزمني.
4. التحقق التجريبي: إثبات التحسينات الجوهرية في جودة الحل وسرعة التقارب عبر اختبارات معيارية مقارنة بالمتغيرات الحتمية وأفضل الطرق المرجعية الحالية.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاثة مجالات معيارية من مسابقة التخطيط الدولية لعام 2023 (IPC): PowerGen (التزام الوحدات)، وHVAC (التحكم غير الخطي)، وReservoir Control (التحكم في الخزانات). وتتميز هذه المجالات بديناميكيات هجينة (منفصلة-مستمرة) وغير خطية.

النماذج المرجعية (Baselines):

• التخطيط التفاضلي الحتمي: النسخة الخالية من الضوضاء من MDPO.
• JaxPlan: تطبيق متطور للتخطيط التفاضلي باستخدام ديناميكيات هجينة مُسواة.
• MDPO بضوضاء ثابتة: متغيرات بضوضاء غاوسية ثابتة ($\sigma \in \{1, 3\}$).
• PPO (تحسين السياسة المستقرة): نموذج مرجعي للتعلم المعزز القائم على النموذج (Model-free).

النتائج:

• الأداء: تفوق MDPO باستخدام الضوضاء التكيفية باستمرار على جميع النماذج المرجعية عبر جميع الحالات. فقد حقق جودة حل أعلى بكثير (تكاليف أقل/مكافآت أعلى) مقارنة بالتخطيط الحتمي، وJaxPlan، ومتغيرات الضوضاء الثابتة.
• التقارب: بينما وصلت الطرق الحتمية وJaxPlan بسرعة إلى حالة الثبات في نقاط محلية سيئة، وأظهر PPO تحسناً طفيفاً بسبب غياب النموذج، أظهر MDPO التكيفي تحسناً مستداماً وتقارباً أسرع.
• التباين: أظهر MDPO تبايناً منخفضاً عبر البذور العشوائية (random seeds)، محافظاً على جودة حل عالية.
• السلوك التكيفي: كشف تحليل ملفات تعريف الضوضاء أن الآلية التكيفية توزع الاستكشاف ديناميكياً. على سبيل المثال، في مجال Reservoir، تركزت الضوضاء في الخطوات الزمنية المبكرة، بينما في مجال HVAC، كانت تتغير بشكل غير رتيب، مما يعكس بنية الحساسية الخاصة بكل مشكلة.

5. الأهمية والادعاءات

يفترض البحث أن القصور الأساسي في التخطيط التفاضلي في المجالات المعقدة لا يكم-ن في النمذجة أو تقنية التسوية فحسب، بل في ديناميكيات التحسين المستخدمة لحل هذه المشكلات.

• ديناميكيات التحسين: يجادل المؤلفون بأن تحديثات التدرج الحتمية غير كافية للتنقل في المشاهد سيئة الحالة للمجالات الهجينة. ومن خلال إدخال الاستكشاف العشوائي، يسمح MDPO للمحسن بالهروب من النقاط المحلية السيئة واجتياز الانتقالات الحادة.
• الموجه بالنموذج مقابل المستقل عن النموذج: يسلط العمل الضوء على أنه عندما تتوفر النماذج، يجب عدم استخدامها للمحاكاة فحسب، بل أيضاً لتوجيه عملية الاستكشاف. يجسد MDPO الفجوة بين التحسين القائم على التدرج (المعتمد على النموذج) والاستكشاف المدفوع بالتعلم من خلال استخدام النموذج لاستخلاص إشارات استكشاف معلوماتية.
• النهج العام: يدعي البحث أن MDPO يوفر نهجاً بسيطاً وعاماً لمعالجة أمراض التحسين في التخطيط المعتمد على النموذج دون الحاجة إلى تعديلات في النموذج الأساسي أو طريقة تسويته. ويشير إلى أن تخصيص الاستكشاف ليتناسب مع البنية المحلية لمشهد التحسين أمر بالغ الأهمية لاتخاذ قرارات قوية في الإعدادات غير الخطية والهجينة.