Learning-Based Stochastic Optimal Control with Infinite-Horizon Probabilistic Constraints

تخيل أنك كابتن سفينة فضاء تشق طريقها عبر حقل كثيف من الكويكبات. مهمتك هي الوصول إلى نجم بعيد مع استخدام أقل قدر ممكن من الوقود. ولكن هناك عقبة؛ لا يمكنك مجرد تجنب الكويكبات التي تراها الآن فحسب، بل يجب عليك ضمان أن رحلتك بأكملها، من الإطلاق إلى الهبوط، ستكون آمنة باحتمالية عالية جدًا. هذا هو جوهر مجال يُسمى التحكم الأمثل العشوائي (Stochastic Optimal Control). إنه علم اتخاذ أفضل القرارات عندما يكون المستقبل ضبابيًا ومليئًا بالمفاجآت.

لفهم هذا التحدي، فكر في طريقتين للتعامل مع الخطر. الأولى تشبه التحقق من مرآة الرؤية الخلفية كل ثانية والقول: "حسنًا، أنا آمن الآن". وهذا يسمى الفحص "المرحلي" (Stagewise). أما الطريقة الثانية، الأكثر صعوبة، فهي تشبه النظر إلى مسار رحلتك بالكامل على خريطة والقول: "أعد بضمان أن كل نقطة واحدة على هذا الخط ستكون خالية من الكويكبات". هذا هو قيد الفرصة المشتركة (Joint Chance Constraint). إنه وعد "على مستوى المهمة". تكمن المشكلة في أن جعل هذا الوعد أمرًا صعبًا للغاية بالنسبة للحواسيب لأن المسار المستقبلي يعتمد على كل صدمة ومنعطف حدث قبل ذلك، مما يجعل الرياضيات تنفجر من حيث التعقيد. عادةً، ولجعل الرياضيات قابلة للإدارة، يضطر المهندسون إلى أن يكونوا حذرين بشكل مفرط، فيسلكون طرقًا جانبية واسعة وبطيئة تهدر الوقود، أو يضطرون لافتراض أن الكون سيتوقف عن كونه خطيرًا بعد وقت معين.

هذه الورقة البحثية، التي كتبها فرانشيسكو كوردينو، وكانغهاي هي، وبارت دي شوتير، تتناول كيفية التنقل في ذلك المسار اللانهائي والخطير دون أن تكون حذرة بشكل مفرط أو تفترض أن الخطر يتلاشى. إنهم يقترحون طريقة جديدة ذكية لتعليم الكمبيوتر كيفية اتخاذ قرارات مثالية، آمنة، وموفرة للوقود للأنظمة التي تعمل إلى الأبد، مثل شبكات الطاقة أو السيارات ذاتية القيادة على الطرق السريعة.

الخدعة السحرية: تحويل مشكلة الذاكرة إلى مشكلة حالة

إن أكبر صداع يواجه "وعد السلامة على مستوى المهمة" هو أنه غير ماركوفي (Non-Markovian). وباللغة البسيطة، هذا يعني أن الكمبيوتر يحتاج لتذكر كل شيء حدث منذ بداية الزمان ليعرف ما إذا كان لا يزال آمنًا أم لا. إذا لم تصطدم بكويكب أبدًا، فأنت آمن. إذا اصطدمت بواحد بالأمس، فقد فشلت بالفعل. أما "السياسة الماركوفية" (Markov Policy)، وهي عقل الكمبيوتر القياسي، فعادة ما تنظر فقط إلى مكان وجودك الآن لتقرر ما ستفعله بعد ذلك. إنها لا تملك ذاكرة طويلة المدى.

الاختراق الأول للمؤلفين هو "خدعة سحرية" تسمى توسيع الحالة (State Augmentation). لقد اخترعوا مجموعة جديدة من "المستشعرات الافتراضية" لإلحاقها بسفينة الفضاء:

1. ضوء "الكل آمن" (الحالة $\xi$): هذا مفتاح ثنائي يظل "مضاءً" (1) طالما لم تصطدم السفينة بكويكب أبدًا. في اللحظة التي تصطدم فيها بواحد، ينطفئ المفتاح (0) ويظل كذلك للأبد.
2. إنذار "الاصطدام الأول" (الحالة $\psi$): هذا إنذار خاص يرن فقط في اللحظة الدقيقة التي تصطدم فيها السفينة بأول كويكب. إذا رن، يعرف النظام: "آه، هذه هي اللحظة التي فشلنا فيها".
3. "قرص الوقت" (الحالة $\phi$): بما أن السفينة تحاول تقليل استهلاك الوقود عبر مستقبل لانهائي، فإن أهمية استهلاك الوقود في المستقبل تتغير بمرور الوقت. هذا القرص يتتبع تلك الأهمية المتغيرة.

من خلال إضافة هذه المستشعرات الافتراضية الثلاثة إلى الموقع الفعلي للسفينة، لن يحتاج الكمبيوتر بعد الآن لتذكر التاريخ بأكمله. يحتاج فقط للنظر في الحالة الحالية لهذه المستشعرات. إذا كان ضوء "الكل آمن" مضاءً، فهو يعرف أنه آمن حتى الآن. وإذا كان مطفأً، فهو يعرف أنه قد فشل بالفعل. هذا يحول مشكلة معقدة تعتمد على الذاكرة إلى مشكلة قياسية يمكن للكمبيوتر حلها خطوة بخطوة.

عملية التوازن: ثمن السلامة

الآن بعد أن أصبحت المشكلة قابلة للإدارة، يبرز التحدي التالي وهو "الأفق اللانهائي". يجب على السفينة أن تبقى آمنة للأبد، وليس للعشر دقائق القادمة فقط. يستخدم المؤلفون مفهومًا رياضيًا يسمى ثنائية لاغرانج (Lagrange Duality) لحل هذه المعضلة.

تخيل أنك توظف روبوتًا لقيادة سيارتك. تقول له: "قد بأقصى سرعة ممكنة، ولكن لا تصطدم". الروبوت لا يعرف كيف يوازن بين السرعة والسلامة. لذا، تقدم له "ثمن السلامة". تقول له: "في كل مرة تقترب فيها من الاصطدام، سيتعين عليك دفع غرامة".

• إذا كانت الغرامة منخفضة جدًا، سيقود الروبوت بتهور ويصطدم.
• إذا كانت الغرامة مرتفعة جدًا، سيقود الروبوت ببطء شديد بحيث لا يصل إلى أي مكان أبدًا.

تقترح الورقة خوارزمية تعمل مثل مفاوض ذكي. تبدأ بغرامة منخفضة وتترك الروبوت يقود. إذا اصطدم الروبوت كثيرًا، تقوم الخوارزمية برفع الغرامة. وإذا كان الروبوت يقود ببطء وأمان زائدين، تقوم بخفض الغرامة. الهدف هو العثور على الغرامة المثالية (المسمى المتغير المزدوج، $\lambda$) حيث يقود الروبوت بأقصى سرعة ممكنة مع تلبية متطلبات السلامة بدقة.

يثبت المؤلفون أن هذه المفاوضة تعمل بشكل مثالي. فهم يظهرون أن هناك سعرًا محددًا تكون فيه استراتيجية "أفضل سرعة" للروبوت هي أيضًا استراتيجية "الأكثر أمانًا". هذا يسمم لهم تحويل مشكلة "قيد السلامة" الصعبة إلى مشكلة أبسط وهي "تقليل التكلفة بالإضافة إلى الغرامة".

تعليم الروبوت باستخدام الشبكات العصبية

القطعة الأخيرة من الأحجية هي أن الأنظمة الحقيقية (مثل الروبوتات أو شبكات الطاقة) لديها احتمالات لانهائية لأماكن تواجدها وما يمكنها فعله. لا يمكنك كتابة قاعدة لكل احتمال ممكن. للتعامل مع هذا، يستخدم المؤلفون التعلم الآلي.

يقومون بتدريب شبكة عصبية (نوع من عقول الكمبيوتر المستوحاة من الدماغ البشري) لتعلم "قيمة" التواجد في أي موقف.

• أولاً، يعلمون الشبكة ماذا يحدث إذا تم كسر قاعدة السلامة بالفعل. في هذه الحالة، يحاول الروبوت فقط الوصول إلى الهدف بأسرع ما يمكن، متجاهلاً السلامة.
• ثم، يعلمون الشبكة وضع "الكل آمن". هنا، تتعلم الشبكة الموازنة بين السرعة و"ثمن السلامة".

يحدث التدريب خارج الخط (Offline)، مما يعني أن الكمبيوتر يقوم بكل التفكير الصعب قبل أن يبدأ الروبوت في التحرك. بمجرد التدريب، يمكن للروبوت اتخاذ القرارات في جزء من الثانية (0.01 ثانية في اختباراتهم) بمجرد النظر إلى حالته الحالية ونصيحة الشبكة العصبية.

النتائج: أسرع، وآمن، وأذكى

اختبر المؤلفون طريقتهم على محاكاة لروبوت "أحادي العجلة" (Unicycle) يحاول التنقل في متاهة بها عائق خطير في المنتصف. وقارنوا طريقتهم بتقنية شائعة تسمى التحكم التنبئي بالنماذج (MPC)، وهي تشبه روبوتًا يخطط خطواته القليلة القادمة، ويتحقق مما إذا كانت آمنة، ثم يعيد التخطيط.

كانت النتائج مبهرة:

• السلامة: حافظت الطريقة الجديدة على سلامة الروبوت بمعدل انتهاك قدره حوالي 4.5%، وهو أقل بكثير من الحد المسموح به وهو 10%. أما طريقة MPC التقليدية، حتى مع التعديلات الكبيرة، فقد سجلت معدل انتهاك بنسبة 17%، وفشلت في اختبار السلامة.
• الأداء: استخدمت الطريقة الجديدة "وقودًا" (تكلفة) أقل بكما للوصة إلى الهدف. كانت تكلفة الطريقة الجديدة 528.3، بينما كانت تكلفة MPC هي 672.0. كانت الطريقة الجديدة أذكى في اتخاذ المخاطر: إذا اصطدمت بالعائق (في الحالات النادرة التي يحدث فيها ذلك)، فإنها تتحول فورًا إلى أسرع مسار ممكن للوصة إلى الهدف، بينما علقت طريقة MPC في حلقة محافظة.
• السرعة: هذا هو الانتصار الأكبر. استغرقت طريقة MPC التقليدية في المتوسط 2.94 ثانية لاتخاذ قرار في كل خطوة، وأحيانًا وصلت إلى حد 10 ثوانٍ، مما تسبب في تأخيرات. أما الطريقة الجديدة فلم تستغرق سوى 0.01 ثانية. كانت أسرع بنحو 300 مرة.

لماذا يهم هذا؟

هذه الورقة لا تقول فقط "لقد فعلناها"؛ بل تقدم إثباتًا رياضيًا صارمًا بأن طريقتهم تعمل وتتقارب نحو الحل الأفضل. إنها تظهر أنه ليس عليك الاختيار بين أن تكون آمنًا أو أن تكون فعالًا. من خلال استخدام توسيع الحالة الذكي وخوارزمية تعلم ذكية، يمكنك بناء أنظمة تكون سريعة للغاية وآمنة بصرامة في مستقبل لانهائي.

يعترف المؤلفون بأن طريقتهم تعتمد على المحاكاة وأن عملية التعلم تحتاج إلى بيانات كافية لتكون دقيقة، خاصة بالقرب من مناطق الخطر. ومع ذلك، فإنهم يثبتون أنه بالنسبة للأنظمة المستمرة والمعقدة، فإن هذا النهج يمثل قفزة هائلة للأمام. إنه يحول مشكلة كانت في السابق صعبة الحل للغاية إلى مشكلة يمكن للكمبيوتر حلها في طرفة عين، مما يفتح الباب أمام أنظمة ذاتية القيادة أكثر أمانًا وكفاءة في العالم الحقيقي.