Composing Reinforcement Learning Policies, with Formal Guarantees

تخيل أنك تحاول تعليم روبوت كيفية التنقل في متاهة عملاقة ومتغيرة. هذه ليست مجرد متاهة بسيطة؛ بل هي عالم قد تتحرك فيه الجدران، وقد تتغير فيه الأرضية، ويتعين على الروبوت اتخاذ قرارات في أجزاء من الثانية لتجنب الاصطدام بعوائق طائرة. هذا هو عالم التعلم التعزيزي (Reinforcement Learning - RL)، وهو فرع من فروع الذكاء الاصطناعي حيث يتعلم الوكلاء من خلال التجربة والخطأ، تماماً مثل كلب يتعلم الجلوس للحصول على مكافأة. الهدف هو إيجاد "سياسة" (Policy)—وهي مجموعة من القواعد التي تخبر الوكيل بما يجب فعله في كل موقف للوصيد إلى أفضل نتيجة.

ومع ذلك، هناك عقبة. فبينما يتفوق التعلم التعزيزي في التعلم من الخبرة، إلا أنه سيء للغاية في تقديم الضمانات. إذا سألت روبوت التعلم التعزيزي القياسي: "هل أنت متأكد بنسبة 100% أنك لن تصطدم بتلك الرافعة الشوكية؟"، فغالباً لن يستطيع الإجابة بـ "نعم" رياضياً. قد يقول: "أعتقد أنني سأكون بخير"، ولكن في الوظائف الحرجة للسلامة مثل قيادة السيارات أو إدارة شبكات الطاقة، كلمة "أعتقد" ليست كافية. وهنا يأتي دور التحقق الرسمي (Formal Verification). إنه يشبه برهاناً رياضياً صارماً يقول: "في ظل هذه الظروف المحددة، هذا الإجراء آمن مضمون". التحدي الذي يواجهه العلماء هو أن هذين العالمين—التعلم من الخبرة والبرهان الرياضي—عادة لا يتفقان. فالتعلم يتطلب بيانات ضخمة وفوضوية، بينما تتطلب البراهń نماذج مرتبة وبسيطة. تدخل هذه الورقة البحثية في هذا التقاطع الفوضوي لترى ما إذا كان بإمكاننا الجمع بين الأمرين: روبوت يتعلم الأشياء الصعبة ولكنه يمتلك أيضاً شهادة سلامة.

---

الفكرة الكبرى: الخريطة والغرف

يقترح المؤلفون، وهم فريق من الباحثين من بلجيكا وإسرائيل وهولندا والدنمارك والمملكة المتحدة، طريقة ذكية لتقسيم المشكلة إلى جزأين. تخيل مستودعاً ضخماً. الرؤية عالية المستوى (High-level) هي خريطة بسيطة: شبكة من الغرف المتصلة بالأبواب. أنت تعرف الخريطة تماماً. تعرف أن الغرفة (أ) تتصل بالغرفة (ب)، وأن الغرفة (ب) تتصل بالمخرج. ولكن داخل كل غرفة؟ هذا لغز. "الديناميكيات" (كيف تتحرك الأشياء، وأين توجد العوائق) غير معروفة وفوضوية.

يطلق المؤلفون على هذا هيكلاً ثنائي المستوى (Two-level structure):

• المستوى العالي (الخريطة): هذا هو الجزء السهل. إنه مجرد رسم بياني للغرف والأبواب.
• المستوى المنخفض (الغرف): هذا هو الجزء الصعب. داخل كل غرفة، يتعين على الوكيل تفادي الرافعات الشوكية المتحركة، أو العمال، أو الروبوتات الأخرى. القواعد هنا معقدة وغير معروفة.

الحيلة الرئيسية للورقة البحثية هي "فصل الاهتمامات" (Separation of concerns). فهم يستخدمون أداتين مختلفتين للمستويين المختلفين. بالنسبة للخريطة عالية المستوى، يستخدمون التخليق التفاعلي (Reactive Synthesis). فكر في هذا كمنظم ذكي للغاية ومنطقي يمكنه النظر إلى الخريطة ومجموعة من القواعد (مثل "الوصول إلى المخرج دون الاصطدام بأي شيء") وإثبات المسار الأفضل الذي يجب اتخاذه رياضياً. إنه يشبه نظام تحديد المواقع (GPS) الذي لا يضل الطريق أبداً لأنه يمتلك خريطة مثالية.

لكن نظام الـ GPS لا يمكنه إخبار الروبوت بكيفية تفادي رافعة شوكية داخل غرفة. لهذا السبب، يستخدمون التعلم التعزيزي (RL). يتعلم الروبوت من خلال تشغيل عمليات محاكاة داخل كل غرفة، ليكتشف كيفية الانتقال من المدخل إلى المخرج دون الاصطدام. المشكلة هي أن التعلم التعزيزي القياسي عبارة عن "صندوق أسود"—لا تعرف بالضبط كيف يعمل، ولا يمكنك إثبات أنه آمن.

الخدعة السحرية: الاختصار "الكامن"

هنا يصبح البحث مثيراً للاهتمام حقاً. بدلاً من ترك الروبوت يتعلم شبكة عصبية ضخمة وفوضوية (دماغ مصنوع من الرياضيات) لكل غرفة، يعلم المؤلفون الروبوت تعلم نموذج كامن موجز (Concise latent model).

تخيل أنك تحاول وصف غرفة فوضوية مليئة بالعوائق المتحركة لصديق. يمكنك محاولة وصف كل حركة لكل جسم، وهو أمر سيستغرق وقتاً طويلاً ويستحيل تذكره. أو يمكنك إنشاء رسم تخطيطي مبسط (النموذج الكامن) يلتقط جوهر الغرفة: "إذا ذهبت يساراً، فغالباً سأصطدم بجدار؛ إذا ذهبت يميناً، فغالباً سأجد الباب".

طور المؤلفون طريقة تدريب جديدة تسمى WAE-DQN. وهذا اسم منمق لعملية يتعلم فيها الروبوت شيئين في نفس الوقت:

1. كيف يتصرف (السياسة/Policy).
2. كيف يرسم الرسم التخطيطي المبسط (النموذج الكامن).

الأهم من ذلك، هم لا يخمنون الرسم التخطيطي فحسب؛ بل يحسبون ضماناً (Guarantee) لمدى جودة هذا الرسم. يستخدمون ما يسمى حدود PAC (الاحتمالية التقريبية الصحيحة - Probably Approximately Correct). فكر في هذا كـ "درجة ثقة". هي لا تقول "هذا الرسم التخطيطي مثالي"، بل تقول: "نحن متأكدون بنسبة 95% أن هذا الرسم ضمن نطاق 1% من سلوك الغرفة الحقيقي".

تجميع كل شيء: المخطط

بمجرد أن يتعلم الروبوت هذه الرسومات التخطيطية المبسطة و"درجات الثقة" لكل غرفة، يبدأ المخطط عالي المستوى بالعمل. ينظر المخطط إلى الخريطة والرسومات التخطيطية. ويسأل: "إذا أرسلت الروبوت إلى الغرفة (أ) وطلبت منه الذهاب يميناً، فما هي احتمالات وصوله إلى الباب؟". يستخدم المخطط درجات الثقة من الرسومات التخطيطية للإجابة على ذلك رياضياً.

لأن المخطط يعرف "هامش الأمان" لكل رسم تخطيطي للغرفة، يمكنه بناء خطة عالمية (Global plan) مضمونة رياضياً، على الرغم من أن الروبوت تعلم تفاصيل الغرف من خلال التجربة والخطأ.

التجارب: هل نجح الأمر؟

اختبر الفريق هذه الفكرة في عالمين مختلفين تماماً:

1. عالم الشبكة (Grid World): متاهة رقمية بها أعداء متحركون.
2. ViZDoom: بيئة لعبة فيديو (مبنية على لعبة Doom الكلاسيكية) حيث يتعين على الروبوت التنقل باستخدام مدخلات بصرية (مثل الكاميرا) أثناء تفادي الأعداء.

في عالم الشبكة، أنشأوا متاهة مكونة من 9 غرف و11 عدواً متحركاً. واجه الذكاء الاصطناعي القياسي (باستخدام طريقة تسمى DQN) صعوبة في تعلم مسار جيد، وغالباً ما كان يعلق أو يصطدم. لكن الطريقة الجديدة؟ تعلمت التنقل بنجاح. والأكثر إثارة للإعجاب، أنهم اختبروها في متاهة أكبر بكثير تحتوي على 49 غرفة و47 عدواً. تمكن الروبوت، باستخدام نفس "الرسومات التخطيطية" المتعلمة من الغرف الصغيرة، من التنقل في المتاهة العملاقة بنجاح. وهذا يثبت "قابلية إعادة الاستخدام" لمنهجهم: بمجرد أن تتعلم كيفية التعامل مع نوع من الغرف، يمكنك استخدام تلك المعرفة في أي غرفة مماثلة، بغض النظر عن مدى كبر الخريطة.

في تجربة ViZDoom، تعين على الروبوت التعامل مع مدخلات بصرية وأعداء يطلقون النار. أظهرت النتائج أن "القيم الكامنة" (التنبؤات التي تجريها الرسومات التخطيطية المبسطة) كانت قريبة جداً مما حدث بالفعل في اللعبة الحقيقية. على سبيل المثال، عندما توقع الروبوت نسبة نجاح 24% في سيناريو معين، كانت نسبة النجاح الفعلية حوالي 23%. هذا القرب يثبت أن "الرسومات التخطيطية" كانت دقيقة بما يكفي للثقة بها.

لماذا يهم هذا؟

أكبر انتصار هنا ليس فقط في أن الروبوت أصبح أفضل في اللعبة. بل هو أن الروبوت أصبح أفضل مع شهادة سلامة.

في الماضي، إذا أردت من روبوت أن يتنقل في بيئة معقدة، كان عليك الاختيار بين:

• السلامة: استخدام نموذج بسيط يمكنك إثبات أن كل شيء فيه آمن، ولكن الروبوت يكون غبياً جداً للتعامل مع الفوضى في العالم الحقيقي.
• المهارة: استخدام روبوت تعلم قوي يمكنه التعامل مع الفوضى، ولكن ليس لديك أدنى فكرة عما إذا كان سيصطدم أم لا.

تظهر هذه الورقة طريقاً ثالثاً. من خلال فصل "الخريطة" عن "الغرف"، ومن خلال تعليم الروبوت تعلم رسومات تخطيطية مبسطة ومحققة للغرف، أنشأوا نظاماً هو ذكي (يمكنه التعامل مع العوائق المتحركة والمدخلات البصرية) وآمن (يأتي مع ضمانات رياضية) في آن واحد.

يعترف المؤلفون بأن طريقتهم لا تزال بحاجة إلى "خريطة" للبيئة للبدء بها. لا يمكنهم مجرد إلقاء روبوت في عالم مجهول تماماً وتوقع أن يبني الخريطة من الصفر. ولكن بالنسبة للبيئات التي نعرف فيها التخطيط (مثل المستودعات، أو شبكات المدن، أو الأنظمة البرمجية) ولكن لا نعرف تفاصيل ما يحدث داخل الغرف، فإن هذا النهج يقدم أداة قوية. إنه يحول "الصندوق الأسود" للتعلم إلى "صندوق زجاجي" يمكننا فحصه، والتحقق منه، والثقة به.