Adaptive Probabilistic Shielding by Learning MDPs for Safe Reinforcement Learning
تقترح هذه الورقة إطار عمل حماية احتماليًا تكيفيًا للتعلم التعزيزي الآمن يدمج تعلم النموذج عبر الإنترنت لحساب وتحديث قيود السلامة ديناميكيًا مع تقدير احتمالات الانتقال من عملية قرار ماركوف غير معروفة في البداية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، تتعلم الآلات اتخاذ القرارات من خلال تجربة الأشياء، تماماً مثل طفل يتعلم المشي عبر السقوط ثم النهوض مجدداً. هذه العملية، المعروفة باسم التعلم المعزز، تسمح للوكلاء البرمجيين باكتشاف أفضل طريقة لحل المشكلات من خلال التفاعل مع بيئة ما وتلقي مكافآت مقابل الخيارات الجيدة. ومع ذلك، في العالم الحقيقي، يمكن أن تكون تكلفة الخطوة الخاطئة كارثية. فالسيارة ذاتية القيادة لا يمكنها تحمل اختبار مناورة خطيرة لترى ما إذا كانت ستنجح؛ والروبوت الطبي لا يمكنه المخاطرة بإيذاء مريض أثناء محاولته اكتشاف المسار الأكثر أماناً. وهذا يخلق توتراً جوهرياً: لكي يتعلم الوكيل بفعالية، يجب عليه الاستكشاف، ولكن لكي يظل آمناً، يجب عليه تجنب المجهول. لسنوات، حاول الباحثون حل هذه المعضلة ببناء "درع" — وهو حارس سلامة يمنع أي إجراء قد يتخذه الوكيل ويؤدي إلى كارثة. المشكلة هي أن الدروع التقليدية تتطلب خريطة مثالية وموجودة مسبقاً للعالم، بما في ذلك الاحتمالات الدقيقة لكل نتيجة محتملة. وفي الواقع الفعلي المليء بالمتغيرات، نادراً ما توجد مثل هذه الخريطة المثالية قبل أن يبدأ الوكيل في التعلم.
لقد طور فريق من الباحثين طريقة جديدة للتعامل مع هذه المعضلة، حيث ابتكروا نظاماً يتعلم فيه درع السلامة ويتكيف جنباً إلى جنب مع الوكيل. فبدلاً من انتظار خريطة مثالية، يفترض نهجهم أن الوكيل يعرف المخطط العام للبيئة — الأماكن التي يمكنه الذهال إليها والإجراءات التي يمكنه اتخاذها — ولكنه لا يعرف الاحتمالات الدقيقة لما ستؤدي إليه تلك الإجراءات. وبينما يستكشف الوكيل، فإنه يجمع بيانات حول ما يحدث فعلياً عند تحركه. ثم يستخدم برنامج حاسوبي هذه البيانات الجديدة لبناء تقدير لقواعد العالم، مكملاً بذلك الاحتمالات المفقودة. ومن هذا التقدير، يبني النظام درع سلامة. في البداية، ولأن البيانات شحيحة، يكون الدرع حذراً للغاية، حيث يمنع العديد من الإجراءات لضمان السلامة. ولكن مع جمع الوكيل لمزيد من الخبرة، يصبح التقدير أكثر دقة، وتتقلص حالة عدم اليقين، فيخفف الدرع من قبضته، مما يسمح للوكيل باتخاذ مخاطر أكثر كفاءة. وهذا يخلق شراكة حيث يتحسن كل من الوكيل وحارس السلامة معاً، مما يضمن بقاء الوكيل آمناً بينما يتعلم كيف يكون فعالاً.
اختبر الباحثون هذه الفكرة في عوالم محاكاة متعددة، تراوحت من طائرة تتجنب الاصطدام بطائرة أخرى إلى نملة تتنقل حول حيوان مفترس. في هذه البيئات، كان على الوكيل الوصول إلى هدف ما مع تجنب مخاطر معينة، وكل ذلك بينما كانت احتمالات الانزلاق أو الفشل مخفية عنه. وقارنوا طريقتهم التكيفية بمنهجين آخرين: أحدهما حيث لا يوجد درع سلامة للوكيل على الإطلاق، والآخر حيث يوجد درع مثالي يعتمد على خريطة كاملة ومعروفة للعالم. وأظهرت النتائج أن الطريقة التكيفية كانت ناجحة بشكل ملحوظ؛ فقد تعلمت سياسات آمنة تقريباً مثل الدرع المثالي، مع تجنب الاصطدامات المتكررة والخطيرة التي كانت تحدث عندما لا يوجد درع للوكيل. وفي بعض الحالات، وجد النظام التكيفي مسارات أفضل من الدرع المثالي، لأن استكشافه الحذر في المراحل المبكرة قاده إلى اكتشاف مسارات مربحة فاتتها الدرع الثابت الذي تم حسابه مسبقاً.
كان أحد النتائج الرئيسية هو أن النظام يعمل بشكل أفضل عندما يتم تحديث درع السلامة بانتظام مع ورود بيانات جديدة. فإذا تم تحديث الدرع بشكل نادر جداً، يظل الوكيل عالقاً في حالة من الإفراط في الحذر، غير قادر على الاستفادة من المعرفة التي اكتسبها. وإذا تم تحديثه بشكل متكرر جداً، يقضي النظام وقتاً طويلاً في إعادة حساب السلامة بدلاً من التعلم. وقد وجد الباحثون توازناً حيث سمح تحديث الدرع كل ألف حلقة تعلم للوكيل بصقل فهمه للعالم دون عرقلة تقدمه. كما اكتشفوا أن الطريقة التي يقدر بها النظام الاحتمالات أمر بالغ الأهمية. فبعض الطرق التي تفترض السيناريو الأسوأ للبيانات غير المعروفة تميل إلى أن تكون مقيدة للغاية، بينما الطرق الأكثر تفاؤلاً قليلاً تسمح للوكيل باستكشاف أكثر حرية. وقد استخدم النهج الأكثر فعالية استراتيجية متوازنة ظلت آمنة ولكنها لم تمنع الإجراءات التي قد تكون مفيدة لمجرد أن البيانات لم تكن مثالية بعد.
كما سلطت الدراسة الضوء على تفصيل دقيق ولكنه مهم حول كيفية استكشاف الوكيل. فعندما يقرر الوكيل تجربة إجراء عشوائي لتعلم شيء جديد، يسمح له النظام بالاختيار من بين جميع الإجراءات الممكنة، حتى تلك التي يعتبرها الدرع الحالي غير آمنة. قد يبدو هذا منافياً للمنطق، لكنه يمنع الوكيل من الوقوع في زاوية صغيرة وآمنة من العالم. فمن خلال المغامرة أحياناً خارج حدود الدرع الحالية، يجمع الوكيل البيانات اللازمة لإثبات أن تلك الحدود يمكن توسيعها بأمان. وبدون هذه الحرية لاستكشاف حواف المجهول، لن يتعلم الدرع أبداً كيف يصبح أقل تحفظاً. وقد لاحظ الباحثون أنه في البيئات المعقدة، كانت هذه الرغبة في خوض مخاطر محسوبة أمراً ضرورياً لإيجاد المسار الأفضل.
في النهاية، يوضح هذا العمل أن السلامة والتعلم لا يجب أن يكونا عدوين. فمن خلال التعامل مع درع السلامة ليس كجدار ثابت بل كدليل حي يتطور مع خبرة الوكيل، من الممكن التنقل في البيئات الخطرة دون الحاجة إلى خريطة مثالية مسبقة. لقد أثبت النظام أنه يمكن للوكيل أن يتعلم ليكون آمناً وماهراً في آن واحد، بشرد أن تكون آلية السلامة مرنة بما يكفي لتنمو مع تعمق فهم الوكيل للعالم. يقدم هذا النهج مساراً عملياً لنشر الأنظمة الذكية في سيناريوهات العالم الحقيقي حيث لا تكون القواعد معروفة بالكامل، مما يضمن أن رحلة الوصول إلى الإتقان لا تأتي على حساب السلامة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.