Adaptive GR(1) Specification Repair for Liveness-Preserving Shielding in Reinforcement Learning
تقدم هذه الورقة إطار عمل للدرع التكيفي لتعلم التعزيز يستخدم البرمجة المنطقية الاستقرائية لإصلاح مواصفات GR(1) تلقائياً في وقت التشغيل عند اكتشاف انتهاكات لافتراضات البيئة، مما يضمن كلاً من السلامة والقدرة على الاستمرار مع الحفاظ على أداء وكيل قريب من المثالية مقارنة بالنهج الثابتة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، تتعلم الآلات بشكل متزايد اتخاذ القرارات من خلال التجربة والخطأ، وهي طريقة تُعرف باسم "التعلم المعزز". تخيل وكيلًا رقميًا يستكشف بيئة جديدة، يجرب أفعالًا مختلفة ليرى أي منها يؤدي إلى مكافآت، تمامًا مثل طفل يتعلم ركوب الدراجة الهوائية عن طريق السقوط ثم النهوض مجددًا. لقد أنتج هذا النهج أنظمة قادرة على لعب ألعاب معقدة وقيادة الروبوتات، ولكنه يأتي مع خطر جسيم: قد تتعلم الآلة تحقيق هدفها من خلال القيام بشيء خطير أو محظور. ولمنع ذلك، يستخدم المهندسون آلية سلامة تسمى "الدرع" (Shield). فكر في الدرع كأنه مشرف يقظ يراقب تحركات الوكيل ويمنع أي تحركات قد تكسر القواعد، مما يسمح للوكيل بالتعلم بحرية فقط ضمن منطقة آمنة. لسنوات، كانت هؤلاء المشرفون ثابتين، مبنيين على مجموعة ثابتة من القواعد حول كيفية عمل العالم. إنهم يفترضون أن البيئة تتصرف تمامًا كما هو متوقع، مثل خريطة لا تتغير أبدًا. ومع ذلك، في العالم الحقيقي، تتغير الظروف، وتتعطل المستشعرات، وتحدث أحداث غير متوقعة. وعندما تكسر البيئة القواعد التي بُني عليها الدرع، غالبًا ما يصاب المشرف بالشلل أو الحذر المفرط، مما يمنع الوكيل من القيام بأي عمل مفيد، أو الأسوأ من ذلك، يفشل في منع وقوع كارثة لأن خريطته لم تعد تطابق الواقع.
لقد طور باحثون من إمبريال كوليدج لندن وجامعة بوينس آيرس طريقة جديدة للتعامل مع هذه المشكلة، حيث ابتكروا نظام سلامة يمكنه التعلم والتكيف عندما تثبت خطأ افتراضاته. يركز عملهم، الذي عُرض في مؤتمر حديث حول التعلم العصبي الرمزي (neurosymbolic learning)، على نوع محدد من الأطر المنطقية التي تسمح لمشرفي السلامة هذه بإصلاح أنفسهم. فبدلاً من الاعتماد على مجموعة تعليمات جامدة وغير قابلة للتغيير، يقوم نظامهم بمراقبة البيئة في الوقت الفلي. إذا تصرفت البيئة بطريقة تتعارض مع القواعد الأصلية - مثل مواجهة مضخة منجم لظروف غاز خطيرة كان يُعتقد سابقًا أنها مستحيلة - فإن النظام يكتشف الخطأ. ثم يستخدم تقنية تعلم متخصصة لإعادة كتابة قواعده الخاصة، ليجد طريقة جديدة لضمان السلامة مع السماح للوكيل بإكمال مهمته. تضمن هذه العملية بقاء الوكيل آمنًا وفعالًا حتى عندما لا يتصرف العالم كما هو متوقع، مما يسد الفجوة بين المنطق الصارم للسلامة الرسمية والطبيعة غير المتوقعة للتعلم في العالم الحقيقي.
يكمن جوهر هذا الابتكار في كيفية تعامل الباحثين مع مفهوم "الحيوية" (liveness)، وهي القدرة على استمرار النظام في التقدم وتحقيق أهدافه في نهاية المطاف، بدلاً من مجرد تجنب الخطر المباشر. في تجاربهم، اختبروا سيناريوهين مختلفين تمامًا. كان الأول نظام مضخة منجم محاكى، وهو مشكلة كلاسيكية حيث يجب على وحدة التحكم ضخ المياه خارج المنجم ولكن يجب التوقف فورًا إذا تم اكتشاف غاز الميثان لتجنب حدوث انفجار. افترضت قواعد السلامة الأصلية أن ارتفاع مستويات المياه وغاز الميثان لن يحدثا معًا أبدًا. ومع ذلك، في العالم الحقيقي، يمكن انتهاك هذا الافتراض. عندما أدخل الباحثون هذا الوضع المستحيل في محاكاتهم، فشلت وحدات التحكم في السلامة الثابتة تمامًا؛ فإما أوقفت المضخة تمامًا، مما ترك المنجم يغرق، أو سمحت للمضخة بالعمل، مما عرض خطر الانفجار. في المقابل، لاحظ النظام التكيفي هذا التناقض، وأدرك أن القاعدة التي تقول إن الماء والغاز لا يختلطان أبدًا هي قاعدة خاطئة. ثم قام بتحديث منطقه الخاص ليقول: "إذا كان الغاز موجودًا، فلا تضخ، ولكن إذا كان مستوى الماء مرتفعًا والغاز غير موجود، فقم بالضخ". سمح هذا الإصلاح المنطقي الصغير للنظام بالاستمرار في العمل بأمان وكفاءة، بينما ظلت الأنظمة الثابتة عالقة.
أما الاختبار الثاني فقد جرى في بيئة لعبة فيديو عالية المخاطر تسمى "سي كويست" (Seaquest)، حيث يتحكم وكيل في غواصة. كانت قواعد السلامة هنا تعتمد على افتراض أن مستويات الأكسجين ستنخفض بمعدل ثابت ومتوقع. في الاختبار، قام الباحثون بتغيير اللعبة بحيث ينضب الأكسجين بسرعة أكبر بكثير بمجرد وصوله إلى مستوى منخفض معين، وهو سيناريو لم يتوقعه درع السلامة الأصلي. أصبحت الدروع الثابتة، المبنية على معدل فقدان الأكسجين الأبطأ، مرتبكة؛ فإما منعت الغواصة من الحركة عندما كانت بحاجة إليها، أو فشلت في منع نفاذ الأكسجين تمامًا. ومع ذلك، اكتشف الدرع التكيفي أن الأكسجين يتلاشى أسرع مما هو متوقع، وقام على الفور بتعديل نموذجه الداخلي للعالم، حيث قلل من توقعاته حول المدة التي يمكن للغواصة البقاء فيها تحت الماء مع الحفاظ على الضمان المطلق بأن الأكسجين لن يصل إلى الصفر. سمح هذا للغواصة بمواصلة اللعب، وإنقاذ الغواصين وجمع النقاط، على الرغم من أن البيئة أصبحت أكثر عدوانية مما سمحت به القواعد الأصلية.
كانت نتائج هذه التجارب واضحة وقابلة للقياس. في سيناريو مضخة المنجم، حقق النظام التكيفي امتثالاً تامًا للسلامة وحافظ على مستوى عالٍ من الأداء، محققًا مكافآت تقارب تلك التي حققتها أفضل الأنظمة الثابتة التي سُمح لها بالفشل. وفي لعبة "سي كويست"، سمح الدرع التكيفي للوكيل بالنجاح في كل محاولة تقريبًا، بينما فشلت الوكلاء غير المحميين وأولئك الذين لديهم دروع ثابتة بشكل متكرر عندما تغيرت البيئة. وجد الباحثون أن النظام لم يكن بحاجة للتدخل إلا في حالات متباعدة، حيث استبدل الإجراء المقترح من الوكيل بإجراء آمن في أقل من 20 بالمائة من الخطوات في اختبار مضخة المنجم وأقل من ذلك في اللعبة. يشير هذا المعدل المنخفض من التدخل إلى أن النظام لا يحتاج إلى الإدارة الدقيقة المستمرة للوكيل؛ فهو يتدخل فقط عندما تكسر البيئة القواعد، ويفعل ذلك عن طريق تحديث فهمه لتلك القواعد.
ما يجعل هذا النهج قويًا بشكل خاص هو أنه لا يخمن الاحتمالات أو يحاول تعلم نموذج مثالي للعالم، وهو أمر قد يكون مستحيلاً في المواقف المعقدة. بدلاً من ذلك، يركز على الهيكل المنطقي لقواعد السلامة. فعند حدوث انتهاك، يستخدم النظام طريقة تسمى "البرمجة المنطقية الاستقرائية" (inductive logic programming) لإيجاد أبسط تغيير للقواعد من شأنه أن يجعل الموقف ممكنًا مرة أخرى. وهذا يعني أن التغييرات شفافة ومفهومة؛ إذ يمكن لمهندس بشري النظر في القواعد الجديدة ورؤية السبب الذي جعل النظام يقرر تعديل سلوكه بالضبط. وقد أثبت الباحثون أن هذه الطريقة تحافظ على قدرة الوكيل على التعلم والتحسين، متجنبة الفخ الذي تجعل فيه إجراءات السلامة الوكيل حذرًا للغاية لدرجة تمنعه من أداء عمله. ومن خلال السماح لدرع السلامة بالتطور جنبًا إلى جنب مع البيئة، يحافظ النظام على التوازن بين السلامة الصارمة والفعالية العملية.
كما سلطت الدراسة الضوء على قيود الطرق الحالية. فقد أظهر الباحثون أن الاعتماد على قواعد ثابتة مصممة يدويًا هو استراتيجية هشة؛ فعندما تنحرف البيئة عن افتراضات التصميم، غالبًا ما تصبح وحدات التحكم الثابتة عديمة الفائدة، إما عبر حظر جميع الإجراءات أو الفشل في منع الضرر. وقد أثبت النهج التكيفي أنه من الممكن بناء أنظمة قوية ضد هذه التغييرات غير المتوقعة دون التضحية بالقدرة على التعلم. ومع ذلك، أشار الباحثون إلى أن هذه الطريقة تعمل حاليًا بشكل أفضل في البيئات التي يمكن وصفها بخطوات واضحة ومنفصلة، مثل مضخة المنجم أو ميكانيكا لعبة الفيديو المحددة. أما في العوالم ذات الديناميكيات المستمرة والسائلة، فقد يكون التجريد المنطقي المطلوب أكثر صعوبة في التحديد. بالإضافة إلى ذلك، فإن عملية إصلاح القواعد تستغرق وقتًا، وبالنسبة للأنظمة الكبيرة جدًا أو المعقدة، قد تصبح سرعة هذا الإصلاح عائقًا. ورغم هذه التحديات، يمثل هذا العمل خطوة كبيرة للأمام في جعل الذكاء الاصطناعي أكثر أمانًا وموثوقية. إنه يشير إلى مستقبل لا تكون فيه أنظمة السلامة مجرد حواجز جامدة، بل شركاء أذكياء يمكنهم فهم متى تغير العالم وتعديل حمايتهم وفقًا لذلك، مما يضمن أن الآلات يمكنها العمل بأمان حتى في مواجهة المجهول.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.