Probabilistic Verification of Recurrent Neural Networks for Single and Multi-Agent Reinforcement Learning
تقدم الورقة البحثية RNN-ProVe، وهو إطار عمل احتمالي يقدر احتمالية السلوكيات غير المرغوب فيها في السياسات القائمة على الشبكات العصبية المتكررة لتعلم التعزيز أحادي ومتعدد الوكلاء، وذلك باستخدام أخذ العينات المدفوع بالسياسة للتغلب على قيود أدوات التحقق الحالية في البيئات ذات الإدراك الجزئي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم بتدريب روبوت للتنقل في متاهة. يمتلك هذا الروبوت "ذاكرة" خاصة (شبكة عصبية متكررة، أو RNN) تساعده على تذكر الأماكن التي زارها، بحيث لا يكتفي فقط بالاستجابة لما يراه في اللحظة الراهنة، بل يتخذ قرارات بناءً على رحلته بأكملها حتى الآن.
المشكلة هي: كيف نعرف أن هذا الروبوت لن يصطدم بجدار عن طريق الخطأ؟
الطريقة القديمة: التخمين "الأسوأ حالاً"
تحاول أدوات التحقق من السلامة التقليدية إثبات أن الروبوت آمن من خلال النظر في كل شيء ممكن قد يحدث. إنهم يتخيلون كل ذاكرة ممكنة قد يمتلكها الروبوت، بما في ذلك الذاكرات المستحيلة في الواقع (مثل أن يتذكر الروبوت جداراً غير موجود أصلاً).
ولأن عليهم فحص كل الاحتمالات، بما في ذلك الاحتمالات المستحيلة، فإنهم غالباً ما يتعثرون. الأمر يشبه محاولة العثَد على إبرة محددة في كومة قش عبر فحص كل قطعة قش، حتى تلك التي لم تكن موجودة في الحظيرة من الأساس. هذا يجعل العملية بطيئة للغاية، وغالباً ما يستسلمون ويقولون: "لا يمكننا التأكد"، أو يفترضون أن الروبوت غير آمن لمجرد توخي الحذر، وهو أمر غير مفيد تماماً.
الطة الجديدة: RNN-ProVe (المحقق "الواقعي")
ابتكر المؤلفان، لوكا مارزاري وإنريكو مارشيسيني، أداة جديدة تسمى RNN-ProVe. وبدلاً من التحقق من كل الخيالات المستحيلة، يطرحون سؤالاً أكثر ذكاءً: "ما هي الذاكرات الحقيقية التي بناها هذا الروبوت بالفعل أثناء تعلمه؟"
إليك كيف يعمل الأمر، باستخدام تشبيه بسيط:
1. "أوراكل الجدوى" (فلتر الذاكرة)
تخيل أن الروبوت مر بآلاف الدورات التدريبية. خلال هذا الوقت، بنى مجموعة محددة من الذاكرات "الحقيقية".
- الأدوات القديمة تنظر إلى المكتبة الكاملة لجميع الذاكرات الممكنة (بما في ذلك المزيفة منها).
- RNN-ProVe يقوم بتدريب "فلتر ذاكرة" خاص (مصنف). يتعلم هذا الفلتر التمييز بين الذاكرة الحقيقية (التي عاشها الروبوت بالفعل) والذاكرة المزيفة (التي لا يمكن أن تحدث أبداً).
فكر في الأمر كأنه حارس أمن عند مدخل ملهى ليلي. يتحقق الحارس (الفلتر) من هويتك. إذا كانت هويتك تثبت أنك كنت في الحفلة حقاً (تاريخ مجدٍ/ممكن)، فستدخل. أما إذا كانت هويتك مزيفة (تاريخ مستحيل)، فسيتم منعك. RNN-ProVe يتحقق فقط من سلامة الأشخاص الذين تمكنوا فعلياً من تجاوز الحارس.
2. فحص "الاحتمالية" (مقياس المخاطر)
بمجرد أن يقوم الفلتر بفصل الذاكرات الحقيقية عن المزيفة، لا يحاول RNN-ProVe التحقق من كل ذاكرة حقيقية (لأن ذلك لا يزال صعباً جداً). بدلاً من ذلك، يأخذ عينة عشوائية من الذاكرات الحقيقية.
ويسأل: "من بين 1,000 ذاكرة حقيقية اخترناها، كم منها أدى إلى اصطدام؟"
- إذا أدت 10 من أصل 1,000 ذاكرة إلى اصطدام، فهو لا يقول: "الروبوت غير آمن".
- بل يقول: "هناك احتمال بنسبة 1% أن يصطدم الروبوت في هذا الموقف المحدد، ونحن واثقون بنسبة 99% من دقة هذا الرقم".
هذا يشبه خبير الأرصاد الجوية. بدلاً من القول "سوف تمطر بالتأكيد" أو "لن تمطر بالتأكيد"، يقول: "هناك احتمال بنسبة 30% لهطول الأمطار، بناءً على البيانات التي لدينا". وهذا يعطي إجابة أكثر فائدة وكمية.
لماذا هذا مهم؟
اختبر الباحثون هذا على نوعين من الألعاب:
- الوكيل الواحد: روبوت واحد يتنقل في شبكة.
- تعدد الوكلاء: روبوتان يعملان معاً لدفع صندوق.
النتائج:
- السرعة: استغرقت الأدوات القديمة دقائق أو ساعات للتحقق من الشبكات الصغيرة واستسلمت في الشبكات الأكبر. بينما قام RNN-ProVe بنفس عمليات التحقق في غضون أجزاء من الثانية.
- الدقة: غالباً ما وجدت الأدوات القديمة "مشكلات وهمية" (إنذارات خاطئة) لأنها فحصت ذاكرات مستحيلة. أما RNN-ProVe فقد تجاهل المستحيلات ووجد المخاطر الحقيقية.
- العمل الجماعي: لم تستطع الأدوات القديمة التعامل مع فرق الروبوتات التي تعمل معاً. لكن RNN-ProVe تعامل مع فريق تعدد الوكلاء بشكل مثالي، حيث تحقق مما إذا كان أي من أعضاء الفريق قد يرتكب خطأً.
الخلاصة
RNN-ProVe هو طريقة جديدة للتحقق من سلامة الذكاء الاصطناعي، تتوقف عن محاولة فحص كل سيناريو مستحيل. بدلاً من ذلك، تركز على ما يحدث بالفعل أثناء التدريب. ومن خلال تصفية المستحيلات وأخذ عينات من الواقع، فإنه يقدم لنا "نسبة مخاطرة" رياضية وسريعة توضح لنا مدى تكرار ارتكاب الروبوت الذكي لخطأ ما.
إنه يحول مسألة رياضية مخيفة وغير قابلة للحل إلى تقدير إحصائي يمكن إدارته، يخبرنا بالضبط مدى أمان الذكاء الاصطناعي المعتمد على التاريخ الخاص بنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.