Implicit Safety Alignment from Crowd Preferences
تقترح هذه الورقة البحثية "التعلم المعزز القائم على تفضيلات الحشود الآمنة"، وهو إطار عمل هرمي يستخلص وينقل معايير السلامة الضمنية من تفضيلات الحشود المتنوعة إلى المهام اللاحقة، مما يمكن الوكلاء من تحقيق سلامة تضاهي الأساليب المثالية دون الحاجة إلى مكافآت سلامة صريحة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يقود سيارة. تعطي له تعليمات بسيطة: "اذهب إلى البقالة بأسرع ما يمكن". قد يقرر الروبوت، بكونه آلة حرفية في فهم التعليمات، أن أسرع طريقة هي القيادة على الرصيف، أو القفز فوق المشاة، أو تجاوز الإشارات الحمراء. لقد اتبع تعليماتك بدقة، لكنه تجاهل القاعدة غير المعلنة: لا تقتل أحداً.
هذه هي مشكلة "السلامة الضمنية". البشر يعرفون هذه القواعد بالفطرة، ولكن من الصعب للغاية كتابتها كصيغة رياضية للكمبيوتر.
تقترح هذه الورقة البحثية طريقة جديدة وذكية لتعليم الروبوتات هذه القواعد الأمنية الخفية من خلال النظر فيما يفكر فيه حشد من الناس، بدلاً من سؤال خبير واحد لكتابة كتاب قواعد.
المشكلة: "النموذج الموحد" للمكافأة
عادةً، عندما نقوم بتدريب الذكاء الاصطناعي، نستخدم طريقة تسمى التعلم المعزز من التعليقات البشرية (RLHF). نعرض على الناس سلوكين مختلفين للروبوت ونسألهم: "أيهما أفضل؟". يتعلم الذكاء الاصطناعي "نموذج مكافأة" (بطاقة تقييم) بناءً على هذه الإجابات.
ومع ذلك، في العالم الحقيقي، يمتلك الناس أهدافاً مختلفة.
- المستخدم (أ) قد يريد من الروبوت أن يقود بسرعة.
- المستخدم (ب) قد يريد من الروبوت أن يقود ببطء.
- المستخدم (ج) قد يريد من الروبوت أن يسلك طريقاً خلاباً.
ولكن إليكم السر: الجميع يتفق على السلامة. حتى لو أراد المستخدم (أ) السرعة وأراد المستخدم (ب) البطء، فإن كليهما يتفق على أن صدم أحد المشاة أمر سيء.
وجد المؤلفون أنه إذا قمت بمجرد دمج كل هذه الآراء المختلفة في بطاقة تقييم واحدة ضخمة، فسيصاب الذكاء الاصطناعي بالارتباك. قد يتعلم هوس المستخدم (أ) بالسرعة وينسى قواعد السلامة، أو قد يعلق في محاولة إرضاء الجميع بالتساوي ويفشل في أداء المهمة الفعلية. الأمر يشبه محاولة خبز كعكة عن طريق خلط كل نكهات الآيس كريم معاً؛ ستنتهي بنتيجة فوضوية، وليس بكعكة.
الحل: نهج "مكتبة المهارات"
بدلاً من محاولة دمج النتائج (المكافآت)، قرر المؤلفون دمج المهارات.
فكر في الأمر مثل مدرب جمباز يعلم روتيناً جديداً:
- مكتبة المهارات (المستوى المنخفض): أولاً، ينظر المدرب إلى حشد كبير من لاعبي الجمباز. البعض بارعون في الشقلبة، والبعض في التوازن على عارضة التوازن، والبعض في القفز. ورغم اختلاف أساليبهم، إلا أنهم جميعاً يعرفون القاعدة الذهبية للجمباز: "لا تهبط على رأسك". يستخلص المدرب هذه الحركات الأساسية والآمنة ويضعها في مكتبة.
- المصمم (المستوى العالي): الآن، يحتاج المدرب لتعليم روتين جديد (مهمة لاحقة) لم يره أحد من قبل. وبدلاً من إعادة تعليم لاعبي الجمباز كيفية الوقوف أو كيفية عدم السقوط، يقوم المدرب ببساطة باختيار المهارات الصحيحة من المكتبة وربطها معاً.
ولأن كل مهارة في المكتبة قد تم التحقق من سلامتها مسبقاً (لا أحد في المكتبة يهبط على رأسه)، فإن الروتين الجديد يكون آمناً تلقائياً، حتى لو لم يقل المدرب صراحةً "لا تهبط على رأسك" لهذا الروتين الجديد تحديداً.
كيف يعمل الأمر في الورقة البحثية
بنى الباحثون نظاماً يتكون من جزأين:
- المُفكك (متعلم المهارة): ينظر إلى تفضيلات الحشد ويستخدم خدعة رياضية خاصة (تسمى VAE) لمعرفة "الشخصية" الخفية وراء كل تفضيل. إنه يتعلم أن "المستخدم X يحب السرعة" و"المستخدم Y يحب الحذر"، ولكنه يتعلم أيضاً أن الجميع يكره الاصطدام. يحول هذا إلى "مهارات آمنة".
- المؤلف (المدير/البوس): عندما تأتي مهمة جديدة (مثل "الذهاب إلى المتجر")، لا يحاول "المدير" تعلم السلامة من الصفر. بل يقوم فقط باختيار أفضل تشكيلة من المهارات الجاهزة والآمنة لإنجاز العمل.
النتائج
اختبر الفريق هذا النظام على روبوتات في ألعاب الفيديو (مثل فهد يركض أو سباح يتحرك) وحتى نسخة مبسطة من برنامج دردشة آلي (Chatbot).
- الطريقة القديمة (المهمة فقط): كانت الروبوتات تنجز المهمة لكنها كانت تصطدم باستمرار أو تقول أشياءً غير لائقة.
- طريقة "الخلط والدمج": عندما حاولوا مجرد خلط النتائج (المكافآت)، كانت الروبوتات إما خطيرة جداً أو مرتبكة جداً لدرجة تمنعها من العمل بشكل جيد.
- طريقة "تركيب المهارات": تعلمت الروبوتات المهام الجديدة بقدر كفاءة الخبراء تقريباً، لكنها نادراً ما اصطدمت أو قالت أي شيء ضار. فعلت ذلك دون أن تُخبر صراحةً بأن "السلامة مهمة" للمهمة الجديدة؛ فقد ورثت السلامة من العادات المشتركة للحشد.
الخلاصة
تظهر هذه الورقة أننا لسنا بحاجة إلى تعريف قواعد السلامة بدقة لكل وظيفة جديدة. بدلاً من ذلك، يمكننا النظر إلى حشد متنوع من الناس، وإيجاد عادات السلامة المشتركة التي يتشاركونها جميعاً، وتحويل تلك العادات إلى مكتبة من "الحركات الآمنة"، ثم ترك الذكاء الاصطناعي يجمع تلك الحركات لحل المشكلات الجديدة. الأمر يشبه تعليم روبوت أن يكون آمناً من خلال إظهار ألف شخص مختلف يتفقون جميعاً على شيء واحد: لا تؤذِ أحداً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.