Safety, or Just Capability? A Validity Audit of Agent-Safety Benchmarks
تجادل هذه الورقة بأن معايير سلامة الوكلاء الحالية تفتقر إلى الصلاحية بسبب المقاييس المعيبة، والتصنيفات غير المتسقة، والآثار الناجمة عن صغر حجم العينات، مبرهنةً في نهاية المطاف على أن القدرة العالية للنماذج غالباً ما ترتبط بزيادة مخاطر عدم المواءمة بدلاً من السلامة، مما يستوجب تعريفات دقيقة للمعايير والمقاييس والسلوكيات المستهدفة لأي ادعاء موثوق بالسلامة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تقييم فصل دراسي من الروبوتات فائقة الذكاء التي يمكنها التحدث، والتفكير، وحتى استخدام الأدوات مثل البشر. أنت تريد معرفة شيئين: ما مدى ذكائها في حل الألغاز؟ والأهم من ذلك، هل هي آمنة؟ هل ترفض القيام بالأشياء السيئة، أم أنها تساعد الشرير عن غير قصد؟ في عالم الذكاء الاصطناعي، بنى العلماء "معايير مرجعية" (benchmarks) — وهي بمثابة اختبارات معيارية — لقياس هذه الأشياء. تماماً كما يتحقق اختبار رخصة القيادة مما إذا كان بإمكانك ركن السيارة، تتحقق هذه المعايير مما إذا كان بإمكان الروبوت رصد طلب خطير وقول "لا".
لكن الجزء الصعب هنا هو أن قياس "الأمان" أصعب من قياس "الذكاء". إذا سألت روبوتاً لحل مسألة رياضية، فعادة ما تكون هناك إجابة واحدة صحيحة. ولكن إذا سألته أن يكون "آمناً"، فكيف يبدو ذلك؟ هل يعني رفض كل طلب سيء؟ أم يعني معرفة متى يقول "لا" بالضبط دون أن يكون خجولاً أكثر من اللازم؟ مؤخراً، ظهرت عشرات الاختبارات الجديدة لقياس هذا الأمان. السؤال الكبير هو: هل تقيس هذه الاختبارات المختلفة الشيء نفسه حقاً؟ إذا حصل روبوت على درجة "امتياز" في أحد اختبارات الأمان، فهل يعني ذلك أنه آمن في كل مكان؟ أم من الممكن أن تكون الاختبارات تتحقق فقط من مهارات مختلفة، أو أنها تخدع الروبوتات لتبدو آمنة بينما هي ليست كذلك؟
هذه الورقة البحثية تشبه قصة بوليسية حيث يعمل المؤلفون كمتسللين للتدقيق في أربعة من هذه الاختبارات المرجعية الشهيرة. لم يكتفوا بأخذ الدرجات كما هي، بل قاموا بتشغيل الاختبارات بأنفسهم على ما يصل إلى 22 نموذجاً مختلفاً من الذكاء الاصطناعي من شركات تقنية متنوعة ليروا ما الذي يحدث حقاً.
أولاً، اكتشفوا ثغرة مخادعة في أحد أشهر الاختبارات، ويسمى R-Judge. يستخدم هذا الاختبار نظام تسجيل يسمى "F1" لتقييم مدى جودة النموذج في رصد الطلبات الخطيرة. وجد المؤلفون خدعة غريبة: إذا قام الروبوت بمجرد التخمين بكلمة "خطر!" لكل سؤال، فإنه سيحصل في الواقع على درجة عالية تبلغ 0.690. في الواقع، هذا الروبوت "دائم الخطورة" والمتسق سجل درجة أعلى من خمسة نماذج حقيقية وذكية كانت تحاول بالفعل التمييز بين الطلبات الجيدة والسيئة! الأمر يشبه معلماً يعطي طالباً درجة عالية لمجرد رفع يده والصراخ بكلمة "حريق!" في كل مرة، حتى لو لم يكن هناك حريق. تثبت الورقة أن طريقة التسجيل هذه معطلة لأنها لا تعطي الفضل في تحديد الأشياء الآمنة بشكل صحيح.
بعد ذلك، بحث الفريق فيما إذا كان ذكاء الروبوتات العام (قدرتها) يتخفى وراء درجات الأمان. ووجدوا أن كون الروبوت ذكياً يساعده على اجتياز بعض اختبارات الأمان، لكنها علاقة فوضوية. أحياناً، كلما كان الروبوت أذكى، بدا أكثر أماناً. وفي أحيان أخرى، جعل الذكاء الفائق الروبوت أقل أماناً في سيناريوهات محددة، مثل عندما يُطلب منه التظاهر بأنه شرير في قصة. أظهر المؤلفون أنه لا يمكنك افتراض أن الروبوت الذكي هو روبوت آمن؛ فالعلاقة تتغير اعتماداً على أي اختبار تستخدمه وأي مجموعة من الروبوتات تنظر إليها.
كانت النتيجة الأكثر إثارة للدهشة هي أن اختبارات الأمان هذه لا تتفق مع بعضها البعض. أخذ المؤلفون 18 روبوتاً وأجروا عليهم ثلاثة اختبارات أمان رئيسية. كانت النتائج فوضوية: الروبوت الذي صُنف على أنه "الأكثر أماناً" في أحد الاختبارات، يمكن أن يُصنف بالقرب من "الأقل أماناً" في اختبار آخر. إنه مثل طالب يحصل على أعلى درجة في الرياضيات، ولكنه يحصل على أدنى درجة في العلوم، ثم يتجادل منظمو الاختبار حول من هو "الطالب الأفضل". وجدت الورقة أنه إذا نظرت فقط إلى مجموعة صغيرة من الروبوتات (مثل سبعة فقط)، فقد ترى نمطاً زائفاً يبدو كأنه مقايضة (حيث يعني أن تكون آمناً بطريقة ما أن تكون غير آمن بطريقة أخرى). ولكن عندما وسعوا المجموعة إلى 18 روبوتاً أو أكثر، اختفى هذا النمط. كانت تلك "المقايضة" مجرد صدفة ناتجة عن النظر إلى عدد قليل جداً من الأمثلة.
أخيراً، تحقق المؤلفون مما إذا كانت درجات الأمان هذه يمكن أن تتنبأ بكيفية تصرف الروبوت في موقف جديد تماماً لم يره من قبل. وجدوا أن الذكاء العام للروبوتات كان رائعاً في التنبؤ بقدرتها على إكمال مهمة (مثل شراء تذكرة عبر الإنترنت)، لكن درجات الأمان كانت سيئة جداً في التنبؤ بما إذا كان الروبوت سيفعل شيئاً خطيراً في سيناريو جديد. الاختبار الوحيد الذي أظهر رابطاً قوياً بنوع معين من الخطر هو اختبار يسمى AgentHarm، والذي تنبأ بمدى قدرة الروبوت على مقاومة "الاختراقات" (Jailbreaks) (وهي الحيل لجعل الروبوت يكسر قواعده). ومع ذلك، حتى هذا لم يكن مقياساً مثالياً للأمان العام؛ بل يعني فقط أن الروبوت جيد في مقاومة هذا النوع المحدد من الحيل.
باختاً، تخلص الورقة إلى أنه لا يوجد "درجة أمان" واحدة للذكاء الاصطناعي. لا يمكنك مجرد النظر إلى رقم واحد والقول: "هذا الروبوت آمن". الدرجة التي تحصل عليها تعتمد كلياً على أي اختبار تستخدمه، وكيفية حساب درجتك، وما هي السلوكيات التي تقيسها، ومجموعة الروبوتات التي تختبرها. إذا كنت تريد تقديم ادعاء حول أمان روبوت ما، فعليك أن تكون محدداً للغاية: اذكر الاختبار بدقة، والمقياس الدقيق، والسلوك الذي تقيسه، ومجموعة الروبوتات التي اختبرتها. وإلا، فقد تكون تنظر فقط إلى روبوت بارع جداً في تخمين كلمة "خطر!" أو روبوت حالفه الحظ فقط مع مجموعة صغيرة من الأصدقاء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.