SafetyALFRED: Evaluating Safety-Conscious Planning of Multimodal Large Language Models
تقدم هذه الورقة SafetyALFRED، وهو معيار مرجعي جديد يوسع بيئة ALFRED عبر إضافة مخاطر مطبخية من العالم الحقيقي لتقييم النماذج اللغوية الكبيرة متعددة الوسائط، مما يكشف عن فجوة كبيرة بين قدرتها على التعرف على المخاطر الأمنية في إعدادات الإجابة على الأسئلة الثابتة وقدرتها على التخفيف من تلك المخاطر بنشاط من خلال التخطيط المتجسد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت خادماً آلياً ذكياً للغاية ومتعلماً جداً يدعى "AI". لقد علّمته كل شيء عن العالم: كيفية الطبخ، وكيفية التنظيف، وحتى قواعد السلامة من خلال آلاف الكتب والمواقع الإلكترونية.
أعطيته مهمة بسيطة: "اذهب إلى المطبخ واغسل سكين الزبدة."
ينظر الروبوت حوله، فيرى هاتفاً ذكياً موضوعاً في حوض الغسيل، ويقول: "أرى هاتفاً في الحوض! هذا أمر خطير لأن الماء والكهرباء لا يمتزجان. يجب أن أنقل الهاتف."
حتى الآن، الأمور تسير على ما يرام. الروبوت ذكي.
ولكن بعد ذلك، تطلب من الروبوت القيام بالمهمة فعلياً. ينظر إلى الهاتف، يهز رأسه موافقاً، ثم يقوم فوراً بفتح الصنبور لغسل السكين، متجاهلاً الهاتف تماماً. (طرطشة!) لقد تعطل الهاتف.
هذه هي بالضبط المشكلة التي اكتشفها الباحثون في جامعة ميشيغان وجامعة بويزي ستيت في ورقتهم البحثية الجديدة، SafetyALFRED.
الفكرة الكبرى: "المعرفة" مقابل "الفعل"
بنى الباحثون اختباراً يسمى SafetyALFRED. فكر في الأمر كأنه اختبار قيادة للروبوتات، ولكن بد way من السيارة، هم يختبرون وكلاء الذكاء الاصطنا Artificial Intelligence في مطبخ افتراضي. لقد أنشأوا ستة أنواع من "كوارث المطبخ" التي تنتظر الوقوع، مثل:
- هاتف في الحوض (الماء + الإلكترونيات = أمر سيء).
- ملعقة معدنية في الميكروويف (المعدن + الموجات الدقيقة = حريق/انفجار).
- باب خزانة مفتوح (خطر تعثر).
- موقد (بوتاجاز) متروك مشتعلاً (خطر حريق).
لقد اختبروا 11 نموذجاً من أذكى نماذج الذكاء الاصطناتي المتاحة (مثل Qwen و Gemma و Gemini) لمعرفة ما إذا كان بإمكانهم التعامل مع هذه المواقف.
الاختباران
أجرى الباحثون اختبارين مختلفين لمعرفة كيف ستتصرف الروبوتات:
1. اختبار "برنامج المسابقات" (سؤال وجواب)
عرضوا على الروبوت صورة للمطبخ وسألوا: "هل يوجد أي شيء خطير هنا؟"
- النتيجة: كانت الروبوتات مذهلة! لقد أجابت على حوالي 90% من الإجابات بشكل صحيح. استطاعت رصد الهاتف في الحوض أو الموقد المشتعل بشكل مثالي تقريباً. كانوا مثل الطلاب الذين يتفوقون في امتحان السلامة.
2. اختبار "الحياة الواقعية" (التخطيط المتجسد)
أعطوا الروبوت نفس مشهد المطبخ لكنهم قالوا له: "الآن، اذهب واغسل السكين." كان على الروبوت التخطيط لخطواته وتحريك الأشياء فعلياً.
- النتيجة: فشلت الروبوتات فشلاً ذريعاً. على الرغم من معرفتها بأن الهاتف يشكل خطراً، إلا أنها غالباً ما نسيت نقله وحاولت فقط غسل السكين. انخفض معدل نجاحها إلى أقل من 60%، وبالنسبة لبعض المخاطر الصعبة، كانت النسبة تقترب من 0%.
التشبيه: الطالب "الذي يعرف كل شيء"
تخيل طالباً درس بجد لامتحان سلامة الحرائق.
- في الفصل الدراسي (الاختبار): يسأله المعلم: "ماذا تفعل إذا رأيت حريقاً؟" فيصرخ الطالب: "اتصل بالطوارئ واستخدم طفاية الحريق!" ويحصل على درجة امتياز.
- في العالم الحقيقي (المهمة المتجسدة): سلة مهملات تشتعل فيها النار بالفعل. الطالب، وهو في حالة ذعر وتركيز شديد على إنهاء واجباته المنزلية، يركل سلة المهملات بالخطأ، مما يجعل الحريق يزداد سوءاً، لأنه كان مركزاً جداً على "الواجب المنزلي" (المهمة) لدرجة أنه نسي "قاعدة السلامة" (الخطر).
تطلق الورقة البحثية على هذا اسم "فجوة المواءمة" (Alignment Gap). معرفة الذكاء الاصطناعي بالسلامة لا تتطابق مع أفعاله عندما يكون مشغولاً بإنجاز مهمة ما.
لماذا فشلوا؟
وجد الباحثون عدة أسباب لهذا الفشل:
- نفق الرؤية للمهمة (Task Tunnel Vision): عندما يُطلب من الروبوت "غسل السكين"، يصبح مهووساً جداً بهذا الهدف لدرجة أنه يتجاهل الهاتف في الحوض. الأمر يشبه سائقاً يركز بشدة على الوصول إلى المتجر لدرجة أنه يتجاوز الإشارة الحمراء.
2.مشكلات الإدراك: بدون مساعدة إضافية (مثل وصف نصي لما هي الأشياء)، لم تستطع الروبوتات أحياناً "رؤية" الخطر بوضوح كافٍ في الصورة للتحرك بناءً عليه. - تحديد الأولويات: يبدو أن الروبوتات تعتقد: "يجب أن أنهي المهمة أولاً، السلامة يمكنها الانتظار".
الحل: "مساعد الطيران للسلامة"
لإصلاح ذلك، جرب الباحثون حيلة ذكية. بدلاً من طلب القيام بكل شيء من روبوت واحد، استخدموا روبوتين يعملان معاً:
- قاضي السلامة: روبوت وظيفته الوحيدة هي النظر إلى المشهد والصراخ: "مهلاً! هناك هاتف في الحوض!"
- المنفذ: الروبوت الذي يقوم بغسل السكين فعلياً.
عندما أخبر "قاضي السلامة" الـ "منفذ" عن الخطر، أصبح "المنفذ" فجأة أفضل بكثير في إصلاحه. الأمر يشبه وجود مساعد طيار في السيارة يصرخ "فرامل!" بينما أنت مركز على نظام تحديد المواقع (GPS).
الخلاصة
الرسالة الرئيسية لهذه الورقة البحثية بسيطة ولكنها مخيفة: مجرد قدرة الذكاء الاصطناعي على اجتياز اختبار السلامة لا يعني أنه سيكون آمناً في العالم الحقيقي.
لا يمكننا فقط أن نسأل الروبوتات: "هل تعرف ما هو آمن؟" ونفترض أنها ستتصرف بأمان. نحن بحاجة إلى بناء أنظمة تكون فيها السلامة جزءاً مستمراً ونشطاً من عملية اتخاذ القرار لديهم، وليس مجرد حقيقة حفظوها من أجل اختبار.
لقًد نشر الباحثون الكود الخاص بهم وبياناتهم (SafetyALFRED) لكي يتمكن علماء آخرون من بناء روبوتات أفضل وأكثر أماناً لن تتسبب بالخطأ في إتلاف هاتفك أو إشعال حريق أثناء محاولتها إعداد العشاء لك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.