When the Defense Writes the Refusal: Auditing Keyword-Scored Evaluation of Inference-Time Defenses for Multimodal Large Language Models
تُثبت هذه الورقة أن المقيمات القائمة على الكلمات المفتاحية تبالغ بشكل منهجي في تقدير معدلات الرفض في النماذج اللغوية الكبيرة متعددة الوسائط من خلال تصنيف لغة السلامة المضمنة داخل دفاعات وقت الاستدلال القائمة على المطالبات خطأً على أنها حالات رفض فعلية، مما يبطل طرق التسجيل هذه لمقارنة فعالية الدفاع.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف يكون مواطناً صالحاً. تريد أن يكون متعاوناً، ولكن عليك أيضاً التأكد من أنه لن يقول أبداً شيئاً فظاً أو خطيراً أو غير قانوني. هذا هو عالم النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs). هذه عقول حاسوبية فائقة الذكاء يمكنها رؤية الصور وقراءة النصوص في وقت واحد. ولأنها تستطيع رؤية الصور، فإنها تواجه نوعاً جديداً من المشاكل: قد يخفي شخص ما تعليمات سيئة داخل صورة، مثل ملاحظة سرية مكتوبة في البكسلات، لخداع الروبوت للقيام بشيء خاطئ.
ولإيقاف ذلك، اخترع العلماء "دفاعات وقت الاستنتاج" (inference-time defenses). فكر في هذه الدفاعات كحراس أمن يقفون بجانب الروبوت مباشرة أثناء عمله. وبدلاً من إعادة تدريب الروبوت من الصفر (وهو أمر يشبه إرساله للعودة إلى المدرسة لسنوات)، تقوم هذه الدفاعات بتعديل الأسئلة التي يتلقاها الروبوت أو تفحص إجاباته قبل أن يتحدث. لكن الجزء الصعب هنا هو: كيف نعرف ما إذا كان هؤلاء الحراس يعملون حقاً؟ نحن بحاجة إلى طريقة لحساب عدد المرات التي يقول فيها الروبوت "لا، لا يمكنني فعل ذلك" (رفض) عندما ينبغي له ذلك. عادةً، يستخدم الباحثون قائمة مرجعية بسيطة لـ "الكلمات السيئة". إذا كانت إجابة الروبوت تحتوي على كلمة مثل "ضار" أو "غير آمن"، فإن القائمة المرجعية تضع علامة عليه. الأمر يشبه معلماً يصحح اختباراً بمجرد البحث عن عبارات محددة في مقال الطالب.
الآن، تخيل ورقة بحثية جديدة تطرح سؤالاً مثيراً للريبة للغاية: ماذا لو كان حارس الأمان نفسه هو من يكتب الملاحظات التي تطلق إنذار القائمة المرجعية؟ ماذا لو كان الحارس حريصاً جداً على الأمان لدرجة أنه يتسبب بالخطأ في جعل الروبوت يبدو وكأنه يرفض الإجابة، حتى عندما يكون الروبوت في الواقع متعاوناً؟ هذا هو بالضبط ما اكتشفه الباحثون في جامعة لومونوسوف موسكو الحكومية. لقد قاموا بمراجعة تجارب الأمان الخاصة بهم ووجدوا خللاً هائلاً في كيفية حسابهم لعمليات "الرفض".
الخلط الكبير في مسألة "الرفض"
نظر الباحثون في أرشيف ضخم من التجارب التي شملت ثمانية نماذج ذكية مختلفة (من عائلات InternVL و Qwen-VL) وثلاثة أنواع مختلفة من حراس الأمان. أرادوا معرفة مدى جودة هذه الحراس في إيقاف الطلبات السيئة. ولكن عند النظر عن كثب في البيانات، وجدوا شيئاً غريباً للغاية.
في مجموعة اختبار قياسية مكونة من 28,000 سؤال غير ضار، قامت "القائمة المرجعية للكلمات المفتاحية" القديمة بوضع علامة على 7,532 إجابة على أنها تحتوي على كلمات مفتاحية تتعلق بالسلامة. يبدو هذا كثيراً من حالات الرفض! ولكن عندما استخدموا طريقة أذكى وأكثر دقة (قاضٍ ذكاء اصطناعي منفصل يقرأ معنى الجمل فعلياً)، وجدوا أن الروبوت رفض حقاً حوالي 138 مرة فقط.
قم بإجراء العملية الحسابية: كانت القائمة المرجعية القديمة تحصي حالات أكثر بـ 54.6 مرة من الإجابات التي تم وضع علامة عليها مقارنة بحالات الرفض الفعلية. كان الأمر يشبه حارس أمن في حفلة يعتقد أن الجميع يحاولون التسلل لأنهم جميعاً يرتدون شارات "ممنوع الدخول"، بينما في الواقع، كانوا جميعاً ضيوفاً يحملون لوحات "ترحيب".
الجاني: نص الحارس الأمني نفسه
لماذا جن جنون القائمة المرجعية؟ تكشف الورقة أن حراس الأمان كانوا يكتبون نصوصهم الخاصة التي تطلق الإنذار بالخطأ.
استخدم اثنان من الحراس الذين اختبروهم تقنية تسمى "التلقين بالتعليل" (rationale prompting). هذا يشبه قولك للروبوت: "قبل أن تجيب، فكر خطوة بخطوة فيما إذا كان هذا آمناً. إذا كان سيئاً، قل 'لا يمكنني القيام بهذا'". المشكلة هي أن الروبوت اتبع هذه التعليمات بدقة شديدة. فقد يقول أشياء مثل: "لقد فكرت في هذا، وهو ليس ضاراً، أو غير قانوني، أو غير أخلاقي، لذا إليك إجابتي".
رأت القائمة المرجعية للكلمات المفتاحية القديمة كلمات "ضار"، "غير قانوني"، أو "غير أخلاقي" ووضعت علامة على الإجابة. ومع ذلك، كان الهدف من القاعدة هو تحديد الإجابة كإجابة "آمنة" إذا كانت تحتوي على كلمة ضارة ما لم تكن هي نفسها رفضاً. لم تدرك القائمة المرجعية أن الروبوت كان يقتبس قواعد السلامة فقط ليشرح لماذا يمكنه الإجابة. كان الحارس مشغولاً جداً بشرح القواعد لدرجة أنه تسبب بالخطأ في إطلاق الإنذار. لم يكن هذا خطأً مستمراً؛ بل حدث غالباً عندما يستخدم الروبوت حراس "التفكير خطوة بخطوة" هذه. كلما حاول الحارس أن يكون أكثر أماناً، بدا الأمر وكأنه يرفض المساعدة.
ماذا يعني هذا للمستقبل
لم يكتشف الباحثون مجرد خطأ حسابي؛ بل اكتشفوا خللاً جوهرياً في كيفية قياسنا للأمان. لقد أظهروا أنه لا يمكنك ببساال مجرد عد "الكلمات السيئة" لمعرفة ما إذا كان الدفاع يعمل، لأن الدفاع نفسه قد يكون هو من يكتب تلك الكلمات.
كما اضطروا أيضاً إلى استبعاد الكثير من بياناتهم القديمة. فقد أدركوا أنه بالنسبة لبعض تجاربهم، لم يتمكنوا حتى من إثبات أن الصور التي ظنوا أنهم أرسلوها للروبوت قد وصلت بالفعل. كان الأمر يشبه محاولة تصحيح اختبار بينما لست متأكداً مما إذا كان الطالب قد خاض الامتحان أصلاً. لقد وضعوا ثلاث مجموعات من أصل سبع مجموعات اختبار تحت الحجر الصحي، محتفظين بالملفات كدليل على ما حدث ولكن رافضين استخدام الأرقام لأي استنتاجات.
الخلاصة النهائية هي بمثابة واقع صادم. تشير الورقة إلى أن "درجات السلامة" التي نراها في العديد من التقارير قد تكون تقيس مدى جودة تحفيز الدفاع لإنذار الكلمات المفتاحية، بدلاً من قياس مدى نجاحه في الحفاظ على أمان الروبوت فعلياً. وجد الباحثون أن "أمان" أي دفاع يتغير اعتماداً على نموذج الروبوت الذي تستخدمه والاختبار الذي تجريه. لا يوجد "حارس واحد" هو الأفضل ويعمل بشكل مثالي في كل مكان.
باخت مختص، تحذرنا الورقة من أنه عندما نبني أنظمة الأمان، يجب أن نكون حذرين من أن نترك حديث النظام عن الأمان نفسه يخدعنا ويجعلنا نظن أنه معطل. إذا قال الروبوت: "أنا أتحقق مما إذا كان هذا غير آمن"، ثم أعطاك الإجابة، فهذا ليس رفضاً—بل هو روبوت متعاون يقوم بعمله. الطريقة القديمة في العد افتقدت هذا الفهم الدقيق، وإلى أن نصلح طريقة القياس لدينا، قد نكون بصدد الحكم بشكل خاطئ على مدى أمان ذكائنا الاصطناعي حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.