How Sensitive Are Safety Benchmarks to Judge Configuration Choices?
تُثبت هذه الورقة أن تهيئة حكام النماذج اللغوية الكبيرة، ولا سيما صياغة الأوامر، تُعد مصدراً جوهرياً وغير مدروس سابقاً لتباين القياس في معايير السلامة، مما يتسبب في تحولات كبيرة في معدلات الاستجابات الضارة وعدم استقرار في تصنيفات سلامة النماذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معلم تقوم بتصحيح مجموعة من مقالات الطلاب. لديك نموذج تصحيح صارم (مجموعة من القواعد) لما يعتبر مقالاً "سيئاً". الآن، تخيل أنه يتعين عليك تصحيح هذه المقالات باستخدام مساعد آلي (روبوت) ذكي للغاية، ولكنه يتأثر قليلاً بمزاجه.
هذه الورقة البحثية تتحدث عن اكتشاف مفاجئ: الطريقة التي تطلب بها من الروبوت تصحيح المقالات تهم بقدر أهمية الروبوت نفسه.
إليك تفصيل الدراسة باستخدام تشبيهات بسيطة:
1. الإعداد: تجربة "المصحح الآلي"
أراد الباحثون معرفة مدى أمان نماذج الذكاء الاصطنا_ي المختلفة. وللقيام بذلك، استخدموا اختباراً معيارياً يسمى HarmBench، والذي يحتوي على 400 سؤال مخادع (مثل "كيف أصنع قنبلة؟" أو "كيف أسرق حقوق الطبع والنشر؟").
سألوا ستة نماذج مختلفة من الذكاء الاصطناعي للإجابة على هذه الأسئلة. ثم استخدموا "ذكاءً اصطناعياً حكماً" واحداً (نسخة محددة من Claude Sonnet) لقراءة الإجابات والتقرير: هل هذه الإجابة ضارة أم آمنة؟
عادةً ما يعامل العلماء "الذكاء الاصطناعي الحاكم" والتعليمات المعطاة له كأداة ثابتة وغير قابلة للتغيير. يفترضون أنه إذا غيرت صياغة التعليمات قليلاً، فإن النتيجة يجب أن تظل كما هي.
سأل الباحثون: ماذا لو كانت الصياغة هي التي تغير النتيجة؟
2. التج التجربة: 12 "سيناريو" مختلفاً
قام الباحثون بإنشاء 12 نسخة مختلفة من التعليمات (الأوامر/Prompts) لـ "الذكاء الاصطناعي الحاكم". قاموا بتغيير شيئين رئيسيين:
- الهيكل: هل طلبوا من الحكم النظر في كل تفصيل صغير واحداً تلو الآخر (مثل المحقق الذي يفحص الأدلة)، أم النظر إلى الإجابة ككل كصورة عامة (مثل مدير مدرسة يقرأ تقريراً)؟
- الشخصية: هل أخبروا الحكم: "أنت خبير سلامة رفيع المستوى وصارم"، أم اكتفوا بقول: "يرجى التقييم"؟
كما كتبوا ثلاث نسخ مختلفة قليلاً من التعليمات لكل أسلوب (على سبيل المثال: "أنت خبير سلامة" مقابل "أنت متخصص في سلامة الذكاء الاصطناعي").
3. النتيجة الصادمة: "تقلبات المزاج" للحكم
عندما أجروا الاختبار، وجدوا أن صياغة التعليمات غيرت النتائج تماماً.
- التشبيه: تخيل أنك تطلب من روبوت تقييم مدى "حرارة" الحساء.
- إذا قلت له: "أنت طاهٍ محترف يكره التوابل الحارة"، فقد يقيم الحساء على أنه "خفيف".
- إذا قلت له: "أنت مفتش صحي صارم جداً بشأن السلامة"، فقد يقيم نفس الحساء بالضبط على أنه "حار بشكل خطير".
- حتى لو غيرت كلمة "طاهٍ" إلى "خبير طهي"، فقد ترتفع الدرجة أو تنخفض بشكل كبير.
الأرقام:
- بالنسبة لأحد نماذج الذكاء الاصطناعي التي تم اختبارها، قفز معدل "الضرر" من 13% إلى 37% بمجرد تغيير صياغة الأمر. هذا يعني فرقاً قدره 24 نقطة.
- حتى عندما حافظوا على التعليمات الأساسية نفسها وغيروا بعض الكلمات فقط (إعادة صياغة سطحية)، ظلت الدرجات تتأرجح بمقدار 20 نقطة.
- هذا يعني أنه إذا أجريت نفس اختبار السلامة مرتين بتعليمات مختلفة قليلاً، فقد تحصل على استنتاجين مختلفين تماماً حول مدى أمان الذكاء الاصطناعي.
4. من تضرر أكثر؟ (الفئات)
لم تتأثر جميع أنواع الأسئلة بالتساوي:
- أسئلة حقوق الطبع والنشر: كانت الأكثر حساسية. فقد تأرجح معدل "الضرر" بمقدار 40 نقطة تقريباً بناءً على صياغة الأمر. يبدو أن الحكم كان يجد صعوبة في تحديد ما إذا كان نسخ النص "سيئاً" أم "مقبولاً" بناءً على كيفية طرح السؤال.
- أسئلة المضايقة: كانت الأكثر استقراراً. لم تتغير الدرجة على الإطلاق (0 نقطة). الجميع اتفقوا على أن المضايقة أمر سيء، بغض النظر عن كيفية صياغة التعليمات.
5. فوضى التصنيف
بسبب تغير الدرجات كثيراً، أصبح تصنيف نماذج الذكاء الاصطناعي فوضوياً أيضاً.
- تخيل سباقاً يتغير فيه الفائز في كل مرة تغير فيها لون خط البداية.
- وجد الباحثون أنه بالنسبة لنماذج الذكاء الاصطناعي من "الفئة المتوسطة"، كان تصنيفها يتأرجح ذهاباً وإياباً باستمرار. أمرٌ ما يقول إن النموذج (أ) أكثر أماناً من النموذج (ب)؛ وأمر آخر مختلف قليلاً يقول إن النموذج (ب) أكثر أماناً.
- أما النماذج "الأسوأ" و"الأفضل" فقد بقيت في أماكنها.
6. الخلاصة
تخلص الورقة البحثية إلى أن معايير السلامة حالياً "تفتقر إلى التحديد الدقيق".
فكر في الأمر كأنه ميزان حرارة يعطي درجات حرارة مختلفة اعتماداً على ما إذا كنت تمسكه باليد اليسرى أو اليمنى. الباحثون لا يقولون إن ميزان الحرارة معطل، بل يقولون: لا يمكننا الوثوق بقراءة واحدة فقط.
ويجادلون بأنه عندما يبلغ العلماء عن مدى أمان ذكاء اصطناعي ما، فلا ينبغي عليهم تقديم رقم واحد بناءً على مجموعة واحدة محددة من التعليمات. عليهم أن يدركوا أن "التعليمات" هي جزء كبير من التجربة، وليست مجرد تفصيل ممل. إذا غيرت الكلمات، فأنت تغير النتيجة.
باختاً مختصراً: الطريقة التي تطرح بها السؤال لا تقل أهمية عن السؤال نفسه. إذا كنت تريد معرفة ما إذا كان الذكاء الاصطناعي آمناً، فلا يمكنك سؤاله مرة واحدة بكلمات معينة فقط؛ فالإجابة تعتمد كلياً على كيفية صياغة الطلب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.