RefusalBench: Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts
تقدم الورقة البحثية RefusalBench، وهو معيار اختبار قائم على الثلاثيات المتطابقة يكشف أن معدلات الرفض الصارمة تسيء ترتيب النماذج اللغوية الكبيرة الرائدة في مطالبات الأبحاث البيولوجية بسبب سياسات مسارات الوصول الخاصة بالمزودين بدلاً من أوزان النماذج، بينما تثبت أن المقاييس الثنائية تفشل في رصد سلوكيات الامتثال الجزئي الدقيقة وأن أداء التمييز بين الفئات يتباين بشكل كبير عبر النماذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحثية بعنوان "RefusalBench: لماذا يخطئ معدل الرفض في تصنيف النماذج اللغوية الكبيرة الرائدة في أبحاث البيولوجيا" (RefusalBench: Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts)، مترجمة إلى لغة بسيطة مع استخدام تشبيهات إبداعية.
الصورة الكبيرة: مشكلة "الحارس المفرط في الحماية"
تخيل أنك عالم يحاول بناء دواء جديد باستخدام فريق من المساعدين الأذكياء (الذكاء الاصطناعي). هؤلاء المساعدون يشبهون الحراس عند نادٍ حصري للغاية. مهمتهم هي السماح بدخول طلبات الأبحاث المشروعة (مثل "كيف أصمم بروتيناً لعلاج مرض ما؟") ولكن منع الطلبات الخطيرة (مثل "كيف أصنع سماً مميتاً؟").
المشكلة التي تبحثها هذه الورقة هي أن هؤلاء الحراس يتصرفون بشكل مختلف تماماً. فبعضهم صارم جداً لدرجة أنه يطرد الجميع، حتى الأخيار منهم. والبعض الآخر متساهل جداً لدرجة أنه يسمح لأي شخص بالدخول. تسأل الورقة: من هو أفضل حارس، وكيف نقيس ذلك؟
لقد صمم المؤلفون اختباراً يسمى RefusalBench لمعرفة ذلك. ووجدوا أن مجرد عدّ المرات التي يقول فيها الحارس "لا" هو وسيلة سيئة جداً للحكم عليه. فالحارس الذي يقول "لا" للجميع يبدو "آمناً"، لكنه في الواقع عديم الفائدة لأنه لن يسمح للعلماء الجيدين بالدخول.
كيف اختبروه: قائمة "الأسعار الثلاثة"
لاختبار الحراس بشكل عادل، أنشأ الباحثون قائمة مكونة من 141 طلباً. وقد نظموا هذه الطلبات في 47 مجموعة من ثلاثة (ثلاثيات).
فكر في الأمر كأنك تطلب برجر، لكن الشيء الوحيد الذي يتغير هو "مستوى خطورة" المكونات:
- البرجر السليم (Benign Burger): يستخدم مكونات آمنة ومعتادة (بروتينات بشرية). هذا طلب طبيعي تماماً.
- البرجر الحدودي (Borderline Burger): يستخدم مكونات مشبوهة قليلاً (مثل بكتيريا تتطلب مختبرات سلامة خاصة).
- البرجر مزدفع الاستخدام (Dual-Use Burger): يستخدم مكونات خطيرة للغاية (مثل السموم أو مسببات الأمراض الفائقة).
الهدف: يجب على الحارس المثالي أن:
- يقول "نعم" للبرجر السليم.
- ربما يتردد أو يقول "نعم، ولكن كن حذراً" للبرجر الحدودي.
- يقول "لا" قاطعة للبرجر مزدفع الاستخدام.
إذا قال الحارس "لا" للبرجر السليم، فهو مفرط في الرفض (خائف أكثر من اللازم). وإذا قال "نعم" للبرجر مزدفع الاستخدام، فهو مفرط في التساهل (متهور للغاية).
النتائج الصادمة
عندما طبقوا هذا الاختبار على 19 نموذجاً مختلفاً من الذاء الاصطناي (الحراس)، وجدوا اختلافات هائلة:
1. تأثير "المزود الواحد"
العامل الأكبر لم يكن من أين جاء الذكاء الاصطناعي (مثل أمريكا، الصين، أو أوروبا)، بل من صنعه.
- التشبيه: تخيل حارساً في نادٍ مملوك لـ "الشركة أ". مهما كان ما تطلبه، إذا كان من "الشركة أ"، فسيقوم الحارس بفحص هويتك ثلاث مرات وغالباً ما يطردك. لكن إذا ذهبت إلى نادٍ مملوك لـ "الشركة ب"، فسيتحقق الحارس منك بالكاد.
- النتيجة: إحدى الشركات المحددة (Anthropic) كان لديها حراس يقولون "لا" للطلبات المشروعة 21 مرة أكثر من الشركات الأخرى. لم يكن رفضهم بسبب "تفكير" الذكاء الاصطناعي في الخطر؛ بل لأن الشركة لديها كتاب قواعد صارم (فلتر) يحظر تلقائياً أي شيء يبدو خطيراً ولو قليلاً.
2. فخ "السلامة المزيفة"
تجادل الورقة بأن النظر إلى إجمالي عدد إجابات "لا" هو أمر مضلل.
- التشبيه: تخيل اثنين من حراس الأمن.
- الحارس (أ) يوقف 95% من الناس، بما في ذلك المدير التنفيذي وعامل النظافة، لأنه مرعوب من وجود قنبلة. يبدو "آمناً" جداً، لكنه سيء جداً في أداء عمله.
- الحارس (ب) يوقف 5% فقط من الناس، لكنه يوقف الإرهابيين الفعليين فقط ويسمح للجميع بالمرور.
- النتيجة: إذا قمت فقط بعدّ إجابات "لا"، سيبدو الحارس (أ) هو الفائز. لكن إذا قمت بقياس القدرة على التمييز (القدرة على التفريق بين الجيد والسيئ)، فإن الحارس (ب) هو البطل الحقيقي.
- في الدراسة، كان نموذج Grok 4.20 هو الأفضل في التمييز (سمح للطلبات الجيدة بالدخول وأوقف الطلبات السيئة)، رغم أنه قال "لا" أقل من الآخرين.
- على العكس من ذلك، نموذج Kimi K2.6 قال "لا" أكثر من غيره (بنسبة 94% من الوقت)، لكنه كان ببساطة يقول "لا" لكل شيء، جيداً كان أم سيئاً. لم يكن لديه أي قدرة على التمييز.
3. نمط "التحفظ مع المساعدة"
بعض الحراس لم يكتفوا بقول "لا" أو "نعم". بل قالوا: "لا يمكنني فعل ذلك، ولكن إليك بعض النصائح حول كيفية القيام بذلك بأمان".
- التشبيه: تسأل الحارس: "هل يمكنني إحضار سكين؟" فيقول الحارس: "لا، لا يمكنك إحضار سكين. ولكن إليك قائمة بالمتاجر حيث يمكنك شراء سكين بلاستيكي آمن جداً".
- النتيجة: تسعة من النماذج فعلت ذلك. لقد رفضوا الطلب المباشر لكنهم قدموا مساعدة جزئية. هذه "منطقة رمادية" تغفلها حسابات "نعم/لا" البسيطة تماماً. ومن غير الواضح ما إذا كان هذا مفيداً حقاً أم أنه مجرد طريقة ملتوية للمساعدة في مهام خطيرة.
4. اتجاه "التدهور"
نظر الباحثون في ثلاث نسخ من نفس النموذج (Claude Opus 4.5, 4.6, 4.7) التي تم إصدارها بمرور الوقت.
- النتيجة: النسخة الأحدث (4.7) قالت "لا" بشكل أكثر تكراراً من النسخ الأقدم. ولكن هنا تكمن الخدعة: لم تصبح أفضل في إيقاف الطلبات السيئة (كانت توقف 100% منها بالفعل)، بل بدأت فقط في إيقاف الطلبات الجيدة أيضاً.
- الخلاصة: جعلت الشركة النموذج "أكثر أماناً" عن طريق جعله أكثر إزعاجاً وغير مفيد، دون أن يجعله في الواقع أكثر أماناً ضد التهديدات الحقيقية.
لماذا يهم هذا العلم
تخلص الورقة إلى أنه إذا أراد العلماء استخدام هذه النماذج لتشغيل مختبراتهم تلقائياً، فعليهم اختيار "الحارس" المناسب.
- إذا اختاروا النماذج المفرطة في الحماية (مثل نماذج Anthropic في هذه الدراسة)، فستتعثر مشاريعهم البحثية لأن الذكاء الاصطناعي سيرفض القيام بمهام عادية وآمنة.
- وإذا اختاروا النماذج المتساهلة جداً، فقد يقومون عن غير قصد بإنشاء تعليمات خطيرة.
- الأفضل هو تلك النماذج التي تستطيع التمييز بين الطلب الآمن والطلب الخطير، حتى لو لم تقل "لا" بنفس تكرار النماذج الأخرى.
الخلاصة النهائية
لا يمكنك الحكم على نظام السلامة بمجرد عدد المرات التي يقول فيها "لا". النظام الذي يقول "لا" لكل شيء ليس آمناً؛ بل هو معطل فحسب. السلامة الحقيقية تتعلق بـ الدقة: معرفة متى تتوقف بالضبط ومتى تترك الأمور تمضي. توضح الورقة أن الطريقة الحالية لتصنيف هذه النماذج اللغوية معطلة، ونحن بحاجة إلى طرق أفضل لقياس ما إذا كانت ذكية بما يكفي للتمييز بين العلم الجيد والعلم السيئ.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.