💻 computer science

LLM-Safety Evaluations Lack Robustness

تجادل هذه الورقة بأن أبحاث سلامة النماذج اللغوية الكبيرة الحالية تعوقها ضوضاء وتناقضات كبيرة عبر مسار التقييم، وتقترح إرشادات منهجية لتحسين متانة وعدالة وقابلية مقارنة تقييمات الهجوم والدفاع المستقبلية.

المؤلفون الأصليون: Tim Beyer, Sophie Xhonneux, Simon Geisler, Gauthier Gidel, Leo Schwinn, Stephan Günnemann

نُشر 2026-05-19

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Tim Beyer, Sophie Xhonneux, Simon Geisler, Gauthier Gidel, Leo Schwinn, Stephan Günnemann

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول الحكم على أي من حارسي أمن جديدين هو الأفضل في إيقاف المتسللين. تقوم بإعداد اختبار ترسل فيه سلسلة من "الأسئلة المخادعة" إلى الحراس لترى ما إذا كانوا سيسمحون بالخطأ بمرور شخص سيء.

تجادل هذه الورقة بأن الطريقة الحالية لاختبار سلامة النماذج اللغوية الكبيرة (LLMs) تشبه استخدام اختبار مكسور، وغير متسق، وسيء التصميم لهؤلاء الحراس الأمنيين. ولأن الاختبار نفسه معيب، فلا يمكننا حقًا معرفة من هو الحارس الأفضل، مما يجعل التقدم في جعل الذكاء الاصطناعي أكثر أمانًا يتوقف في مكانه.

إليك تفصيل لنقاط الورقة الرئيسية باستخدام تشبيهات بسيطة:

1. أسئلة الاختبار صغيرة للغاية ومتكررة (مجموعات البيانات)

تخيل أنك تختبر قدرة حارس على كشف لص. بدلاً من إظهار 1,000 نوع مختلف من اللصوص له، تعرض عليهم 50 صورة فقط، و40 منها تبدو متطابقة تمامًا.

المشكلة: تقول الورقة إن اختبارات السلامة الحالية تستخدم قوائم صغيرة جدًا من "المطالبات السيئة" (غالبًا ما تكون بين 100 إلى 500 فقط). ولأن القائمة صغيرة جدًا، فإن النتائج تكون مليئة بـ "الضجيج" (الحظ العشوائي). إذا اختبرت نفس الحارس على قائمة مختلفة قليلاً من 50 صورة، فقد تتغير الدرجة بشكل كبير، مما يجعل من المستحيل معرفة ما إذا كان آمنًا حقًا.
مشكلة "أخذ العينات": أحيانًا يأخذ الباحثون قائمة ضخمة من الأسئلة ولكنهم يختارون عددًا صغيرًا وعشوائيًا فقط للاختبار. هذا يشبه معلمًا يقيم طالبًا بناءً على ثلاث أسئلة فقط من أصل امتحان مكون من 100 سؤال. هذا يجعل من الصعب مقارنة الطلاب المختلفين بشكل عادل لأن الجميع يخوض نسخة مختلفة وصغيرة من الاختبار.
"نقطة العمى باللغة الإنجليزية": معظم الاختبارات تكون باللغة الإنجليزية فقط. ولكن إذا كان الحارس يتحدث الإنجليزية فقط، فقد يفشل في اختبار باللغة الإسبانية. تشير الورقة إلى أن المعرفة بالسلامة غالبًا ما تتغير اعتمادًا على اللغة، لذا فإن الاختبار بالإنجليزية فقط يعطي شعورًا زائفًا بالأمان.

2. قواعد اللعبة مربكة (الخوارزميات)

تخيل أن هناك حارسين يتم اختبارهما، لكن أحدهما مسموح له باستخدام مصباح يدوي، بينما يُجبر الآخر على العمل في الظلام. أو أن أحد الحراس يتم اختباره بساعة توقيت سريعة، والآخر بساعة توقيت بطيئة.

الإعدادات الخفية: تشير الورقة إلى أن التفاصيل الصغيرة غير المرئية في كيفية تشغيل الاختبارات تغير النتائج بشكل جذري. على سبيل المثال، كيف يتعامل الكمبيوتر مع "المسافات" بين الكلمات أو نوع "قالب الدردشة" المستخدم يمكن أن يغير معدل نجاح الحارس بنسبة 14% أو أكثر.
فخ "الهدف": تحاول العديد من الهجمات إجبار الذكاء الاصطناعي على قول عبارة محددة مثل "بالتأكيد، إليك كيفية..." لإثبات أنه انكسر. ولكن إذا كان الذكاء الاصطناعي مدربًا على قول "بالطبع!" بدلاً من ذلك، فإن الهجوم يفشل ليس لأن الذكاء الاصطناعي آمن، بل لأن المهاجم كان يستخدم "المفتاح" الخاطئ. هذا يجعل الذكاء الاصطناعي يبدو أكثر أمانًا مما هو عليه في الواقع.
المقارنات غير العادلة: بعض الباحثين يختبرون طريقة الهجوم الخاصة بهم بقدرة حوسبة غير محدودة، بينما يختبر آخرون بقدرة ضئيلة جدًا. مقارنة ذلك تشبه مقارنة رياضي محترف يركض في سباق مع عداء سريع لديه انطلاقة مسبقة.

3. القضاة منحازون وغير متسقين (التقييم)

بعد أن يجيب الحارس على الأسئلة المخادعة، يجب على "القاضي" أن يقرر: "هل فشل؟"

هيئة المحلفين المجزأة: لا يوجد "محكمة عليا" واحدة لسلامة الذكاء الاصطناعي. بعض الباحثين يستخدمون ذكاءً اصطناعيًا واحدًا للحكم على الإجابات، والبعض يستخدم ذكاءً اصطناعيًا آخر، والبعض يستخدم البشر. هؤلاء "القضاة" غالبًا ما يختلفون مع بعضهم البعض. قد يقول قاضٍ إن الاستجابة آمنة، بينما يقول آخر إنها خطيرة، حتى بالنسبة لنفس الإجابة تمامًا.
خطأ "الجشع": معظم الاختبارات تجبر الذكاء الاصطناعي على تقديم الإجابة الأكثر احتمالًا (مثل الروبوت الذي يختار دائمًا أول شيء يتبادر إلى ذهنه). ولكن في العالم الحقيقي، الذكاء الاصطناعي يشبه الشخص الذي قد يقول أشياء مختلفة اعتمادًا على مزاجه أو عدد المرات التي تسأله فيها. من خلال اختبار الإجابة "الأكثر احتمالًا" فقط، فإننا نغفل عن المرات التي قد يقول فيها الذكاء الاصطناعي شيئًا خطيرًا بالخطأ عندما يكون "يفكر" بشكل مختلف.
نقطة عمى "الإفراط في الرفض": الحارس الآمن لا ينبغي أن يوقف الأشرار فحسب؛ بل لا ينبغي أيضًا أن يمنع الأشخاص الطيبين. إذا رفض الحارس دخول شخص مسالم لأنه يبدو مشبوهًا، فهذه مشكلة تسمى "الإفراط في الرفض". تقول الورقة إن معظم الاختبارات تتجاهل هذا؛ فهي تتحقق فقط مما إذا كان الحارس يوقف الأشرار، وليس ما إذا كان فظًا مع الطيبين.

"الرأي المعارض" (لماذا الأمور على ما هي عليه)

تستمع الورقة أيضًا إلى الجانب الآخر. يجادل بعض الباحثين بأن:

الاختبارات الصغيرة أرخص: الاختبارات الكبيرة تكلف الكثير من المال والوقت. الاختبارات الصغيرة تسمح للباحثين بتجربة أفكار جديدة بسرعة.
الكمال مستحيل: اللغة فوضوية. لن يكون لدينا أبدًا "قاضٍ" مثالي يفهم كل فروق اللغة البشرية. علينا فقط الاستمرار في تحسين أفضل الأدوات التي نمتلكها.
التقدم يحدث على أي حال: حتى مع الاختبارات الفوضوية، لا يزال المجال يتقدم. يتم اكتشاف أفكار جديدة حتى لو لم تكن لوحة النتائج مثالية.

الحل: كتاب قواعد أفضل

المؤلفون لا يقولون إنه يجب علينا التوقف عن الاختبار. هم يقولون إننا بحاجة إلى إصلاح كتاب القواعد حتى يلعب الجميع وفقًا لنفس القواعد. هم يقترحون:

استخدام قوائم أسئلة أكبر وأفضل حتى لا تكون النتائج مجرد ضربة حظ.
توحيد الإعدادات حتى يستخدم الجميع نفس "المصباح اليدوي" و"ساعة التوقيت".
استخدام قضاة متعددين وجعل البشر يدققون النتائج لكشف الانحيازات.
اختبار الجانبين: التحقق مما إذا كان الذكاء الاصطناعي يوقف الأشرار وأيضًا ما إذا كان يسمح بدخول الطيبين.

باختصار: تزعم الورقة أننا في الوقت الحالي نحاول قياس مدى أمان الذكاء الاصطناعي باستخدام مسطرة يتغير طولها باستمرار. وحتى نصلح المسطرة، لا يمكننا التأكد مما إذا كنا نحرز تقدمًا فعليًا.

ملخص تقني: تفتقر تقييمات سلامة النماذج اللغوية الكبيرة (LLM) إلى المتانة

بيان المشكلة

تجادل الورقة البحثية بأن الأبحاث الحالية في مجال سلامة النماذج اللغوية الكبيرة (LLM) ومواءمتها تعاني بشكل كبير من خطوط تقييم غير موثوقة. على الرغم من التقدم السريع في قدرات النماذج، يعاني المجال من "مصادر متداخلة للضجيج" تشمل مجموعات البيانات الصغيرة، وعدم الاتساق المنهجي، وإعدادات التقييم المعيبة. تمنع هذه المشكلات إجراء مقارنات عادلة بين استراتيجيات الهجوم والدفاع، وتطمس التقدم الحقيقي، وتؤدي إلى إبطاء تطوير تدابير السلامة القوية. يستحضر المؤلفون أوجه تشابه مع الصراعات التاريخية في المتانة العدائية للرؤية الحاسوبية، حيث أنتجت التقييمات المعيبة تغذية راجعة مضللة أدت إلى تأخير الحلول الحقيقية.

المنهجية

يجري المؤلفون تحليلاً منهجياً لخط تقييم سلامة النماذج اللغوية الكبيرة، حيث يقوم بتفكيكه إلى ثلاث مراحل أساسية: تنسيق مجموعة البيانات، استراتيجيات التحسين (الخوارزميات)، وتقييم الاستجابة.

تحليل مجموعة البيانات: تفحص الورقة حجم وتنوع وتكوين مجموعات بيانات السلامة والرفض المفرط الحالية (مثل AdvBench وXSTest وHarmBench). وتطبق النمذجة الإحصائية (فترات Clopper-Pearson) لإظهار عدم اليقين الناتج عن أحجام العينات الصغيرة (عادةً ما تكون 100-500 مطالبة).
دراسات حالة خوارزمية: يبحث المؤلفون في تفاصيل التنفيذ التي تسبب الانحياز، مع التركيز بشكل خاص على:
- الترميز (Tokenization) والمسافات البيضاء: تحليل كيفية تأثير التعامل غير الصحيح مع رموز المسافات البيضاء (مثل رموز SentencePiece التحتية) على عملية التحسين.
- قوالب الدردشة ومطالبات النظام: مقارنة معدلات نجاح الهجوم (ASR) عبر تكوينات القوالب المختلفة (مثل Meta مقابل الافتراضات الافتراضية لـ HuggingFace).
- الكمية (Quantization) والتصفية: تقييم تأثير الدقة (BF16 مقابل Int8) وتصفية الرموز الخاصة على فعالية الهجوم.
تحليل منظومة التقييم: تقارن الدراسة بين نماذج "الحكم" المختلفة (مثل مصنف Llama-2-13B في HarmBench مقابل حكم Gemma-2B في StrongREJECT) واستراتيجيات التوليد (التوليد الجشع/Greedy decoding مقابل أخذ العينات التوزيعي/Distributional sampling).
التحقق الإحصائي: يجري المؤلفون اختبارات z على النتائج العامة للأوراق البحثية الحديثة رفيعة المستوى (مثل Guan et al., 2024) لتحديد ما إذا كانت التحسينات المبلغ عنها ذات دلالة إحصائية بالنظر إلى أحجام مجموعات البيانات المستخدمة.

المساهمات والنتائج الرئيسية

1. قيود مجموعة البيانات

أحجام العينات الصغيرة: غالباً ما تكون مجموعات البيانات الحالية صغيرة جداً (100-500 مطالبة) لإنتاج نتائج إحصائية موثوقة. يوضح المؤلفون أنه مع $n=150$ ونسبة نجاح 50%، فإن فترة الثقة بنسبة 95% لاحتمالية النجاح واسعة ( $[0.417, 0.583]$ )، مما يجعل من المستحيل التمييز بين الطرق ذات الفروق الطفيفة في الأداء.
التجزئة وأخذ العينات الفرعية: يعتمد المجال على مجموعات بيانات مجزأة، وغالباً ما يلجأ الباحثون إلى أخذ عينات فرعية منها بسبب قيود الحوسبة. يؤدي هذا إلى بيئات تقييم غير متسقة حيث تتطلب إعادة إنتاج النتائج إعادة تنفيذ الخطوط المرجعية على مجموعات فرعية محددة، مما يزيد من التكاليف الهندسية.
نقص التنوع: تهيمن اللغة الإنجليزية على مجموعات البيانات، وهي أحادية الدور ومتكررة. يخلق هذا نقاط عمياء، مما يسمح للهجمات الساذجة (مثل هجمات الماضي أو هجمات الترجمة) بالنجاح في مواضع قد تفشل فيها في سيناريوهات أكثر تنوعاً أو متعددة الأدوار أو متعددة اللغات في العالم الحقيقي.
الغموض: تحتوي العديد من مجموعات البيانات على مطالبات غامضة (على سبيل المثال، قانونية في بعض الولايات القضائية وغير قانونية في أخرى) لا تتماشى مع تعريف عالمي للضرر، مما يدخل الضجيج عند مقارنة النماذج من مطورين مختلفين.

2. عدم الاتساق الخوارزمي

الحساسية للتنفيذ: تغير تفاصيل التنفيذ الطفيفة معدلات نجاح الهجوم (ASR) بشكل جذري. على سبيل المثال، وجد المؤلفون أن التعامل غير الصحيح مع رموز المسافات البيضاء قلل من نجاح هجوم GCG بنسبة 28% ضد Llama-2. وبالمثل، تسبب تغيير قوالب الدردشة أو مستويات الكمية في تباينات في ASR تتراوح بين 71% و85% لنفس الهجوم على Llama-3.1.
عدم اتساق الميزانية: نادراً ما تتم مقارنة الهجمات تحت ميزانيات حوسبة محكومة. تستخدم بعض الطرق قدرة حوسبية مفرطة لتعظيم ASR، بينما يتم تقييم طرق أخرى عند نقاط تشغيل غير مثالية، مما يؤدي إلى مقارنات مضللة.
أهداف التحسين المنحازة: تعمل معظم الهجمات على تحسين سلاسل مستهدفة جامدة (مثل "Sure, here..."). إذا اختلف الرد الإيجابي الطبيعي للنموذج عن هذا القالب، فسيظهر الهجوم أقل فعالية مما هو عليه في الواقع، أو ستفشل الدفاعات المدربة على هذه الأهداف المحددة ضد الهجمات التكيفية ذات الأهداف المختلفة.

3. عيوب التقييم

انحياز التوليد الجشع (Greedy Decoding): يفشل الاستخدام المهيمن للتوليد الجشع في التقاط الطبيعة التوزيعية لمخرجات النماذج اللغوية الكبيرة. النماذج التي تبدو قوية تحت التوليد الجشع قد تنتج محتوى ضاراً بشكل متكرر تحت استراتيجيات أخذ العينات الواقعية (مثل درجة الحرارة 1).
تجزئة وانحياز "الحكم": منظومة الحكام الآليين مجزأة. كشفت دراسة المؤلفين واسعة النطاق (5.2 مليون عملية توليد) أن الحكام المختلفين (HarmBench مقابل StrongREJECT) يمكن أن يختلفوا في ASR بنسبة تصل إلى 25% لهجمات معينة و24% عبر النماذج.
نقص التحقق البشري: غالباً ما تمتلك الحكام الآليون معدلات مرتفعة من الإيجابيات الكاذبة (FPR) لنماذج أو دفاعات معينة، مما يؤدي إلى نتائج متفائلة للغاية. يظهر المؤلفون أن الاعتماد فقط على الحكام الآليين يمكن أن يؤدي إلى الإبلاغ عن ادعاءات غير ذات دلالة إحصائية على أنها ذات دلالة عالية جداً.
تجاهل المقايضات: نادراً ما تبلغ الدفاعات عن مقايضة السلامة مقابل الرفض المفرط بشكل شامل. العديد من الدفاعات تحسن مقاييس السلامة بينما تضعف بشكل كبير قدرة النموذج على الإجابة على المطالبات الحميدة، وهو نمط فشل حرج غالباً ما يتم التغاضي عنه.

النتائج والأدلة

الدلالة الإحصائية: أظهرت إعادة تحليل دراسة Guan et al. (2024) أنه بينما كانت نتائجهم الداخلية قوية، فإن نتائج مجموعة البيانات العامة وحدها لم تكن ذات دلالة إحصائية عند $\alpha=0.05$ فيما يتعلق بتحسينات الرفض المفرط، مما يسلط الضوء على خطر الاعتماد على المعايير العامة الصغيرة.
تأثير التنفيذ: أظهرت التجارب أن توحيد قوالب الدردشة وتصفية الرموز يمكن أن يغير ASR بنسبة تصل إلى 14%. كما أدى التعامل غير الصحيح مع المسافات البيضاء إلى انخفاض في ASR بنسبة 28%.
التباين بين الحكام: كشفت مقارنة اثنين من الحكام الشهيرين على 5.2 مليون عملية توليد أن أحد الحكام (StrongREJECT) سجل باستمرار معدلات ASR أقل من الآخر (HarmBench)، لكن حجم الفرق كان يتفاوت بشكل كبير اعتماداً على الهجوم المحدد والنموذج الضحية، مما يعقد المقارنات بين الأوراق البحثية.

الأهمية والادعاءات

تفترض الورقة أن مجال سلامة النماذج اللغوية الكبيرة غير قادر حالياً على توليد نتائج سهلة المقارنة أو تحقيق تقدم قابل للقياس بسبب عيوب التقييم هذه. يرى المؤلفون أن معالجة هذه المشكلات ليست مجرد تحسين تقني، بل هي شرط مسبق للدقة العلمية في هذا المجال.

التوصيات الأساسية:

مجموعات البيانات: إعطاء الأولوية لمعايير أكبر وعالية الجودة وتجنب أخذ العينات الفرعية العشوائية. إذا كان أخذ العينات الفرعية ضرورياً، فيجب استخدام تقسيمات ثابتة ومحددة مسبقاً (مثل تقسيم التطوير جنباً إلى جنب مع المعيار الكامل).
التنفيذ: توحيد وتوثيق التفاصيل الحرجة مثل الكمية، والترميز، وقوالب الدردشة، والتعامل مع المسافات البيضاء.
المقارنات العادلة: ضبط الهجمات بناءً على الجهد (ميزانية الحوسبة) أو معدل النجاح. يجب على الدفاعات الإبلاغ باستمرار عن مقاييس السلامة والرفض المفرض معاً.
التقييم: الانتقال من التوليد الجشع إلى التقييم التوزيعي. استخدام نماذج حكم متعددة وتضمين التحقق اليدوي للكشف عن الانحيازات الخاصة بالحكام.
الحوافز: يجب على المراجعين ومنظمي المؤتمرات صياغة متطلبات إعادة الإنتاج هذه كإرشادات إلزامية لضمان التزام المؤلفين بأفضل الممارسات.

تخلص الورقة إلى أنه بينما سمحت المعايير غير المثالية تاريخياً بالتقدم في مجالات تعلم الآلة الأخرى، فإن التعقيد الفريد والرهانات العالية لسلامة النماذج اللغوية الكبيرة تتطلب خط تقييم أكثر صرامة وشفافية ومعيارية لضمان أن ادعاءات السلامة قوية وموثوقة.