When Scanners Lie: Evaluator Instability in LLM Red-Teaming

1. بيان المشكلة

تُستخدم أدوات فحص ثغرات النماذج اللغوية الكبيرة (LLM) الآلية على نطاق واسع لتقييم أمن الذكاء الاصطناعي من خلال حساب معدل نجاح الهجوم (ASR). ومع ذلك، فإن صلاحية معدل نجاح الهجوم (ASR) معرضة للخطر بسبب مكون حاسم غالباً ما يتم تجاهله، وهو: المُقيِّم (الآلية التي تحدد ما إذا كان الهجوم قد نجح أم لا).

• المشكلة الجوهرية: إن معدل نجاح الهجوم (ASR) ليس خاصية متأصلة في النموذج، بل يتم تعريفه تشغيلياً من خلال قواعد القرار الخاصة بالمُقيِّم.
• عدم الاستقرار: يؤدي تغيير المُقيِّم (على سبيل المثال، من مطابقة الكلمات المفتاحية الثابتة إلى مُقيّم يعتمد على نموذج لغوي كبير) مع بقاء مطالبات الهجوم ومخرجات النموذج ثابتة، إلى تغيير جذري في معدل نجاح الهجوم (ASR) المُبلغ عنه.
• النتيجة: يؤدي هذا إلى عدم استقرار في القياس، حيث تصبح درجات الضعف حساسة لاختيار المُقيِّم بدلاً من كونها حساسة للصلابة الفعلية للنموذج المستهدف. تفترض الماسحات الضوئية الحالية غالباً أن معدل نجاح الهجوم (ASR) ثابت بغض النظر عن تصميم المُقيِّم، مما يخلق خطراً منهجياً يتمثل في تقديم تقييمات أمنية مضللة.

2. المنهجية: إطار عمل ذو مرحلتين يراعي الموثوقية

يقترح المؤلفون إطار عمل لتشخيص وتخفيف عدم الاستقرار الناتج عن المُقيِّم دون الحاجة إلى عمليات ترميز بشري مكثفة.

المرحلة الأولى: التشخيص (تحليل عدم اتفاق المُقيِّمين)

• الهدف: قياس عدم الاستقرار الناتج عن استبدال المُقيِّمين.
• الآلية: يتم تطبيق مُقيِّمين مختلفين ($E_1$ و $E_2$) على نفس مجموعة أزواج (المطالبة-الاستجابة).
• المقياس: يتم حساب معدل عدم الاتفاق ($D$) كنسبة العينات التي تمنح فيها المُقيِّمات تسميات نجاح ثنائية مختلفة.
  $$D = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}\{E_1(x_i, y_i) \neq E_2(x_i, y_i)\}$$
• الإجراء: يتم تمييز فئات الهجوم التي يتجاوز معدل عدم الاتفاق فيها عتبة معينة ($\tau$) كفئات "غير مستقرة". وهذا يحدد أنواع الهجمات المحددة التي يكون معدل نجاح الهجوم (ASR) المُبلغ عنها غير موثوق فيها.

المرحلة الثانية: المعالجة (التقييم المدعوم بالتحقق)

• الهدف: تحسين الموثوقية لفئات الهجوم التي تم تمييزها.
• الآلية: يتم إدخال مُحقِّق (Verifier) مستقل يعتمد على نموذج لغوي كبير. بخلاف المُقيِّمات الأولية، يستخدم هذا المُحقِّق نموذجاً لغوياً كبيراً قادراً على الاستنتاج المنطقي مع "مطالبة نظام" (system prompt) مهيكلة لتفكيك القرار إلى عدة فحوصات قبل تعيين التسمية النهائية.
• العملية:
  1. يقوم المُحقِّق بإعادة تقييم أزواج (المطالبة-الاستجابة) المستخدمة في المرحلة الأولى.
  2. يوفر إشارة مرجعية مستقلة لتقدير دقة المُقيِّمات الأصلية.
  3. الاستبدال المستهدف: يمكن للممارسين استبدال المُقيِّمات غير المستقرة بمُقيِّمات أكثر موثوقية (مثل القضاة الديناميكيين القائمين على النماذج اللغوية الكبيرة) بشكل انتقائي فقط لفئات الهجوم المحددة حيث تبرر زيادة الموثوقية التكلفة الحسابية.

3. الإعداد التجريبي

• الماسح الضوئي: Garak (الإصدار 0.13.2)، وهو ماسح ضوئي شهير مفتوح المصدر لثغرات النماذج اللغوية الكبيرة.
• النطاق: 25 فئة هجوم متميزة (مثل: حقن المطالبات، توليد البرمجيات الخبيثة، DAN).
• النماذج المستهدفة: ثلاثة نماذج ذات أحجام ومزودين مختلفين (Mistral-Small، CommandA، GPT-5-mini).
• المُقيِّمات التي تمت مقارنتها:
  • الثابتة: مُقيِّمات Garak الافتراضية القائمة على القواعد (82% من المجموعة؛ التعبيرات النمطية regex، ومطابقة الكلمات المفتاحية).
  • الديناميكية: قاضٍ عام يعتمد على نموذج لغوي كبير (Grok-4.1).
  • المُحقِّق: نموذج لغوي مستقل (GPT-5.2) يُستخدم كوكيل للحقيقة الأرضية (ground-truth proxy).

4. النتائج الرئيسية

• عدم استقرار واسع النطاق:
  • أظهرت 22 من أصل 25 فئة هجوم (88%) معدلات عدم اتفاق بين المُقيِّمين تتجاوز عتبة الموثوقية ($\tau = 0.05$).
  • أظهرت 6 فئات معدلات عدم اتفاق تجاوزت 0.50، مما يعني أن اختيار المُقيِّم قلب غالبية قرارات النجاح أو الفشل.
  • مثال: هجوم "التضليل" (Misleading) سجل معدل عدم اتفاق قدره 0.97، بينما كان هجوم "الاستمرارية" (Continuation) مستقراً عند 0.013.
• تحسين الدقة:
  • أدى استبدال المُقيِّمات الثابتة غير المستقرة بأخرى ديناميكية (التي تم التحقق منها بواسطة المُحقِّق) إلى زيادة الدقة الإجمالية للماسح من 72% إلى 89%.
  • ومع ذلك، لم تكن المُقيِّمات الديناميكية متفوقة بشكل عالمي؛ ففي 4 من أصل 22 فئة تم تمييزها، كان المُقيِّم الثابت أكثر دقة.
• عدم اليقين في معدل نجاح الهجوم (ASR):
  • يمكن أن تختلف درجات الضعف المُبلغ عنها بنسبة ±33% اعتماداً على المُقيِّم المستخدم.
  • يوضح الشكل 5 في الورقة فترات عدم يقين كبيرة لأنواع هجوم محددة (مثل "Snowball" و "Leak Replay").
• مقايضة التكلفة والعائد:
  • النشر الانتقائي: أدى استبدال أفضل المُقيِّمات ذات الربح العالي فقط إلى زيادة الدقة إلى 81.9% مع زيادة ضئيلة في التكلفة قدرها (0.15 دولار).
  • تناقص العوائد: أدى استبدال جميع المُقيِّمات بمُقيِّمات ديناميكية في الواقع إلى خفض الدقة الإجمالية (انخفضت إلى 89.3% من ذروتها البالغة 89.9%) لأن بعض القواعد الثابتة كانت أكثر ملاءمة لهجمات معينة.
  • التكلفة الإجمالية: أدى الاستبدال الكامل إلى زيادة تكاليف المسح بنحو 5.25 دولار لكل عملية مسح.

5. المساهمات الرئيسية

1. إثبات عدم الاستقرار المعتمد على المُقيِّم: تثبت الورقة تجريبياً أن معدل نجاح الهجوم (ASR) هو دالة لتصميم المُقيِّم، وليس فقط للنموذج المستهدف، مما يتحدى الافتراض بأن مقاييس الضعف ثابتة.
2. تشخيص عدم الاتفاق بين المُقيِّمين: تقنية جديدة لتحديد فئات الهجوم غير الموثوقة من خلال قياس عدم الاتفاق على مستوى العينة بين المُقيِّمين، مما يعمل كمرشح لموثوقية الماسح.
3. تقدير الموثوقية القائم على التحقق: آلية قابلة للتوسع باستخدام مُحقِّق مستقل (LLM verifier) لتقدير دقة المُقيِّم وتوجيه عمليات الترقية المستهدفة، مما يتجنب التكلفة العالية للترميز البشري واسع النطاق.

6. الأهمية والآثار المترتبة

• إعادة صياغة الاختبار الأحمر (Red-Teaming): ينقل هذا العمل المنظور من مجرد مهمة "توليد هجوم" إلى مشكلة موثوقية قياس.
• إرشادات عملية لفرق الأمن:
  • لا تثق في معدل نجاح الهجوم (ASR) الخام: يجب على الممارسين الأمنيين التعامل مع درجات ASR بحذر، مع الإدراك بأنها مرتبطة بمسار التقييم المستخدم.
  • الترقيات المستهدفة: بدلاً من استبدال جميع المُقيِّمات بقضاة باهظي الثمن يعتمدون على النماذج اللغوية الكبيرة، يجب على المؤسسات استخدام إطار العمل التشخيصي لترقية المكونات غير المستقرة فقط، مما يحقق التوازن الأمثل بين الدقة والتكلفة.
  • كشف الغموض: يشير عدم الاتفاق العالي بين جميع المُقيِّمين (بما في ذلك المُحقِّق) إلى أن تعريف الهجوم نفسه قد يكون غامضاً ويتطلب تحسيناً.
• مستقبل سلامة الذكاء الاصطناعي: مع توسع الاختبار الأحمر الآلي، يعد ضمان موثوقية المُقيِّمات الأساسية أمراً بالغ الأهمية لإنتاج تقييمات أمنية تعكس سلوك النموذج بدقة.

في الختام، تجادل الورقة بأن تصميم المُقيِّم هو عقبة حرجة في أمن النماذج اللغوية الكبيرة. ومن خلال تنفيذ إطار عمل يراعي الموثوقية، يمكن للمؤسسات تقليل أخطاء القياس بشكل كبير واتخاذ قرارات أكثر استنارة بشأن نشر النماذج والمواقف الأمنية.