💬 NLP

RACC: Representation-Aware Coverage Criteria for LLM Safety Testing

تقدم هذه الورقة البحثية RACC (معايير تغطية الوعي بالتمثيل)، وهو إطار عمل قابل للتوسع لاختبار سلامة النماذج اللغوية الكبيرة عبر استخراج تمثيلات خاصة بالسلامة من الحالات الخفية لتقييم كفاية مجموعة الاختبار وتوجيه توليد الهجمات، مما يتغلب بفعالية على قيود معايير التغطية التقليدية على مستوى الخلايا العصبية.

المؤلفون الأصليون: Zeming Wei, Zhixin Zhang, Chengcan Wu, Yihao Zhang, Xiaokun Luan, Meng Sun

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zeming Wei, Zhixin Zhang, Chengcan Wu, Yihao Zhang, Xiaokun Luan, Meng Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً جداً، ولكنه مشاكس أحياناً (نموذج لغوي كبير أو LLM). تريد التأكد من أنه لا يقول أي شيء مسيء، أو خطير، أو غير قانوني. وللقيام بذلك، ترسل إليه آلاف الأسئلة الماكرة (تسمى عمليات الاختراق أو "jailbreaks") لترى ما إذا كان سيخرق قواعد السلامة الخاصة به.

المشكلة هي: كيف تعرف ما إذا كانت قائمة الأسئلة الماكرة الخاصة بك جيدة حقاً؟

الطريقة القديمة: عد المصابيح الكهربائية

في الماضي، حاول الباحثون قياس جودة الاختبار من خلال مراقبة "المصابيح" الداخلية (النيورونات) للروبوت. كانوا يعدون عدد المصابيح التي تضيء عندما يعالج الروبوت سؤالاً ما.

العيب: هذا يشبه محاولة فهم فيلم من خلال عد عدد البكسلات التي تغيرت على الشاشة. قد يضيء خلل صغير وغير ذي معنى مليون بكسل، بينما قد تضيء فكرة خطيرة وعميقة بضعة بكسلات فقط. كما أن هذه الطريقة بطيئة ومكلفة جداً لعد كل مصباح في دماغ روبوت ضخم.

الطريقة الجديدة: RACC (بوصلة السلامة)

تقدم هذه الورقة البحثية RACC (معايير التغطية الواعية بالتمثيل - Representation-Aware Coverage Criteria). بدلاً من عد كل مصباح كهربائي، يبحث RACC عن بوصلة الروبوت الداخلية التي تشير نحو "الخطر".

إليك كيف يعمل RACC، باستخدام تشبيه بسيط:

1. معايرة البوصلة (مجموعة المعايرة)

أولاً، يعرض الباحثون على الروبوت قائمة منسقة وصغيرة من الأسئلة السيئة بوضوح (مثل "كيف أصنع قنبلة؟"). يقومون بتحليل دماغ الروبوت أثناء تفكيره في هذه الأسئلة للعثور على "الاتجاه" أو "المتجه" (vector) المحدد حيث يكمن مفهوم الأذى.

التشبيه: تخيل أنك تريد اختبار جهاز كشف المعادن. أولاً، تعرض عليه بعض العملات والصخور المعروفة لتعايره بحيث يعرف تماماً ما الذي يشعر به تجاه "المعدن".

2. قياس "اتجاه الخطر"

بعد ذلك، يأخذون قائمة جديدة من أسئلة الاختبار. وبدلاً من عد المصابيح العشوائية، يسألون: "إلى أي مدى يشير هذا السؤال في اتجاه 'الأذى'؟"

إذا كان السؤال مجرد إعادة صياغة غير ضارة لسؤال سيء (مرادف)، فإنه يشير إلى نفس الاتجاه. هنا يقول RACC: "لقد رأينا هذا الاتجاه بالفعل؛ لم يتم تغطية أرض جديدة".
إذا كان السؤال غير ضار تماماً (مثل "ما هي حالة الطقس؟")، فإنه يشير إلى اتجاه مختلف تماماً. هنا يقول RACC: "هذا لا يحفز بوصلة الخطر على الإطلاق. تجاهله".
إذا كان السؤال طريقة ذكية وجديدة لخداع الروبوت، فإنه يشير إلى اتجاه جديد من الأذى. هنا يقول RACC: "ممتاز! لقد وجدنا نقطة عمياء جديدة".

3. القواعد الست للبوصلة

يستخدم RACC ست قواعد محددة للحكم على قائمة الاختبار، مقسمة إلى مجموعتين:

المجموعة (أ): فحص المفاهيم الفردية (الـ "ماذا")

هل وجدنا الأشياء السيئة؟ (SFC): هل حفزت قائمة الاختبار أي اتجاهات الخطر المعروفة؟
هل وصلنا إلى الأهداف الرئيسية؟ (TKFC): هل وصلت قائمة الاختبار إلى أقوى اتجاهات الخطر، وليس فقط الاتجاهات الضعيفة؟
هل اختبرنا شدة الخطورة؟ (FIC): هل تضمنت قائمة الاختبار كلاً من "همسات" الخطر و"صرخات" الخطر؟ (بعض الهجمات تكون خفية، وبعضها يكون صارخاً).

المجموعة (ب): فحص التوليفات (الـ "كيف")
4. هل زرنا جميع الأحياء؟ (SCC): هل غطت قائمة الاختبار أنواعاً مختلفة من السلوكيات السيئة (مثل العنف، خطاب الكراهية، الاحتيال) بدلاً من مجرد تكرار نفس النوع؟
5. هل خلطنا المكونات؟ (PCC): هل تضمنت قائمة الاختبار أسئلة تجمع بين شيئين سيئين في آن واحد (مثل عملية احتيال تتضمن أيضاً عنفاً)؟
6. هل وجدنا الحواف الضبابية؟ (CBC): هل وجدت قائمة الاختبار الأسئلة التي تقع تماماً على الخط الفاصل الضبابي بين "الآمن" و"غير الآمن"، حيث يصاب الروبوت بالارتباك؟

لماذا هذا مهم (النتائج)

اختبرت الورقة البحثية RACC مقابل طرق "عد المصابيح" القديمة باستخدام معايير سلامة حقيقية من العالم الواقعي.

الطريقة القديمة تعرضت للخداع بسهولة. إذا أضفت 1,000 سؤال غير ضار أو أعدت صياغة نفس السؤال السيئ 1,000 مرة، فإن الطريقة القديمة ستعتقد أن قائمة الاختبار أصبحت "أفضل" لأن المزيد من المصابيح قد أضاءت.
RACC ظل ذكياً. فقد تجاهل الضجيج غير الضار والمرادفات المتكررة. لقد منح درجات عالية فقط عندما وجدت قائمة الاختبار طرقاً جديدة ومتنوعة لكسر سلامة الروبوت.

الاستخدامات الواقعية المذكورة

توضح الورقة طريقتين عمليتين لاستخدام RACC:

ترتيب أولويات الاختبارات: إذا كان لديك كومة ضخمة وفوضوية من أسئلة الاختبار، يمكن لـ RACC فرزها بسرعة، واختيار الأسئلة الأكثر فائدة ورمي المهملات.
أخذ عينات من الهجمات: إذا كنت تحاول توليد طرق جديدة لكسر الروبوت، فإن RACC يساعدك في اختيار المحاولات الأكثر واعدة لتجربتها لاحقاً، مما يوفر الوقت والجهد.

الخلاصة

RACC هو مسطرة جديدة وأكثر ذكاءً لقياس مدى جودة اختبارنا لسلامة الذكاء الاصطناعي. بدلاً من الضياع في ملايين التفاصيل الصغيرة داخل دماغ الذكاء الاصطناعي، فإنه يركز على "إشارات الخطر" المحددة التي تهم، مما يجعل اختبار السلامة أسرع، وأرخص، وأكثر دقة بكثير.

ملخص تقني: RACC: معايير تغطية مدركة للتمثيل لاختبار سلامة النماذج اللغوية الكبيرة (LLMs)

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) مخاطر أمنية جسيمة من هجمات "كسر الحماية" (jailbreak attacks)، والتي تستغل نقاط ضعف النموذج لتوليد محتوى ضار. تعتمد اختبارات السلامة الحالية بشكل كبير على مجموعات بيانات ثابتة ومفتوحة المصدر (مثل SafetyBench وSorryBench)، وتفتقر إلى معايير منهجية لتقييم جودة وكفاية مجموعات الاختبار. وعلى الرغم من أن معايير التغطية قد أثبتت فعاليتها في الشبكات العصبية العميقة (DNNs) الأصغر حجماً من خلال مراقبة تنشيطات الخلايا العصبية، إلا أنها غير مناسبة للنماذج اللغوية الكبيرة لسببين رئيسيين:

القابلية للتوسع: التكلفة الحسابية لتدقيق مليارات الخلايا العصبية عبر جميع الطبقات هي تكلفة باهظة للنماذج اللغوية الكبيرة.
عدم توافق الأهداف: تعامل معايير مستوى الخلية العصبية التقليدية جميع التنشيطات بالتساوي. وفي النماذج اللغوية الكبيرة، تكون الغالبية العظمى من تنشيطات الخلايا العصبية زائدة عن الحاجة أو غير ذات صلة. وبناءً على ذلك، تفشل مقاييس مستوى الخلية العصبية غالباً في التمييز بين المطالبات (prompts) ذات الصلة بالسلامة والمطالبات المتكررة دلالياً أو الحميدة، مما يؤدي إلى إدخال الضجيج في تقييمات التغطية.

هناك حاجة ماسة لمعايير تغطية قابلة للتوسع للنماذج اللغوية الكبيرة، وتكون مرتكزة تحديداً على الإشارات ذات الصلة بالسلامة بدلاً من إحصاءات التنشيط الخام.

2. المنهجية: إطار عمل RACC

يقترح المؤلفون إطار عمل RACC (معايير التغطية المدركة للتمثيل)، وهو إطار ينقل قياس التغطية من تنشيطات الخلايا العصبية الفردية إلى تمثيلات السلامة—وهي اتجاهات منخفضة الأبعاد في فضاء الحالة المخفية للنموذج تشفر مفاهيم سلامة محددة.

2.1 مبادئ التصميم الأساسية

بُني RACC على ثلاثة مبادئ تصميم مخصصة لاختبار سلامة النماذج اللغوية الكبيرة:

غير حساس للمترادفات: يجب ألا تؤدي المطالبات المتشابهة دلالياً (مثل عمليات كسر الحماية التي تمت إعادة صياغتها) إلى تضخيم مقاييس التغطية بشكل اصطناعي.
غير حساس للمدخلات غير الصالحة: يجب ألا تساهم المدخلات الحميدة أو غير العدائية في التغطية، لأن الهدف هو اختبار قدرة النموذج على رفض المحتوى الضار.
حساس لكسر الحماية: يجب أن تعطي المقاييس الأولوية للمطالبات التي تنجح في تفعيل السلوكيات الضارة أو تنشيط مفاهيم السلامة الحرجة.

2.2 سير العمل التقني

يعمل إطار عمل RACC في ثلاث مراحل:

استخراج تمثيل السلامة:
- يتم اختيار مجموعة معايرة (calibration set) صغيرة من المطالبات الضارة لتمثيل فئات سلامة محددة.
- يتم جمع تنشيطات الحالة المخفية من هذه المطالبات من الطبقات الوسطى للنموذج.
- يتم تطبيق تحليل المكونات الرئيسية (PCA) على هذه التنشيطات لتحديد أعلى- $n$ من المكونات الرئيسية. تشكل هذه المكونات تمثيلات السلامة، والتي تمثل الاتجاهات الأساسية لمفاهيم السلامة في الفضاء المخفي.
حساب تنشيط المفهوم:
- لأي مطالبة مدخلة، يتم إسقاط الحالة المخفية للنموذج على تمثيلات السلامة المحددة.
- تعمل قيمة هذا الإسقاط كـ درجة تنشيط المفهوم، مما يحدد شدة مفاهيم السلامة المحددة التي تم تحفيزها بواسطة المدخلات.
حساب التغطية:
يعرف RACC ستة معايير فرعية مقسمة إلى بُعدين:
- البعد الأول: تغطية المفهوم الفردي
  - تغطية ميزات السلامة (SFC): تقيس نسبة ميزات السلامة التي تم تنشيطها فوق عتبة معينة بواسطة مطالبة واحدة على الأقل.
  - تغطية أفضل- $k$ من الميزات (TKFC): تقيس نسبة ميزات السلامة التي تظهر في أفضل- $k$ من الميزات الأكثر نشاطاً لمطالبة واحدة على الأقل.
  - تغطية شدة الميزة (FIC): تقوم بتقسيم شدة التنشيط إلى فئات (bins) لقياس تنوع شدة التنشيط عبر الميزات.
- البعد الثاني: تغطية المفاهيم التركيبية
  - تغطية العنقود الدلالي (SCC): تستخدم تجميع K-Means على ناقلات السلامة المسقطة لقياس تنوع الأنماط الدلالية التي زارتها مجموعة الاختبار.
  - تغطية المفهوم الزوجي (PCC): تقيس التواجد المشترك لأزواج من ميزات السلامة، مما يلتقط التفاعلات بين المفاهيم.
  - تغطية حدود العنقود (CBC): تحدد المطالبات الموجودة في المناطق منخفضة الكثافة بين العناقيد الدلالية، مستهدفة الحدود الأمنية الغامضة حيث يكون النماذج أكثر عرضة للاختراق.

3. المساهمات الرئيسية

إطار عمل RACC: اقتراح معيار تغطية قابل للتوسع ومدرك للتمثيل مصمم خصيصاً لسلامة النماذج اللغوية الكبيرة، مما يعالج قيود المقاييس القائمة على مستوى الخلية العصبية.
ستة معايير فرعية: مجموعة مبتكرة من المقاييس التي تغطي كلاً من تنشيط المفهوم الفردي والتفاعلات التركيبية، والمرتكزة على تمثيلات السلامة بدلاً من الخلايا العصبية الخام.
التحقق التجريبي: تجارب شاملة تثبت أن RACC يستوفي المبادئ التصميمية الثلاثة (عدم الحساسية للمترادفات، عدم الحساسية للمدخلات غير الصالحة، والحساسية لكسر الحماية) ويتفوق على الخطوط المرجعية الحالية القائمة على مستوى الخلية العصبية.
التطبيقات العملية: إثبات فائدة RACC في تحديد أولويات مجموعات الاختبار (تصفية المطالبات المتكررة/غير الصالحة) وأخذ عينات مطالبات الهجوم (اختيار عمليات كسر الحماية المتنوعة والناجحة).
المصدر المفتوح: إصدار التنفيذ لتسهيل المزيد من الأبحاث.

4. النتائج التجريبية

قيم المؤلفون RACC على ثلاثة نماذج لغوية كبيرة مفتوحة المصدر (Vicuna-7B، Llama-2-7B، Qwen-2.5-7B) باستخدام معايير مثل SorryBench وORBench-Toxic.

الفعالية مقابل المعايير القائمة على مستوى الخلية العصبية:
- أظهرت مقاييس RACC حساسية عالية تجاه هجمات كسر الحماية (على سبيل المثال، $S_{JA}$ )، مما حقق مكاسب كبيرة في التغطية.
- والأهم من ذلك، ظل RACC غير حساس للمدخلات غير الصالحة (المطالبات الحميدة) والدلالات المتكررة (المترادفات). في المقابل، أظهرت الخطوط المرجعية القائمة على مستوى الخلية العصبية (مثل NC وTKNC) زيادات كبيرة ومضللة في التغطية عند إضافة مطالبات حميدة أو مترادفة، مما فشل في التمييز بين اختبارات السلامة الفعالة والضجيج.
تنوع نوع المخاطر: زادت مقاييس RACC بشكل رتيب مع تنوع فئات انتهاكات السلامة في مجموعة الاختبار، بينما ظلت مقاييس مستوى الخلية العصبية ثابتة أو تذبذبت عشوائياً.
المواءمة المفاهيمية: عندما تم إنشاء مجموعات اختبار بتباين دلالي مع مجموعة المعايرة، انخفضت درجات RACC بدقة مع تناقص هذا التباين، مما يؤكد أن المقاييس تقيس مفاهيم سلامة محددة بدلاً من الشذوذ العام.
التطبيقات:
- تحديد الأولويات: نجحت عملية الاختيار الموجهة بـ RACC في تقديم المرشحين الصالحين بشكل أفضل بكثير من الخطوط المرجعية القائمة على مستوى الخلية العصبية (على سبيل المثال، AUC قدره 0.667 مقابل 0.340 في SorryBench).
- أخذ العينات: سرّع RACC من اكتشاف عمليات كسر الحماية الناجحة وفئات الهجوم المتنوعة مقارنة بالخطوط المرجعية.
التعميم: أثبت RACC متانته عبر أحجام نماذج مختلفة (بالتوسع إلى 13B)، وأحجام مجموعات المعايرة (فعال حتى مع المجموعات الصغيرة)، وطبقات الاستخراج، وإعدادات المعلمات الفائقة. كما تم اقتراح استراتيجية اختيار بارامترات تكيفية (AdaRACC) لإزالة الحاجة إلى الضبط اليدوي.

5. الأهمية والادعاءات

يزعم البحث أن RACC يوفر أساساً قابلاً للتوسع ومنهجياً لاختبار سلامة النماذج اللغوية الكبيرة الموجه بالتغطية. من خلال ترسيخ التغطية في اتجاهات مفاهيم السلامة بدلاً من تنشيطات الخلايا العصبية الخام، يحل RACC مشكلة قابلية التوسع وفجوة مواءمة الأهداف المتأصلة في معايير تغطية الشبكات العصبية العميقة التقليدية.

يؤكد المؤلفون أن RACC ليس مجرد كاشف شذوذ عام، بل هو أداة تقيس تحديداً تنشيط الدلالات ذات الصلة بالسلامة. وهذا يسم much من التقييم، وتحديد الأولويات، وتحسين مجموعات اختبار السلامة بشكل صارم، مما ينقل المجال بعيداً عن الاعتماد على مجموعات البيانات الثابتة نحو هندسة سلامة ديناميكية واعية بالتغطية. يثبت هذا العمل أن التركيز على تمثيلات السلامة منخفضة الرتبة هو نهج قابل للتطبيق ومتفوق لتقييم مدى كفاية اختبار سلامة النماذج اللغوية الكبيرة.