ملخص تقني: فهم السلوك الخبير الحساس للسلامة في نماذج Mixture-of-Experts (MoE) اللغوية الكبيرة

1. بيان المشكلة

تستخدم نماذج Mixture-of-Experts (MoE) اللغوية الكبيرة تنشيطاً متفرقاً مدفوعاً بالموجّه (router)، حيث يتم توجيه الرموز (tokens) إلى مجموعة فرعية محددة من الخبراء في التغذية الأمامية. وهناك حدس سائد في محاذاة السلامة يشير إلى أن رفض الطلبات الضارة يتم عبر توجيه المدخلات إلى خبراء متميزين "موجهين نحو الرفض"، منفصلين عن أولئك الذين يتعاملون مع الموضوع نفسه.

تتحدى هذه الورقة هذا الحدس، متسائلة: عندما يرفض نموذج MoE محاذٍ طلباً ضاراً، هل يتم استحثاث الرفض عبر التوجيه إلى مجموعة متميزة من الخبراء المتخصصين في السلامة، أم أنه يتم عبر التمثيلات داخل نفس الخبراء المتخصصين في الموضوع الذين كانوا ليعالجوا الطلب لولا ذلك؟

يفترض المؤلفون أنه إذا كان سلوك السلامة يتم التحكم فيه بشكل أساسي من خلال التوجيه، فإن تغيير قرار الموجّه سيكون الطريقة الأكثر فعالية لتجاوز السلامة. وعلى العكس من ذلك، إذا كانت السلامة مدمجة داخل بارامترات الخبراء أنفسهم، فقد تظل أنماط التوجيه مستقرة حتى عندما ينقلب سلوك السلامة. إن فهم هذا التمييز أمر بالغ الأهمية لتطوير آليات سلامة قوية وتقييم نقاط ضعف نماذج MoE.

2. المنهجية

2.1 الفحوص التجريبية لسلوك التوجيه

للتحقيق في العلاقة بين التوجيه والسلامة، أجرى المؤلفون ثلاثة فحوص تجريبية متكاملة عبر نماذج MoE المحاذية:

1. تباين السلوك القسري للمعلم (Teacher-Forced Behavioral Contrast): قارن المؤلفون أنماط التوجيه لنفس المطالبة الضارة تحت شرطين: استمرار محاذٍ للرفض (safety-aligned refusal) واستمرار ممتثل مفروض تعليمياً (teacher-forced compliant).
2. تباين أسلوب الرفض على مستوى المطالبة (Prompt-Level Refusal-Style Contrast): باستخدام مطالبات حميدة، قاموا بإضافة بادئات (prefixes) تعبر عن الرفض لاستحثاث استجابات بأسلوب الرفض، وقارنوا التوجيه الناتج مقابل الطلبات الحميدة الأصلية وضوابط المواضيع المتقاطعة.
3. تباين نية السلامة المتطابقة (Matched Safety-Intent Contrast): قاموا ببناء مطالبات مزدوجة حيث تم الحفاظ على الموضوع والبنية النحوية، ولكن تمت إزالة النية غير الآمنة (على سبيل المثال، تغيير "كيفية صنع قنبلة" إلى "كيفية صنع لعبة").

المقاييس: تم قياس تشابه التوجيه باستخدام تباعد جينسن-شانون (JS divergence) لـ logit الخاص بالموجّه وتداخل الخبراء المنشطين من بين أفضل $k$.

النتائج: عبر جميع الفحوص، أدت التغييرات في سلوك الرفض/الامتثال أو نية السلامة إلى تحولات أصغر بكثير في التوجيه مقارنة بالتغييرات في موضوع الطلب. وهذا يشير إلى أن موجّهات MoE هي مدفوعة بالموضوع بشكل أساسي، بينما تكمن إنفاذ السلامة داخل تمثيلات الخبراء الذين يتم تنشيطهم طبيعياً لذلك الموضوع، بدلاً من وجود مسار توجيه منفصل.

2.2 إطار عمل RASET

مدفوعاً بالنتيجة التي مفادها أن سلوك السلامة يمكن تغييره دون تعطيل مسار التوجيه الجوهري، يقترح المؤلفون RASET (ضبط الخبير الحساس للسلامة والمستقل عن الموجّه). هذا هو إطار عمل لاختبار الاختراق (red-teaming) مصمم لاستحثاث محتوى ضار مع الحفاظ على الحوسبة المتخصصة في الموضوع للنموذج.

الخطوات الرئيسية:

1. تحديد الخبراء الحساسين للسلامة:

   • يحسب الإطار درجة حساسية السلامة ($S_{l,i}$) لكل خبير $i$ عند الطبقة $l$.
   • تُشتق هذه الدرجة من معيار تباين حساسية التوجيه: $S_{l,i} = A(l, i; D_{harm}) - \lambda \cdot A(l, i; D_{norm})$.
   • يقوم هذا بمقارنة تنشيط الخبير على الاستعلامات الضارة ($D_{harm}$) مقابل التعليمات الحميدة ($D_{norm}$)، مما يعمل على كبح الخبراء النشطين بشكل عام (العامين للموضوع) وإبراز أولئك الذين يتم استدعاؤهم بشكل غير متناسب للطلبات الضارة.
   • يتم اختيار أفضل $K$ من الخبماء ذوي الدرجات الأعلى كمجموعة رئيسية $\Phi_{key}$.

2. التكيف المقيد على مستوى الخبير:

   • التجميد (Freezing): يتم تجميد الموجّه، والمكونات المشتركة، وجميع الخبراء غير المختارين.
   • الضبط الدقيق (Fine-Tuning): يتم تطبيق الضبط الفعال للمعلمات (PEFT) فقط على الخبراء المختارين ($\theta_{\Phi}$).
   • دوال الخسارة (Loss Functions):
     • $L_{violate}$: استراتيجية مزدوجة تعاقب أنماط الرفض (مثل "آسف، لا يمكنني") وتعزز البادئات التأكيدية (مثل "بالتأكيد، إليك...") مقترنة بالاستعلامات غير الآمنة. وهي تستخدم عقوبة الحد الأقصى (max-margin penalty) لمنع التحسين غير المحدود.
     • $L_{preserve}$: تضمن الحفاظ على القدرات العامة من خلال تقليل النفي اللوغاريتمي السلبي (NLL) على التعليمات الحميدة ($D_{norm}$) وتطبيق تنظيم L2 لإبقاء المعلمات المضبوطة قريبة من حالاتها قبل التدريب.
   • الهدف: $L_{total} = L_{violate} + L_{preserve}$.

3. المساهمات الرئيسية

1. أدلة تجريبية على ديناميكيات التوجيه: تقدم الورقة دليلاً محكوماً على أن التوجيه في نماذج MoE المحاذية مدفوع إلى حد كبير بالبنية الدلالية للموضوع وليس بالتمييز الثنائي بين الرفض والامتثال. يمكن أن يتغير سلوك السلامة بشكل كبير دون حدوث تحولات كبيرة مقابلة في مسار التوجيه.
2. إطار عمل RASET: تقديم إطار عمل تشخيصي للتكيف على مستوى الخبير الذي يجمد الموجّه. يسمح هذا بالتحليل المحكوم لتمثيلات الخبراء الحساسة للسلامة ويثبت أنه يمكن تقويض محاذاة السلامة من خلال تغييرات بارامترية موضعية دون تعطيل التخصص الوظيفي للنموذج.
3. التقييم عبر هياكل متنوعة: تقيم الدراسة هذه الظاهرة عبر خمسة نماذج Mo-backbones مفتوحة الأوزان (OLMoE, DeepSeek-V2, Qwen3, Phi-3.5, GPT-oss)، مما يظهر أنماط فشل سلامة موضعية متسقة.

4. النتائج

4.1 أداء اختبار الاختراق (Red-Teaming)

تم تقييم RASET مقابل خطوط الأساس مثل Greedy Coordinate Gradient (GCG) عبر خمسة نماذج MoE.

• معدل نجاح الهجوم (ASR): حقق RASET أعلى عائد تحت جميع مستويات الصرامة.
  • $ASR_{raw}$ (انتهاك الضمانات): متوسط 78.6%.
  • $ASR_{valid}$ (الانتهاك الصالح): متوسط 74.0%.
  • $ASR_{hq}$ (الانتهاك عالي الجودة): متوسط 50.5%.
• المقارنة: تفوق RASET على أقوى خط أساس (GCG) بمتوسط 37.6 نقطة في مقياس $ASR_{hq}$.

4.2 الحفاظ على القدرات العامة

• كفاءة المعلمات: يقوم RASE بتحديث 0.12%–0.95% فقط من معلمات النموذج.
• الاحتفاظ بالمنفعة: يحافظ الإطار على منفعة حميدة أفضل بكثير مقارنة بقواعد توجيه الـ router.
  • TruthfulQA: متوسط انخفاض قدره 5.4 نقطة (68.9% $\leftarrow$ 63.4%).
  • MMLU: متوسط انخفاض قدره 7.5 نقطة (69.9% $\leftarrow$ 62.4%).

4.3 استقرار التوجيه

بشكل حاسم، يحافظ RASET على منطق التوجيه الجوهري للنموذج:

• تباعد JS: ظل التحول في logit الخاص بالموجّه بين النماذج قبل الضبط وبعده أقل من 0.04 للمهام الحميدة و0.08 للمهام الضارة.
• تداخل الخبراء: ظل التداخل في أفضل 8 خبراء مرتفعاً (على سبيل المثال، >7.0 من أصل 8 للمهام الحميدة، وحوالي 5.66 للمهام الضارة).
• الاستنتاج: يستمر النموذج في إرسال الرموز إلى نفس الخبراء ذوي الصلة بالموضوع؛ يتم تحقيق تجاوز السلامة لأن بارامترات الخبير الأساسية قد تمت "إعادة برمجتها"، وليس لأن مسار التوجيه قد تغير.

5. الأهمية والادعاءات

تدعي الورقة أن هذه النتयाँ تكشف عن خطر سلامة متميز في بنيات MoE: يمكن تقويض محاذاة السلامة من خلال تغييرات موضعية صغيرة على مستوى الخبير حتى عندما يظل سلوك توجيه النموذج سليماً إلى حد كبير.

• الآثار على السلامة: آليات السلامة الحالية التي تعتمد على توجيه الـ router أو تفترض أن السلامة معزولة في "خبراء رفض" محددين قد تكون غير كافية. يبدو أن إنفاذ السلامة موزع داخل تمثيلات الخبراء المتخصصين في الموضوع.
• الآثار على الهجمات: تدخلات توجيه الـ router (إجبار الرموز على الذهاب إلى خبراء مختلفين) قد تغير سلوك السلامة ولكن غالباً على حساب الدقة الدلالية والمنفعة، حيث أنها توجه الرموز بعيداً عن الخبراء المتخصصين في الموضوع المطلوب.
• الاتجاه المستقبلي: يسلط المؤلفون الضوء على الحاجة إلى آليات محاذاة واعية بالخبراء تأخذ في الاعتبار بشكل مشترك سلوك الموجّه، وتخصص الخبراء، وقوة بارامترات الخبراء نفسها.

تخلص الورقة إلى أن نجاح RASET في قلب سلوك السلامة مع الحفاظ على اتساق التوجيه يدعم الرؤية القائلة بأن التكيف على مستوى الخبير هو ناقل قوي للالتفاف على السلامة في نماذج MoE اللغوية الكبيرة.