ملخص تقني: التوجيه لما وراء نطاق الدعم

بيان المشكلة

تعتمد طرق توجيه السلامة الحالية للنماذج اللغوية الكبيرة (LLMs) بشكل كبير على التدريب الخاضع للإشراف باستخدام مجموعات بيانات ثابتة ومحدودة من مطالبات الاختراق (jailbreak) المعروفة. وبينما تتعلم هذه الطرق توجيه التنشيطات (activations) نحو مناطق "الرفض" لأمثلة تدريبية محددة، فإنها تعاني من فشل جوهري في التعميم: فهي تؤدي أداءً ضعيفًا أمام هجمات الاختراق غير المرئية أو الخارجة عن التوزيع (OOD). فإما أن التطبيقات الحالية تطبق تدخلًا عالميًا منخفض السعة يؤدي إلى تدهور الفائدة الحميدة، أو تتعلم تدخلات مشروطة تفشل في التعميم خارج نطاق دعمها الضيق. التحدي الجوهري يكمثل في كيفية تدريب آلية توجيه سلامة تحقق أقصى قدر من التعميم لما وراء الدعم الثابت والمحدود دون الحاجة إلى بيانات اختراق موسومة وشاملة.

المنهجية

تقترح الورقة إطار عمل تدريب تنافسي ثنائي المستوى يستفيد من اكتشاف الاتجاهات الكامنة غير الخاضعة للإشراف لمحاكاة تنشيطات الاختراق المتنوعة، وبالتالي توسيع نطاق دعم التدريب لمجال التوجيه.

1. محاكاة التنشيط المخترق كامنًا (الخطوة الداخلية)

بدلاً من جمع بيانات اختراق جديدة موسومة، تكتشف الطريقة اتجاهات كامنة يمكنها تحويل تنشيطات "حالة الرفض" (من الطلبات الضارة المباشرة) إلى تنشيطات "مخترقة" (استجابات ممتثلة وضارة).

• اكتشاف الاتجاه الكامن: باستخدام هدف غير خاضع للإشراف، يتعلم النموذج مجموعة من ناقلات التوجيه $V$ التي تُحقن عند طبقة مبكرة $s$. يتم تحسين هذه الناقلات لإحداث تحولات دلالية كبيرة ومتسقة عند طبقة مستهدفة $t$ عبر مجموعة بيانات من المطالبات، مما يؤدي فعليًا إلى اكتشاف تدخلات سببية تغير سلوك النموذج.
• الاستقراء (Extrapolation): يتم تطبيق هذه الاتجاهات المكتشفة على تنشيطات حالة الرفض ($h_r$) مع مقدار معاير $R$ لتوليد تنشيطات اختراق معادية ومحاكاة ($h_{adv} = h_r + R \cdot v$). تعمل هذه العملية على استقراء دعم التدريب إلى مناطق في فضاء التنشيط تتوافق منطقيًا مع حالات الاختراق غير المرئية.

2. التوجيه القابل للتعلم عبر دالات الجهد

تنتقل الورقة من ناقلات التوجيه الخطية الثابتة إلى مجال توجيه متغير مكانيًا وقابل للتعلم.

• منظور النقل الأمثل (OT): يتم نمذجة آلية التوجيه كعملية نقل لتوزيع التنشيطات المخترقة نحو توزيع تنشيطات الرفض بأقل إزاحة ممكنة.
• دالة الجهد (Potential Function): يتم تعلم دالة جهد قياسية $f_\phi$ (يتم تمثيلها بواسطة MLP صغير). يحدد تدرجها $\nabla f_\phi$ مجالًا متجهًا يوجه التنشيطات.
• التوجيه وقت الاختبار: عند الاستدلال، يتم توجيه التنشيط $h$ من خلال إجراء خطوات صعود التدرج بشكل تكراري على طول هذا المجال: $h^{(k+1)} = h^{(k)} + \eta \nabla_h f_\phi(h^{(k)})$.

3. التدريب التنافسي ثنائي المستوى (الخطوة الخارجية)

يتم تدريب دالة الجهد لتلبية ثلاث رغبات محددة:

1. قابلية التوجيه العامة: يجب أن ينقل المجال التنشيطات غير الرافضة (بما في ذلك حالات الاختراق المحاكة) نحو منطقة الرفض. ويتحقق ذلك من خلال تعظيم الفجوة في الجهد بين توزيعات الرفض وغير الرفض باستخدام ثنائية "كانتوروفيتش-روبنشتاين" لمسافة Wasserstein-1.
2. قابلية عدم التوجيه للحالات الحميدة: يجب أن يظل المجال قريبًا من الهوية (تدرج صفري) بالنسبة للتنشيطات الحميدة للحفاظ على الفائدة. ويتم فرض ذلك من خلال معاقبة معيار التدرج (gradient norm) للمدخلات الحميدة.
3. قابلية التوجيه القوية للاختراقات: يجب أن يحفز المجال نقلًا قويًا للتنشيطات المخترقة.

يتناوب التدريب بين:

• الخطوة الداخلية: تحسين الاتجاهات الكامنة $V$ تنافسيًا لتوليد "اختراقات محاكة صعبة" يصعب توجيهها حاليًا (تعظيم الخسارة على الجهد الحالي).
• الخطوة الخارجية: تحديث معاملات الجهد $\phi$ لتقليل الخسارة على هذه الاختراقات المحاكة الصعبة مع الحفاظ على قيود التوجيه الحميدة والعامة.

المساهمات الرئيسية

1. تحديد قصور حرج: حدد المؤلفون أن توجيه السلامة الخاضع للإشراف يفشل في التعميم على حالات الاختراق غير المرئية لأنه مرتبط بتوزيع تدريب ثابت، مما يترك مناطق واسعة من فضاء تنشيط الاختراق غير محددة.
2. إطار عمل تنافسي ثنائي المستوى: حلقة تدريب مبتكرة تستخدم اكتشاف الاتجاه الكامن غير الخاضع للإشراف لتخليق تنشيطات اختراق معادية ومتنوعة. تعمل هذه الحالات المحاكة كإشارات تدريب لتوسيع تغطية مجال التوجيه بشكل تدريجي.
3. التوجيه القائم على الجهد: تقديم جهد قياسي قابل للتعلم (عبر ثنائية النقل الأمثل) يوفر مجال توجيه متغير مكانيًا وعالي السعة، ليحل محل التدخلات الخطية الجامدة.

النتائج التجريبية

تم تقييم الطريقة عبر ثلاثة نماذج لغوية كبيرة (LLaMA-3-8B, Mistral-v2-7B, Qwen-2.5-7B) وست عائلات كلاسيكية من الاختراق (GCG, AutoDAN, GPTFuzz, PAIR, TAP, FewShot).

• المتانة: حققت الطريقة المقترحة أداء دفاعيًا قويًا، حيث كانت معدلات نجاح الهجوم (ASR) في الغالب أقل من 5% عبر جميع النماذج وعائلات الهجوم. وقد تفوقت على أو ساوت الأساليب المرجعية الخاضعة للإشراف (مثل AlphaSteer) وأساليب هندسة التمثيل (مثل Circuit-Breaker) في مواجهة الهجمات غير المرئية.
• الحفاظ على الفائدة: على عكس الأساليب المرجعية الشرسة التي تسببت في معدلات رفض مفرط عالية للحالات الحميدة، حافظت الطريقة المقترحة على درجات فائدة عالية في اختبارات الاستدلال والمعرفة والرياضيات (ARC-C, TruthfulQA, GSM8K) مع إبقاء معدل الخطأ الإيجابي (الرفض المفرط) منخفضًا نسبيًا.
• الرؤية الآلية: أظهر التحليل أنه مع تقدم التدريب، توسعت تنشيطات الاختراق المحاكة لتغطي الفضاءات الجزئية لهجمات الاختراق الحقيقية. ارتبط هذا "التوسع في تغطية الفضاء الجزئي" مباشرة بتحسن متانة الدفاع، مما يؤكد الفرضية القائلة بأن توسيع دعم التدريب عبر المحاكاة هو المحرك الرئيسي للتعميم.

الأهمية والادعاءات

تدعي الورقة أنها تعالج مشكلة مغفلة إلى حد كبير في سلامة النماذج اللغوية الكبيرة: وهي عدم قدرة طرق التوجيه الحالية على التعميم لما وراء دعم التدريب الخاص بها. ومن خلال الانتقال من التعلم الخاضع للإشراف على حالات الاختراق الثابتة إلى نموذج المحاكاة التنافسية غير الخاضعة للإشراف، تمكن الطريقة من جعل توجيه السلامة قادرًا على التكيف مع التهديدات المتطورة وغير المرئية.

يؤكد المؤلفون أن نهجهم لا يتطلب إعادة تدريب النموذج بالكامل أو جمع مجموعات بيانات اختراق شاملة. بدلاً من ذلك، يتعلم مجال توجيه قوي ومتغير مكانيًا يمكنه إعادة توجيه الحالات الداخلية الضارة نحو سلوكيات الرفض مع الحفاظ على الفائدة الحميدة. يشير العمل إلى أن مفتاح الدفاع القوي يكمكم في القدرة على تخليق وتعلم توزيع واسع من تنشيطات الاختراق المحاكة، مما يؤدي فعليًا إلى "التوجيه لما وراء دعم" بيانات التدريب الأصلية.

القيود: يشير المؤلفون إلى أن إطار العمل يعتمد على جودة اكتشاف الاتجاه الكامن غير الخاضع للإشراف. كما يقرون بأن عمليات الاختراق التي تتضمن لغات غير طبيعية (مثل base64 أو التشفير) قد تقابل مناطق تنشيط يصعب الوصول إليها عبر التدخلات الخطية الكامنة، مما يشير إلى حد أصيل لقدرة التعبير في آلية المحاكاة.