ملخص تقني: توجيه فجوة اللوجيت (Logit-Gap Steering)

بيان المشكلة

تُدرب النماذج اللغوية الكبيرة (LLMs) التي تم ضبطها عبر التعلم التعزيزي من التغذية الراجعة البشرية (RLHF) على رفض الطلبات غير الآمنة. ومع ذلك، فإن هذا الضبط غالباً ما يخلق فقط "هامش تشغيل" ضيقاً بين الرفض والامتثال. تشير أعمال سابقة إلى أن إضافة لواحق قصيرة، خارجة عن التوزيع (out-of-distribution)، إلى المطالبات السامة يمكن أن ينقل النموذج من الرفض إلى الامتثال عبر إغلاق هذا الهامش.

المشكلة المركزية التي يتناولها البحث هي غياب أداة تشخيصية كمية وقابلة للتوسع لقياس هامش رفض التوكن الأول (القرار على مستوى اللوجيت عند خطوة فك التشفير الأولى) واختبار متانته. تعتمد الطرق الحالية لاكتشاف لواحق الاختراق (jailbreak suffixes) الفعالة، مثل "تدرج الإحداثيات المتدرج" (GCG)، على التحسين القائم على التدرج عبر مساحات توكن واسعة وخارجة عن التوزيع. هذه الطرق مكلفة حوسبياً (على سبيل المثال، حوالي 5 ساعات على وحدة A100 واحدة لـ 50 مطالبة) وتنتج لواحق ذات درجة تعقيد (perplexity) عالية يسهل اكتشافها بواسطة دفاعات التعقيد.

المنهجية: توجيه فجوة اللوجيت (Logit-Gap Steering)

يقدم المؤلفون توجيه فجوة اللوجيت، وهو طريقة تشخيصية تعتمد على التمرير الأمامي فقط (forward-pass-only) ولا تعتمد على التدرج، مصممة لقياس وإغلاق فجوة اللوجيت بين الرفض والتأكيد باستخدام توكنات داخل التوزيع (in-distribution).

1. فجوة لوجيت الرفض–التأكيد

يُعرف المقياس الجوهري بأنه الفرق بين أعلى لوجيت لتوكن الرفض وأعلى لوجيت لتوكن التأكيد عند خطوة فك التشفير الأولى ($h_0$) بعد مطالبة ضارة:
$$\Delta_0 = \ell_{\text{refusal}}(h_0) - \ell_{\text{affirm}}(h_0)$$
يفترض البحث أن عملية الضبط تزيد من اتساع هذه الفجوة في غالبية المطالبات السامة مقارنة بالنماذج الأساسية. ينجح الاختراق إذا نجحت اللاحقة $S$ في تقليص الفجوة التراكمية إلى الصفر أو أقل.

2. دالة التسجيل (وكيل إغلاق الفجوة)

لتجنب حساب التدرج، تستخدم الطريقة دالة تسجيل $F(h, t)$ مشتقة من تمرير أمامي واحد لتقريب تقليص الفجوة للتوكن المرشح $t$. تجمع هذه الدالة بين ثلاثة وكلاء:

• تقليص فجوة اللوجيت: التغيير المباشر في فرق اللوجيت.
• وكيل عقوبة KL: يقرب الانحراف عن النموذج الأساسي عبر مقارنة لوجيت الرفض بتوكن محايد عالي الاحتمالية.
• وكيل إزاحة المكافأة: يستخدم لوجيت التأكيد التدريجي كوكيل لتفضيل نموذج المكافأة المتعلم.

الدالة المركبة هي:
$$F(h, t) = \Delta F_{\text{logit}}(h, t) - \lambda_{KL}\Delta KL(h, t) + \lambda_r \Delta r(h, t)$$

3. خوارزمية البحث

تستخدم الطريقة خوارزمية التغطية الجشعة (Greedy Covering):

1. تصفية المرشحين: يتم تصفية المفردات للاحتفاظ فقط بالتوكنات داخل التوزيع (ذات احتمالية عالية بناءً على المطالبة) والتي ليست توكنات رفض.
2. التسجيل: يتم تسجيل كل مرشح باستخدام $F(h, t)$.
3. الاختيار: يتم اختيار التوكنات بجشع وفقاً للترتيب التنازلي للدرجة حتى يتجاوز المجموع التراكمي الفجوة الأولية $\Delta_0$.
4. المتغيرات: للتغلب على قصر النظر في التوكن الواحد والآثار الخارجة عن التوزيع، قدم المؤلفون:
   • حصاد العبارات عبر البحث بالعمق أولاً (DFS Phrase Harvesting): بحث بالعمق أولاً لحصاد عبارات تأكيد قواعدية.
   • البحث على مستوى المكونات: تقييم تسلسلات متعددة التوكنات كوحدات ذرية.
   • اختيار التباديل: البحث عبر تباديل أفضل المرشحين لتحسين التوازن بين KL والمكافأة، أو تقليص الفجوة المباشر، أو الدرجات المركبة.

4. الكفاءة

تتطلب العملية بأكملها تمريرات أمامية فقط. يستغק اكتشاف مجموعة لواحق مكونة من 8 عناصر لعائلة نماذج حوالي 26,000 مكافئ تمرير أمامي (حوالي دقيقتين على وحدة A100 واحدة)، وهو ما يقل بنحو 125 ضعفاً عن تكلفة حساب GCG واحد.

المساهمات الرئيسية

1. تشخيص الضبط: تعريف فجوة لوجيت الرفض–التأكيد كمقياس كمي لهامش الرفض التشغيلي للتوكن الأول. أظهر المؤلفون أن متوسط إغلاق الفجوة يتوافق مع معدل نجاح الهجوم الحقيقي (ASR) عبر الاستراتيجيات المختلفة، مما يعمل كفحص للاتساق الداخلي.
2. طريقة فحص فعالة: طريقة لا تعتمد على التدرج تكتشف لواحق داخل التوزيع (أقل من 10 توكنات لكل مكون) بتكلفة حوسبية أقل بكثير من GCG.
3. التحويل عبر المقاييس: اللواحق المكتشفة على النماذج الصغيرة (0.5B–2B بارامتر) تنتقل دون تعديل إلى النماذج الأكبر بكثير (حتى 72B) ضمن نفس العائلة.
4. التخفي: تمتلك اللواحق المكتشفة قيم تعقيد (perplexity) أقل بـ $10^3$–$10^4$ مرة من لواحق GCG. وبناءً عليه، تظل فعالة ضد دفاعات فلترة التعقيد التي تنجح في حظر GCG.

النتائج التجريبية

تم تقييم الطريقة على 13 نموذجاً من ثلاث عائلات (Llama, Gemma, Qwen) باستخدام AdvBench وHarmBench.

• معدل نجاح الهجوم (ASR): حققت مجموعة من 8 لواحق 38–96% من معدل ASR الحقيقي عبر 13 نموذجاً. في النماذج القوية الضبط (مثل Qwen2.5-72B)، تفوقت المجموعة على GCG+SH بنسبة 8–18 ضعفاً (37.9% مقابل 4.6%).
• الكفاءة: الطريقة أسرع بنحو 125 ضعفاً من GCG لاكتشاف اللواحق الشاملة، وأسرع بـ 17 ضعفاً من خط أساس GCG المكون من 8 محاولات (8-shot).
• تجاوز الدفاعات:
  • فلاتر التعقيد: تحت دفاع فلتر التعقيد ($T=1000$)، انهار GCG+SH من 64.7% إلى 1.0% من ASR الحقيقي، بينما انخفضت المجموعة المكتشفة انخفاضاً طفيفاً من 76.9% إلى 76.0%.
  • الفلاتر الدلالية: قلل Llama Guard 3 (LG3) من جميع الطرق بشكل كبير، لكن المجموعة المكتشفة احتفظت بـ أفضلية قدرها 2–3 أضعاف إجمالاً و 8–16 ضعفاً على الأهداف القوية الضبط مقارنة بـ GCG.
• الديناميكيات الداخلية: كشف التحليل عن "منحدرات مكافأة حدود الجملة"، حيث ترتفع عقوبات السلامة بشكل حاد عند علامات الترقيم. تركز اللواحق الناجحة قوة إغلاق الفجوة ضمن جملة واحدة مستمرة لتجنب هذه المنحدرات.

الأهمية والادعاءات

يزعم البحث أن هوامش الضبط الحالية، رغم وجودها المستمر، غالباً ما تكون رقيقة ويمكن قياسها بكفاءة. المساهمة الأساسية ليست فئة جديدة من الضرر (حيث تستهدف اللواحق النماذج الضعيفة أصلاً أمام GCG)، بل هي إطار تشخيصي كمي وأداة فحص فعالة حوسبياً لتقييم السلامة.

يجادل المؤلفون بأن:

1. يجب أن تتطور الدفاعات: دفاعات فلتر التعقيد المنشورة غير كافية ضد اللواحق داخل التوزيع التي تحاكي النصوص التعليمية الحميدة.
2. الدفاع متعدد الطبقات ضروري: بما أن الدفاعات المختلفة (التعقيد مقابل الدلالة) تمسك بأنماط هجوم مختلفة، فإن الجمع بين تصفية المدخلات وتصنيف دلالات المخرجات مطلوب.
3. آثار الضبط: تكشف الطريقة عن آثار محددة للضبط، مثل منحدرات مكافأة حدود الجملة، مما يوفر فحصاً خفيف الوزن لكيفية إعادة تشكيل الضبط الأمني للتمثيلات الداخلية.

يلتزم العمل بالإفصاح المسؤول، حيث تمت مشاركة اللواحق المكتشفة مع فرق السلامة لمزودي النماذج الرئيسيين (Meta, Alibaba, Google, Mistral, OpenAI) قبل 30 يوماً من الإصدار، مع تقييد الوصول إلى الأدوات خلف سياسة استخدام مقبولة.