ملخص تقني: مرساة الأمان: الدفاع ضد الضبط الدقيق الضار عبر الاختناقات الهندسية

1. بيان المشكلة

لا تزال النماذج اللغوية الكبيرة (LLMs) التي تم توجيهها عبر التعلم المعزز من التغذية الراجعة البشرية (RLHF) عرضة لـ الضبط الدقيق الضار (HFT). في نموذج التهديد هذا، يقوم المهاجمون بإجراء ضبط دقيق لنموذج موجه أمنياً على مجموعة بيانات تحتوي على تعليمات خبيثة (مثل أمثلة كسر الحماية/Jailbreak) ممزوجة بمهام حميدة. حتى نسبة صغيرة من البيانات الضارة يمكن أن تجرد النماذج من حواجز الحماية، مما يعيد قدرة النموذج على توليد محتوى ضار مع الحفاظ على الأداء في المهام الحميدة اللاحقة.

تحاول آليات الدفاع الحالية تقييد الحالات الداخلية للنموذج أثناء الضبط الدقيق، وهي تنقسم إلى ثلاث فئات:

1. القائمة على المعلمات (Parameter-based): تقييد انحرافات الأوزان عن النموذج الأساسي (مثل LISA، EWC).
2. القائمة على التدرج (Gradient-based): تحديد وتثبيط اتجاهات تدرج ضارة محددة (مثل Booster، Gradient Route).
3. القائمة على التمثيل (Representation-based): تقييد انحراف التمثيلات المخفية الداخلية (مثل Vaccine، T-Vaccine).

تجادل الورقة بأن هذه الدفاعات تفشل باستمرار تحت تأثير الضبط الدقيق الضار المستمر (Persistent HFT). ويعزو المؤلفون هذا الفشل إلى التكرار المتأصل (Inherent Redundancy) في فضاء المعلمات عالي الأبعاد. حيث يمكن للمهاجمين استغلال مسارات التحسين التي تكون متعامدة مع القيود المحددة التي تفرضها هذه الدفاعات، مما يؤدي فعلياً إلى تجاوز حواجز الأمان مع تلبية القيود المفروضة.

2. المنهجية: تنظيم اختناق الأمان (SBR)

لمعالجة قيود تقييد فضاء المعلمات المكرر، يقترح المؤلفون تنظيم اختناق الأمان (SBR). تنقل هذه الطريقة التركيز الدفاعي من المعلمات الداخلية إلى طبقة إلغاء التضمين (Unembedding Layer)، والتي حددها المؤلفون على أنها "اختناق هندسي".

المفهوم الجوهري

في نموذج Transformer-based LLM، يتم تحديد احتمالية توليد رمز (Token) $t$ من خلال الإسقاط الخطي للحالة المخفية النهائية $h_{final}$ على متجه تضمين الرمز $w_t$:
$$\text{Score}(t) = h_{final}^\top w_t$$
يفترض المؤلفون أنه بينما يمكن للمعلمات الداخلية أن تتطور عبر مسارات تكرارية لا نهائية، فإن توليد رمز معين يتطلب بشكل صارم أن تتماشى الحالة المخفية النهائية مع اتجاه تضمين ذلك الرمز. لذلك، فإن التحكم في الحالة المخفية النهائية يعمل كاختناق حتمي.

الخوارزمية

يعمل SBR في مرحلتين:

1. اكتساب المرساة دون اتصال (Offline Anchor Acquisition): قبل الضبط الدقيق، يستخرج المدافع الحالات المخفية النهائية ($h_{ref}$) لمجموعة من الاستعلامات عالية الخطورة ($X_{anchor}$، مثل "كيف أصنع قنبلة؟") باستخدام النموذج الأساسي الموجه أمنياً والمجمد. تعمل هذه الحالات كـ مراسي أمان (Safety Anchors).
2. التنظيم الديناميكي (Dynamic Regularization): أثناء الضبط الدقيق على مجموعة بيانات المستخدم ($D_{train}$)، يقوم النموذج بتحسين خسارة الإنتروبيا المتقاطعة القياسية ($L_{CE}$) مع تقليل متوسط مربع الخطأ (MSE) بين الحالات المخفية النهائية للنموذج الحالي للاستعلامات المرجعية وبين المراسي المخزنة مؤقتاً:
   $$L_{safe}(\theta) = \frac{1}{|X_{anchor}|} \sum_{x' \in X_{anchor}} \| h_\theta(x') - h_{ref}(x') \|_2^2$$
   الهدف الإجمالي هو:
   $$L_{total}(\theta) = L_{CE}(D_{train}; \theta) + \lambda \cdot L_{safe}(\theta)$$

التبرير النظري

تقدم الورقة تحليلاً نظرياً (الملحق E) يوضح أن:

• التعامد (Orthogonality): الفضاءات الفرعية للهجوم التي يتم اختيارها عشوائياً تكون متعامدة هندسياً مع بعضها البعض باحتمالية عالية في الأبعاد العالية.
• القابلية للتنفيذ (Feasibility): الفضاء الفرعي المختار عشوائياً يحتوي بالتأكيد على اتجاه هبوط صالح للهدف الضار، مما يسمح للمهاجمين بتجاوز قيود التدرج أو المعلمات المحددة.
• ضرورة الاختناق (Bottleneck Necessity): نظرًا لأن الحالة المخفية النهائية يجب أن تُسقط على متجهات تضمين محددة لتوليد رموز ضارة، فإن تثبيت هذه الحالة يمنع استعادة القدرات الضارة بغض بغض النظر عن كيفية تطور المعلمات الداخلية.

3. المساهمات الرئيسية

1. التحليل التجريبي والنظري لفشل الدفاع: يوضح المؤلفون أن الدفاعات الحالية تنهار تحت تأثير HFT المستمر لأنها تفشل في مراعاة تكرار المعلمات. ويظهرون أن المهاجمين يمكنهم إيجاد مسارات تحسين متعامدة تلبي قيود الدفاع (مثل حدود مسافة المعلمات) بينما تنجح في استعادة القدرات الضارة.
2. اقتراح SBR: آلية دفاع مبتكرة تقوم بتثبيت الحالات المخفية النهائية للاستعلامات عالية الخطورة على تلك الخاصة بالنموذج الموجه أمنياً، وذلك عبر استغلال طبقة إلغاء التضمين كاختناق هندسي.
3. الكفاءة العالية والمتانة: توضح الورقة أن SBR يتطلب موارد ضئيلة (كما قلي من مرساة أمان واحدة) للحفاظ على أمان قوي، متفوقاً على أحدث الدفاعات مع الحفاظ على الفائدة في المهام الحميدة.

4. النتائج التجريبية

أُجريت التجارب على نماذج Llama3.1-8B و Qwen2.5-7B و Gemma1.1-7B باستخدام مجموعات بيانات مثل BeaverTails (ضارة) و SST-2/AGNEWS/GSM8K/AlpacaEval (حميدة).

• أداء الأمان: تحت تأثير HFT المستمر (حتى 50 حقبة/epoch)، انهارت الدفاعات الحالية (LISA, Vaccine, Booster)، حيث ارتفعت درجات الضرر (HS) إلى فوق 50-60. في المقابل، حافظ SBR على متوسط HS قدره 5.68 (وهو أقل بكثير من SFT الأساسي الذي بلغ 70.7).
• الحفاظ على الفائدة: حافظ SBR على دقة وظيفية (FA) مماثلة للضبط الدقيق غير المقيد (على سبيل المثال، 94.15% في SST-2)، بينما عانت بعض الطرق المنافسة (مثل DeepAlign) من تدهور الأداء في مهام التصنيف.
• المتانة تجاه نسبة السمّ (Poison Ratio): ظل SBR فعالاً حتى عندما زادت نسبة البيانات الضارة في مجموعة التدريب إلى 30% ($p=0.3$)، حيث حافظ على HS < 10 عبر جميع بنيات النماذج.
• الدفاع ضد الباب الخلفي (Backdoor Defense): أظهر SBR متانة فائقة ضد هجمات كسر الحماية عبر الأبواب الخلفية الخفية (التي يتم تحفيزها بواسطة لواحق محددة)، محققاً HS قدره 4.7 مقارنة بأكثر من 16 للدفاعات الأخرى.
• كفاءة المرساة: الطريقة محايدة تجاه محتوى المرساة المحدد؛ حيث كان وجود مرساة واحدة فقط ($|X_{anchor}|=1$) كافياً لخفض HS من ~68 إلى ~6.

5. الأهمية والادعاءات

تدعي الورقة أن SBR يمثل تحولاً جذرياً (Paradigm Shift) في توجيه الأمان، حيث ينتقل من تقييد فضاء المعلمات الداخلي الواسع والمكرر إلى فرض القيود عند الاختناق الهندسي الحتمي لطبقة إلغاء التضمين.

• الآلية الأساسية: يجادل المؤلفون بأن انهيار الأمان ليس مجرد نتيجة لانحراف المعلمات، بل هو عدم محاذاة هندسية عند طبقة المخرجات النهائية. ومن خلال تثبيت هذه الطبقة، يخلق SBR "مجال استقرار محلي" يغطي الجوار الدلالي للنوايا الخبيثة دون الإفراط في التخصيص (Overfitting) لأمثلة محددة.
• تعامد الرفض (Orthogonality of Refusal): تعتمد الطريقة على النتيجة التي مفادها أن سلوكيات الرفض تتم عبر فضاءات فرعية متعامدة إلى حد كبير مع الاستدلال الحميد. وبالتالي، فإن تثبيت حالات الأمان يسبب أدنى قدر من التداخل مع المعلمات المطلوبة للمهام الحميدة اللاحقة.
• القيود: يشير المؤلفون بتواضع إلى أن SDR يعتمد على التوجيه الأمني الأولي للنموذج الأساسي وهو مصمم لتثبيت الحدود الموجودة بالفعل وليس لاستحثاث الأمان في النماذج غير الموجهة أمنياً. علاوة على ذلك، فإنه لا يعالج مباشرة هجمات كسر الحماية أثناء الاستدلال (Inference-time) التي لا تتضمن تحديثات المعلمات.

تخلص الورقة إلى أن الدفاع عند الاختناق الهندسي هو استراتيجية ضرورية وفعالة لمنع إزالة محاذاة الأمان أثناء الضبط الدقيق، مما يوفر حلاً قوياً ضد هجمات الضبط الدقيق الضارة الصريحة والخفية على حد سواء.