ملخص تقني: SPARD

بيان المشكلة

يتم تكييف النماذج اللغوية الكبيرة (LLMs) بشكل متزايد مع مجالات محددة عبر "الضبط الدقيق كخدمة" (fine-tuning-as-a-service). ومع ذلك، فإن هذه العملية غالبًا ما تقوض التوافق الأمني الذي تم تحقيقه أثناء مرحلة ما قبل التدريب. ويتم استغلال هذه الثغرة من خلال هجمات الضبط الدقيق الضارة (harmful fine-tuning attacks)، حيث يتم حقن بيانات معادية لإزالة الضمانات الأمنية وتحفيز سلوكيات غير آمنة.

تواجه آليات الدفاع الحالية قصورين رئيسيين:

1. التحكم الضعيف: تعامل طرق مثل SafeInstr وLisa البيانات الآمنة كمنظم ناعم (عامل جزاء)، مما يوفر تحكمًا غير مباشر فقط في القيود الأمنية، ويجعل من الصعب الموازنة بين السلامة والمنفعة في المهام النهائية.
2. الاختيار غير الأمثل للبيانات: عادةً ما تختار النهج الحالية العينات الآمنة عشوائيًا، وهي تتجاهل حقيقة أن البيانات الآمنة ذات الصلة الوثيقة بالمهمة النهائية توفر إشارات تصحيحية أقوى، كما تغفل الحاجة إلى التنوع لتغطية مساحات المخاطر الواسعة.

المنهجية

يقترح المؤلفون SPARD (الإسقاط الأمني مع اختيار البيانات القائم على الصلة والتنوع)، وهو إطار دفاعي يتكون من مكونين أساسيين:

1. التدرج المتناوب المسقط أمنيًا (SPAG)

يصيغ SPARD عملية الضبط الدقيق كمسألة تحسين مقيدة بالسلامة:
$$\min_{\theta} \mathcal{L}(D_{ft}, \theta) \quad \text{s.t.} \quad \mathcal{L}(D_{safe}, \theta) \leq \tau$$
حيث أن $D_{ft}$ هي مجموعة بيانات الضبط الدقيق، و $D_{safe}$ هي مجموعة البيانات الآمنة، و $\tau$ هو عتبة السلامة.

بدلاً من استخدام التخفيف القائم على الجزاء، يستخدم SPAG استراتيجية إسقاط صريحة:

1. تحديث المنفعة: إجراء خطوة تدرج على بيانات الضبط الدقيق ($D_{ft}$) لتحديث المعلمات $\theta$.
2. الإسقاط الأمني: إسقاط المعلمات المحدثة مرة أخرى إلى منطقة قابلة للتحقيق محددة بالقيد الأمني.
   • يتم خطيّة القيد باستخدام توسع تايلور من الدرجة الأولى حول المعلمات المحدثة.
   • يجد الإسقاط النقطة الأقرب إلى المعلمات المحدثة في النصف فضاء الأمني الخطي.
   • تعمل آلية منطقة الثقة (trust-region) على تحديد حجم خطوة الإسقاط لمنع التحديثات الكبيرة التي قد تؤدي إلى زعزعة استقرار التدريب.

يوفر هذا النهج حلاً مغلق الصيغة يضمن القابلية للتحقيق حتى الدرجة الأولى دون الحاجة إلى ضبط يدوي لأوزان الجزاء.

2. عملية النقطة المحدد لـ (الصلة–التنوع) (Relevance–Diversity DPP)

لضمان فعالية الإسقاط الأمني، يقدم SPARD طريقة منهجية لاختيار مجموعة فرعية مدمجة من البيانات الآمنة ($D_{safe}$) من مجموعة مرشحة أكبر. يوازن الاختيار بين عاملين:

• الصلة: يجب أن تتوافق العينات الآمنة مع توزيع المهمة النهائية لتوفال إشارات تصحيحية قوية.
• التنوع: يجب أن تغطي العينات المختارة نطاقًا واسعًا من السلوكيات الضارة المتميزة لمنع الإفراط في التخصيص لمساحة مخاطر ضيقة.

يبني المؤلفون نواة Relevance–Diversity DPP:
$$\tilde{K}_{ij} = (q_i \cdot q_j)^\beta \cdot K(x_i, x_j)$$
حيث أن $q_i$ هو درجة الصلة (أقصى تشابه جيب تمام بين مرشح والبيانات النهائية)، و $K(x_i, x_j)$ يلتقط التشابه الجوهري، و $\beta$ يتحكم في تأثير الصلة.

• المصطلح $(q_i \cdot q_j)^\beta$ يكافئ المجموعات الفرعية التي تحتوي على عينات عالية الصلة.
• يفرض حد المحدد $\det(L_C)$ التنوع بين العينات المختارة.

تُستخدم خوارزمية اختيار جشعة (greedy) فعالة لتقريب مجموعة الحد الأقصى للاستدلال البعدي (MAP)، لتجنب التكلفة الحسابية للاستدلال الدقيق لـ DPP.

المساهمات الرئيسية

1. إطار عمل SPARD: دفاع مبتكر يدمج التحسين المسقط أمنيًا مع اختيار البيانات القائم على الصلة والتنوع.
2. خوارزمية SPAG: طريقة تحسين منهجية تتناوب بين تحديثات المنفعة والإسقاطات الأمنية الصريحة، مما يحل مشكلة الضبط الدقيق المقيد بالسلامة دون جزاءات ناعمة.
3. Relevance–Diversity DPP: استراتيجية اختيار بيانات تحسن بشكل مشترك التوافق مع المهمة وتغطية السلوك، مما يعالج مشكلات التكرار وعدم الصلة في أخذ العينات العشوائية.
4. التحقق التجريبي: تجارب مكثفة تثبت تفوق SPARD على الدفاعات الحالية في تقليل معدلات نجاح الهجوم (ASR) مع الحفاظ على دقة عالية في المهام النهائية.

النتائج التجريبية

قيم المؤلفون SPARD على GSM8K (الاستدلال الرياضي) و OpenBookQA (الاستدماء العلمي) باستخدام Qwen-2.5-7B-Instruct و LLaMA-3.2-3B-Instruct تحت أربعة هجمات ضبط دقيق ضارة (BeaverTails, I-BeaverTails, LatHarmful, Q-LatHarmful).

• أداء السلامة: حقق SPARD باستمرار أدنى متوسط لمعدل نجاح الهجوم (ASR) ودرجة الضرر (HS) عبر جميع النماذج ومجموعات البيانات. على سبيل المثال، في GSM8K مع Qwen، خفض SPARD متوسط ASR إلى 9.45% (مقارنة بـ 19.12% لنموذج Lisa القوي و 87.93% للضبط الدقيق القياسي SFT).
• الحفاظ على المنفعة: حافظ SPARD على دقة تنافسية في المهام النهائية، وغالبًا ما تفوق على النماذج المرجعية مثل Lisa و SafeGrad. في GSM8K مع Qwen، حقق SPARD دقة بنسبة 85.77%، متفوقًا على Lisa التي حققت 78.45%.
• دراسات الاستئصال (Ablation Studies):
  • الصلة مقابل التنوع: أدى إزالة الصلة (الاختيار العشوائي) أو التنوع (اختيار الجودة القصوى) إلى ارتفاع ASR، مما يؤكد ضرورة كلا العاملين.
  • المعلمات الفائقة: الطريقة قوية تجاه التغيرات المتوسطة في أس الصلة ($\beta$) وعتبة السلامة ($\tau$).
  • الكفاءة: يضيف SPARD 8.1% فقط من العبء الحسابي مقارنة بـ SFT القياسي، وهو أقل بكثير من SafeGrad (+54.2%).

الأهمية والادعاءات

يزعم البحث أن SPARD يقدم دفاعًا مبدئيًا ضد هجمات الضبط الدقيق الضارة من خلال الانتقال من الجزاءات الناعمة إلى القيود الهندسية الصريحة. ومن خلال دمج SPAG، تضمن الطريقة فرض القيود الأمنية بصرامة أثناء التدريب. علاوة على ذلك، يعالج نظام Relevance–Diversity DPP الرؤية الجوهرية بأن ليست كل البيانات الآمنة فعالة بنفس القدر؛ فاختيار البيانات التي تتسم بالصلة بالمهمة والتنوع في التغطية أمر ضروري لتحقيق توافق أمني قوي.

يؤكد المؤلفون أن SPARD يوفر توازنًا قويًا بين السلامة والمنفعة، متفوقًا على الطرق الحالية (بما في ذلك PTST و SafeInstr و Lisa و SafeGrad) دون الحاجة إلى قيود هيكلية (مثل محولات LoRA) أو ضبط يدوي للأوزان. وقد أظهر الإطار قدرته على التعميم عبر بنيات نماذج مختلفة (Qwen و LLaMA) ومهام نهائية متنوعة (الاستدلال الرياضي والعلوم).