ملخص تقني: CSULoRA

بيان المشكلة

تعد تقنية التكيف منخفض الرتبة (LoRA) أسلوباً قياسياً للضبط الدقيق الموفر للمعلمات للنماذج اللغوية الكبيرة (LLMs). ومع ذلك، تشير الأبحاث الحديثة إلى أن حتى كميات صغيرة من بيانات الضبط الدقيق غير الآمنة أو العدائية يمكن أن تضعف بشكل كبير سلوكيات السلامة في النماذج المتوافقة، مما يزيد من امتثالها للمطالبات الضارة (Yang et al., 2023; Qi et al., 2024; Bianchi et al., 2024).

تعتمد الطرق الحالية للحفاظ على السلامة أثناء الضبط الدقيق لـ LoRA أو استعادتها لاحقاً (post-hoc) غالباً على تدخلات "قاسية". وتشمل هذه التدخلات الإسقاط على فضاءات فرعية آمنة، أو تقليم طبقات محددة، أو وضع عتبات (thresholding)، أو إدخال أهداف تدريبية ووحدات سلامة إضافية (Hsu et et al., 2024; Ao et al., 2025; Li et al., 2025). وبينما تكون هذه الأساليب فعالة في سياقات معينة، إلا أنها تخاطر بالتخلص من المعلومات ذات الصلة بالمهمة، وتتطلب ضبطاً إضافياً أو اختياراً للمعلمات الفائقة، أو تستلي بناء ناقلات سلامة خارجية. هناك حاجة إلى طريقة يمكنها تصحيح محولات (adapters) LoRA المدربة لاستعادة السلامة دون إعادة تدريب النموذج بالكامل، أو التخلص من المنفعة، أو تغيير الرتبة الهيكلية للمحول.

المنهجية: CSULoRA

يقترح المؤلفون CSULoRA (تقدير أقرب تحديث آمن للتكيف منخفض الرتبة)، وهو أسلوب لاحق (post-hoc) لتصحيح محولات LoRA المدربة من خلال تقدير أقرب تحديث آمن. تعمل الطريقة بشكل حتمي (deterministic) على محول مدرب دون الحاجة إلى تدريب إضافي أو اختيار عتبة قائم على التحقق.

1. تقدير الفضاء الفرعي المتوافق مع السلامة

يقدر CSULoRA فضاءً فرعياً متوافقاً مع السلامة من خلال تحليل إزاحة الأوزان بين نسخة النموذج المتوافق مع السلامة ($W_{aligned}$) ونسخة النموذج الأساسي قبل التوافق ($W_{base}$):
$$V = W_{aligned} - W_{base}$$
تعمل هذه الإزاحة $V$ كوسيط للاتجاهات ذات الصلة بالتوافق. تبني الطريقة مساقط متعامدة يسارية ($P_L$) ويمنى ($P_R$) بناءً على الفضاءات العمودية الرئيسية للأعمدة والصفوف لـ $V$ على التوالي. ولضمان الكفاءة الحسابية، يتم تقريب هذه الفضاءات الفرعية باستخدام باحث نطاق منخفض الرتبة عشوائي مع تكرارات القدرة (power iterations)، مع الاحتفاظ بطاقة كافية من القيم المفردة لتفسير 95% من طاقة إزاحة التوافق.

2. تفكيك تحديثات LoRA

بالنسبة لتحديث LoRA المدرب $\Delta W_0 = BA$، يقوم CSULoRA بتفكيك التحديث إلى أربعة كتل بناءً على المساقط $P_L$ و $P_R$:

• متوافق تماماً ($\Delta W_{LR}$): يقع في كل من فضاءات المدخلات والمخرجات المتوافقة.
• متوافق جزئياً ($\Delta W_{L\bar{R}}$ و $\Delta W_{\bar{L}R}$): يقع في واحد فقط من الفضاءين الفرعيين المتوافقين.
• خارج الفضاء الفرعي ($\Delta W_{\bar{L}\bar{R}}$): يقع خارج كلا الفضاءين الفرعيين المتوافقين.

3. تحسين الحد الأدنى من التغيير المعاقب

على عكس طرق الإسقاط القاسية التي تتخلص من مكونات خارج الفضاء الفرعي، يحل CSULoRA مشكلة تحسين الحد الأدنى من التغيير المعاقب. الهدف هو إيجاد مصفوفة محدثة $\Delta W^*$ تظل قريبة من التحديث الأصلي مع معاقبة الطاقة في الكتل المتوافقة جزئياً والخارجة عن الفضاء الفرعي:
$$\Delta W^* = \arg \min_{\Delta W} \frac{1}{2} \|\Delta W - \Delta W_0\|_F^2 + \frac{1}{2} \sum_{b \in \mathcal{B} \setminus \{LR\}} \lambda_b \|\Pi_b(\Delta W)\|_F^2$$
حيث يقوم $\Pi_b$ بالإسقاط على الكتلة $b$. تُترك الكتلة المتوافقة تماماً دون عقاب.

تؤدي هذه المشكلة إلى حل ذو صيغة مغلقة:
$$\Delta W^* = \Delta W_{LR} + \sum_{b \in \mathcal{B} \setminus \{LR\}} \gamma_b \Delta W_b$$
حيث $\gamma_b = (1 + \lambda_b)^{-1}$.

4. العقاب التكيفي وإعادة البناء

لتجنب المعلمات الفائقة القابلة للضبط، يتم حساب حدود العقاب $\lambda_b$ بشكل تكيفي بناءً على طاقة "فوروبنيوس" النسبية للكتل. يُعرَّف العقاب للكتلة $b$ بأنه نسبة طاقتها إلى طاقة مرجعية ($E_{ref}$)، والتي تتضمن طاقة الكتلة المتوافقة تماماً بالإضافة إلى حد تنعيم لمنع الانكماش العدواني عندما يكون المكون المتوافق صغيراً. يضمن هذا أن التوهين (attenuation) مستقل عن المقياس ويعتمد على الطاقة النسبية للمكونات داخل الطبقة.

أخيراً، يتم تقريب التحديث المصحح $\Delta W^*$ مرة أخرى إلى هيكل LoRA الأصلي من الرتبة $r$ ($B^*A^*$) باستخدام تحليل القيم المفردة المبتور (SVD)، مما يحافظ على رتبة المحول وهيكله أثناء الاستنتاج.

المساهمات الرئيسية

• خوارزمية CSULoRA: طريقة لاحقة وحتمية لتصحيح محولات LoRA المدربة عبر تفكيك التحديثات إلى مكونات متوافقة مع التوافق وغير متوافقة معه.
• آلية التوهين الناعم (Soft Attenuation): بدلاً من الإسقاط القاسي أو التقليم، تطبق الط मेथड قاعدة توهين ناعمة ذات صيغة مغلقة تحافظ على المكونات المتوافقة تماماً بدقة بينما تقلل بسلاسة من حجم الاتجاهات الأقل اتساقاً بناءً على طاقتها النسبية.
• تصحيح خالٍ من المعلمات: لا تتطلب الطريقة إعادة تدريب، ولا معلمات قابلة للتدريب إضافية، ولا بناء ناقلات سلامة خارجية أو اختيار عتبة قائم على التحقق.
• الحفاظ على الهيكل: يتم إعادة صياغة التحديث المصحح إلى مصفوفات LoRA الأصلية، مما يحافظ على رتبة المحول وهيكله للاستنتاج.

النتائج التجريبية

قيم المؤلفون CSULoRA على نماذج Llama-3.2-3B-Instruct و Gemma-3-4B-it باستخدام إعداد ضبط دقيق عدائي حيث تألف 5% من بيانات التدريب من أمثلة غير آمنة من مجموعة بيانات BeaverTails ممزوجة ببيانات اتباع التعليمات الحميدة.

مقاييس الأداء:

• المنفعة (Utility): تم قياسها عبر IFEval (اتباع التعليمات المقيدة).
• السلامة (Safety): تم قياسها عبر معدل نجاح الهجوم (ASR) على AdvBench.
• القدرة العامة (General Capability): تم قياسها عبر ARC-Challenge.
• المقايضة بين السلامة والمنفعة (SUT): مقياس مركب $SUT = \text{AvgUtil} \times (1 - \text{ASR}/100)$.

النتائج:

• Llama-3.2-3B-Instruct: أدى LoRA القياسي إلى تحسين المنفعة (IFEval) من 73.57% إلى 82.96% ولكنه زاد ASR من 2.69% إلى 60.58%. خفض CSULoRA الـ ASR إلى 1.73% (أقل من النموذج الأساسي) مع الاحتفاظ بمتوسط منفعة قدره 79.20% (انخفاض قدره 3.76 نقطة فقط عن LoRA القياسي). حقق أعلى درجة SUT (77.83) بين جميع الطرق.
• Gemma-3-4B-it: أدى LoRA القياسي إلى زيادة ASR إلى 48.85%. خفض CSULO**RA الـ ASR إلى 1.35% وحسن متوسط المنفعة إلى 85.78%، متفوقاً على جميع النماذج المرجعية في كل من حفظ السلامة والمنفعة. حقق أعلى درجة SUT (84.62) وأعلى درجة قدرة عامة (77.30% على ARC-Challenge).
• المقارنة: تفوق CSULoRA باستمرار على النماذج المرجعية مثل SafeLoRA (الإسقاط القاسي)، و SPLoRA (التقليم)، و RESTA (حساب المهام)، والتي إما فشلت في تقليل ASR بشكل كافٍ أو تسببت في خسائر كبيرة في المنفعة.

الأهمية والادعاءات

يدعي البحث أن CSULoRA يثبت أن التوهين الناعم لمكونات تحديث LoRA الأقل توافقاً مع التوافق هو استراتيجية أكثر موثوقية من الإسقاط القاسي أو التقليم أو استبدال المحول القوي للحفاظ على مقايضات السلامة والمنفعة.

يضع المؤلفون CSULoRA كطريقة تصحيح عملية في فضاء المعلمات التي:

1. تقلل بشكل كبير من معدلات نجاح الهجمات في سيناريوهات الضبط الدقيق العدائي.
2. تحافظ على معظم مكاسب المنفعة التي تم الحصول عليها من الضبط الدقيق القياسي لـ LoRA.
3. تحافظ على قدرات النموذج العامة دون إعادة تدريب أو تغيير هيكل المحول.

يقر البحث بالقيود، مشيراً إلى أن الفضاء الفرعي المتوافق مع السلامة هو وسيط مشتق من إزاحة الأوزان وقد يكون ضوضائياً أو غير كامل. علاوة على ذلك، يقتصر التقييم على نماذج ومعايير محددة، كما أن مقياس ASR القائم على التعبيرات النمطية (regex) لا يلتقط جميع تفاصيل ضرر الاستجابة. ويخلص المؤلفون إلى أنه على الرغم من أن CSULoRA ليس ضماناً رسمياً للسلوك الآمن، إلا أنه يمثل اتجاهاً واعداً للتصحيح الهندسي اللاحق لتحديثات LoRA.