Weight space Detection of Backdoors in LoRA Adapters

إليك ملخص تقني مفصل لورقة البحث بعنوان "الكشف عن نماذج LoRA الملغومة من خلال الأوزان وحدها".

1. بيان المشكلة

السياق: تتيح تقنية التكيف منخفض الرتبة (LoRA) ضبطاً دقيقاً فعالاً للنماذج اللغوية الكبيرة (LLMs)، ويتم مشاركتها على نطاق واسع عبر المستودعات المفتوحة مثل Hugging Face Hub. وهذا يخلق مخاطر أمنية في سلسلة التوريد، حيث يمكن للمهاجمين رفع محولات (adapters) "مسمومة". تعمل هذه المحولات بشكل طبيعي على المدخلات القياسية، ولكنها تنفذ إجراءات ضارة (مثل إخراج محتوى ضار) عند وجود رمز أو سياق محدد وغير معروف (trigger).

التحدي:

• القابلية للتوسع: تعتمد طرق الكشف الحالية على تشغيل النموذج مع مدخلات اختبارية (القائمة على التنفيذ) لمراقبة السلوك الشاذ. وهذا أمر مكلف حاسوبياً لفحص آلاف المحولات في مستودع ما.
• الاستقلالية عن المحفز (Trigger Agnosticism): غالباً لا يعرف المدافعون سلسلة النصوص المحفزة المحددة أو السلوك المستهدف، مما يجعل الفحص القائم على المدخلات غير فعال.
• التخفي: بما أن الأوزان الخاصة بالمحول فقط هي التي يتم تعديلها بينما يظل النموذج الأساسي مجلداً (frozen)، فإن الفحص اليدوي مستحيل، ويمكن إخفاء الأبواب الخلفية (backdoors) داخل توزيع الأوزان.

الهدف: تطوير طريقة كشف استاتيكية (ثابتة) ومستقلة عن المحفز تحدد محولات LoRA المسمومة من خلال تحليل مصفوفات أوزانها مباشرة، دون تشغيل النموذج أو الوصول إلى بيانات التدريب.

---

2. المنهجية

يعامل النهج المقترح كشف الباب الخلفي كمسألة فحص استاتيكية تعتمد على الخصائص الطيفية والهندسية لتحديثات أوزان LoRA ($\Delta W$).

أ. الرؤية الجوهرية

يفترض المؤلفون أن مهام الباب الخلفي، التي غالباً ما تشفر عمليات ربط بسيطة بين المحفز والاستجابة، تهيمن على التحديث منخفض الرتبة. يؤدي هذا إلى بصمة طيفية مميزة تتميز بـ:

• قيم مفردة مركزة (طاقة عالية في اتجاهات محددة).
• انتروبيا طيفية منخفضة.
• إحصائيات رتبة عليا متميزة مقارنة بمهام الضبط الدقيق المتنوعة والسليمة.

ب. مسار الكشف (Pipeline)

تعمل الطريقة على طبقة محددة من المحول (غالباً الطبقة 21) وتتبع الخطوات التالية:

1. إعادة البناء لكل إسقاط (Projection-Wise Reconstruction):

   • تعدل محولات LoRA أربعة إسقاطات للانتباه: الاستعلام (Query - $Q$)، المفتاح (Key - $K$)، القيمة (Value - $V$)، والمخرجات (Output - $O$).
   • بدلاً من تحليل مصفوفة الوزن الكاملة، تعيد الطريقة بناء التحديث منخفض الرتبة $\Delta W_p$ لكل إسقاط $p \in \{q, k, v, o\}$.
   • لحساب تفكيك القيم المفردة (SVD) بكفاءة، تستخدم الطريقة بناء SVD مختزلاً لعوامل LoRA ($A$ و $B$) لاستخلاص مصفوفة أساسية $M_p$ بحجم $r \times r$، حيث تتطابق القيم المفردة غير الصفرية لـ $\Delta W_p$ مع قيم $M_p$.

2. استخراج الميزات (الإحصاءات الطيفية):
   لكل من الإسقاطات الأربعة، يتم استخراج خمسة إحصاءات قياسية لتشكيل واصف (descriptor) ذي 5 أبعاد $\phi_p$:

   • $\sigma_1$ (أكبر قيمة مفردة): تقيس الطاقة المهيمنة للتحديث.
   • $\|\Delta W\|_F$ (معيار Frobenius): يقيس الحجم الإجمالي للتحديث.
   • $E_p$ (تركيز الطاقة): نسبة أكبر قيمة مفردة إلى مجموع جميع القيم المفردة ($\sigma_1 / \sum \sigma_j$). تشير القيم العالية إلى التركيز.
   • $H_p$ (الإنتروبيا الطيفية): تقيس مدى انتظام توزيع القيم المفردة. تشير الإنتروبيا المنخفضة إلى طيف "مدبب" نموذجي للأبواب الخلفية.
   • $K_p$ (التفرطح/Kurtosis): يقيس "تذييل" توزيع الأوزان في مصفوفة التحديث المعاد بناؤها.

3. تجميع الميزات:

   • يتم دمج الواصفات الخمسة من الإسقاطات الأربعة لتشكيل متجه ميزات ذي 20 بُعداً $\Phi(A)$.
   • يحافظ هذا على المعلومات الهيكلية المتعلقة بأي إسقاط (Q، K، V، أو O) يحمل الإشارة، بدلاً من متوسطها.

4. التصنيف:

   • يتم تدريب نموذج انحدار لوجستي (Logistic Regression) على مجموعة معايرة من المحولات المصنفة (سليمة مقابل مسمومة).
   • يتم توحيد الميزات (المتوسط/الانحراف المعياري) بناءً على مجموعة التدريب.
   • يخرج النموذج "درجة تسمم"، ويتم اختيار عتبة لتعظيم الفصل (باستخدام إحصائية Youden's J أو وضع الهامش).

---

3. المساهمات الرئيسية

1. إطار كشف يعتمد على الأوزان فقط: أول طريقة تكتشف أبواب LoRA الخلفية باستخدام مصفوفات الأوزان فقط، مما يلغي الحاجة لتنفيذ النموذج، أو معرفة المحفز، أو الوصول لبيانات التدريب.
2. اكتشاف البصمة الطيفية: أثبتت أن المحولات المسمومة تظهر نمطاً هندسياً ثابتاً في فضاء الأوزان: تركيز أقوى للقيم المفردة، إنتروبيا طيفية أقل، وإحصائيات رتبة عليا مزاحة مقارنة بالمحولات السليمة.
3. أهمية الإسقاط (Projection-Wise Importance): أظهرت أن إشارات الكشف ليست موحدة؛ إذ تختلف الأهمية النسبية لإسقاطات Q و K و V و O باختلاف بنية النموذج (على سبيل المثال، V مهيمن في Qwen، بينما Q و V أساسيان في Gemma). وهذا يبرر نهج الميزات ذي الـ 20 بُعداً بدلاً من الملخصات القياسية.
4. التحقق عبر البنى المختلفة: تم التحقق من صحة الطريقة عبر ثلاث عائلات متميزة من النماذج (Llama-3.2-3B، Qwen2.5-3B، Gemma-2-2B) مع تقسيمات اختبار متطابقة، محققة فصلاً تاماً.

---

4. النتائج التجريبية

تم تقييم الطريقة على اختبار يتكون من:

• النماذج: Llama-3.2-3B، Qwen2.5-3B، Gemma-2-2B.
• البيانات: 400 محول سليم (للمعايرة) و100 محول مسموم (للمعايرة) عبر مهام متنوعة (اتباع التعليمات، الاستدلال، البرمجة، إلخ).
• الهجمات: محفزات الرموز النادرة (مثل "cf") ومحفزات السياق (مثل ":Important update") بمعدلات تسميم 1%، 3%، و5%.

مقاييس الأداء (مجموعة الاختبار):

• الدقة (Accuracy): 100% عبر جميع عائلات النماذج الثلاثة.
• مساحة تحت منحنى ROC (ROC-AUC): 1.00 (فصل مثالي).
• معدل الإيجاب الكاذب (FPR): 0.00.
• معدل السلب الكاذب (FNR): 0.00.

النتائج الرئيسية من التحليل:

• حساسية الطبقة: حساسية الكشف تعتمد بشدة على موضع الطبقة (تعمل بشكل أفضل في الطبقات المتأخرة مثل 21) ولكنها قوية نسبياً تجاه التغير في رتبة LoRA ($r=8, 16, 32$).
• أهمية الميزة: بينما يعد تركيز القيم المفردة ($E_p$) والإنتروبيا ($H_p$) مؤشرات قوية، فإن "أفضل" ميزة تختلف حسب البنية (على سبيل المثال، كان التفرطح $K$ الأكثر قدرة على التنبؤ في Llama).
• وضوح الحمولة (Payload Legibility): في المحولات المسمومة، يتوافق الاتجاه السيطرة للقيم المفردة بشكل متزايد مع مفردات الحمولة مع زيادة معدل التسميم، مما يؤكد الارتباط الهندسي بين الباب الخلفي وتحديث الوزن.

---

5. الأهمية والقيود

الأهمية:

• أمن سلسلة التوريد: يوفر حلاً عملياً وقابلاً للتوسع لمشرفي المستودعات (مثل Hugging Face) لفحص آلاف المحولات قبل تحميلها من قبل المستخدمين.
• تحول في النموذج الفكري: ينقل كشف الباب الخلفي من "التحليل السلوكي" (تشغيل النموذج) إلى "التحليل الهيكلي" (تحليل الأوزان)، وهو أمر ضروري للنماذج "المدركة للتقييم" التي قد تخفي الأبواب الخلفية أثناء الاختبار.
• القابلية للتفسير: تقدم الطريقة ميزات قابلة للتفسير (القيم المفردة، الإنتروبيا) التي تشرح لماذا تم وسم المحول، على عكس المصنفات العصبية التي تعمل كصندوق أسود.

القيود:

• متطلب المعايرة: رغم أنها تتجنب تنفيذ النموذج، إلا أنها لا تزال تتطلب مجموعة معايرة مصنفة من المحولات السليمة والمسمومة لكل عائلة نماذج جديدة لضبط إحصاءات التوحيد وعتبة القرار.
• افتراض عدم التكيف (Non-Adaptive Assumption): تفترض الطريقة وجود مهاجم غير متكيف. يمكن لمهاجم متطور يدرك وجود هذا الكاشف محاولة "تنظيم" (regularize) التحديث الخبيث لتوزيعه بشكل منتشر عبر الأنماط المفردة، مما قد يؤدي للتهرب من الكشف (رغم أن هذا سيقلل من فعالية الباب الخلفي).
• التكلفة الحسابية: استخراج ميزات SVD لأربعة إسقاطات لكل محول هو أكثر تكلفة من مجرد فحص قياسي بسيط، ومع ذلك يظل أقل بكثير من عملية الاستدلال الكامل للنموذج.

الخلاصة:
تثبت الورقة أن سلوكيات الباب الخلفي تترك بصمات طيفية استاتيكية يمكن تحديدها في عمليات التكيف منخفضة الرتبة. يوفر تحليل فضاء الأوزان هذا بديلاً مبدئياً، دقيقاً للغاية، وعملياً للدفاعات القائمة على التنفيذ لتأمين منظومة مكونات LLM القابلة لإعادة الاستخدام.