ملخص تقني: EntropyScan

بيان المشكلة

تتزايد نماذج الرؤية واللغة الكبيرة (LVLMs) الموزعة كنسخ تدريب (checkpoints) من طرف ثالث عبر نماذج "النموذج كخدمة" (MaaS)، مما يخلق مخاطر أمنية جسيمة. وبينما تركز آليات الدفاع الحالية بشكل أساسي على الكشف على مستوى العينة (تصفية بيانات التدريب المسمومة أو تشويه المدخلات أثناء الاستنتاج)، فإنها تتطلب عمومًا الوصول إلى مجموعة بيانات التدريب الأصلية أو معرفة بمحفزات (triggers) هجوم محددة. وتظل هناك فجوة حرجة في الكشف على مستوى النموذج: تحديد ما إذا كانت نسخة تدريب نهائية من طرف ثالث تحتوي على باب خلفي (backdoor) دون معرفة مسبقة بأنماط المحفز، أو الاستجابات المستهدفة، أو بيانات التدريب المسمومة. إن غموض عملية التدريب والدمج الدقيق للمحفزات داخل مساحة الأوزان الهائلة يجعل هذه المهمة صعبة للغاية.

المنهجية: EntropyScan

يقترح المؤلفون EntropyScan، وهو إطار عمل خفيف الوزن وغير مرتبط بالمحفزات (trigger-agnostic)، مصمم للكشف عن نماذج LVLM التي تحتوي على أبواب خلفية من خلال تحليل الشذوذ الهيكلي في الانتباه البصري. الفرضية الأساسية هي أن حقن الباب الخلفي يعطل آليات المحاذاة عبر الوسائط (cross-modal alignment) داخل النموذج، مما يؤدي إلى انحرافات قابلة للقياس في تخصيص الانتباه البصري حتى في المدخلات السليمة.

تتقدم المنهجية عبر ثلاث مراحل:

1. استخراج إنتروبيا الانتباه البصري:

   • يركز الأسلوب على الطبقة الأولية (Layer-0) لمكون النموذج اللغوي الكبير (LLM)، حيث تتكامل الرموز البصرية (visual tokens) أولاً مع التمثيلات النصية.
   • يقوم باستخراج أوزان الانتباه البصري من وحدات الانتباه الذاتي (self-attention modules). وتحديدًا، يعزل متجه احتمالية الانتباه المخصص للرموز البصرية ($\mathcal{V}$) لآخر رمز في تسلسل الإدخال.
   • لفصل نمط التوزيع الداخلي عن حجم الانتباه الإجمالي، يقوم المؤلفون بإجراء إعادة تطبيع لكل وسيط (modality-wise renormalization) لإنشاء توزيع احتمالي شرطي $P_{\mathcal{V}}$.
   • يتم حساب إنتروبيا تساليس (Tsallis entropy) ($H_q$) على هذا التوزيع. وقد تم اختيار إنتروبيا تساليس بدلاً من إنتروبيا شانون أو ريني لأن معامل عدم الامتداد الخاص بها ($q$) يوفر حساسية معززة لـ "ذيل" التوزيع، مما يجعلها أكثر فعالية في اكتشاف الشذوذ الهيكلي الدقيق الناتج عن الأبواب الخلفية المتخفية.

2. التطبيع بمعامل Z-Score المرتكز على المرجع:

   • لتأسيس خط أساس، يستخدم النظام نموذجًا مرجعيًا سليمًا ($M_{ref}$) له نفس بنية النموذج المشتبه به ($M_{target}$) ومجموعة بيانات تحقق سليمة وصغيرة ($D_{val}$).
   • يتم حساب الإحصائيات (المتوسط $\mu_{ref}$ والانحراف المعياري $\sigma_{ref}$) من قيم الإنتروبيا للنموذج المرجعي.
   • بعد ذلك، يتم تطبيع قيم الإنتروبيا للنموذج المشتبه به باستخدام هذه الإحصائيات المرجعية لحساب درجة Z (Z-score). وهذا يربط مقياس إنتروبيا النموذج المشتبه به بالتوزيع السليم، مما يسمح بتحديد الانحرافات المنهجية.

3. قرار الكشف:

   • يحسب الأسلوب درجة شذوذ $s(x)$ لكل عينة بناءً على الانحراف المطلق لدرجة Z الخاصة بها عن وسيط المرجع.
   • يتم اتخاذ القرار النهائي عن طريق حساب المساحة تحت منحنى خصائص تشغيل المستقبِل (AUC) بين درجات الشذوذ للنموذج المشتبه به والنموذج المرجعي.
   • إذا تجاوزت قيمة AUC عتبة محددة مسبقًا ($\tau = 0.8$)، يتم تصنيف النموذج على أنه يحتوي على باب خلفي.

المساهمات الرئيسية

1. اكتشاف الشذوذ الهيكلي: حدد المؤلفون أن حقن الأبواب الخلفية في نماذج LVLM يسبب اضطرابات هيكلية متميزة في المحاذاة عبر الوسائط، تظهر كتحولات قابلة للقياس في إنتروبيا الانتباه البصري في المدخلات السليمة.
2. أول إطار عمل للكشف على مستوى النموذج: يُقدم EntropyScan كأول طريقة مصممة خصيصًا للكشف على الأبواب الخلفية على مستوى النموذج في نماذج LVLM. وهي تعمل دون الحاجة إلى الوصول إلى المحفزات، أو بيانات التدريب المسمومة، أو التدخل النشط أثناء الاستنتاج.
3. خفيف الوزن وفعال: يتميز إطار العمل بكفاءة عالية، حيث يتطلب فقط الاستنتاج الأمامي (forward inference). ويحقق دقة عالية باستخدام مجموعة تحقق صغيرة (200 صورة) ويعمل في ثوانٍ لكل نسخة تدريب للنموذج.

النتائج التجريبية

قام المؤلفون بتقييم EntropyScan على اثنين من بنيات LVLM (وهما LLaVA-1.5-7B و Otter-3B) عبر ثلاثة سيناريوهات هجوم متقدمة: ShadowCast و ImgTrojan و VL-Trojan.

• أداء الكشف: حقق EntropyScan متوسط درجة F1 بنسبة 98.5% و AUC بنسبة 96.6% عبر جميع السيناريوهات.
  • حقق كشفًا مثاليًا (AUC = 1.000) لهجمات VL-Trojan عبر جميع هياكل الرؤية المختبرة.
  • تفوق بشكل كبير على طريقة تجميع التنشيط (Activation Clustering - AC) الأساسية، خاصة ضد هجمات ShadowCast حيث فشلت AC (الاستدعاء = 0) بينما حقق EntropyScan استدعاءً قدره 0.9535.
• المتانة: أظهرت الطريقة متانة ضد الهجمات التكيفية حيث يحاول المهاجمون تنظيم الإنتروبيا البصرية لتتطابق مع التوزيعات السليمة؛ حيث أدت هذه المحاولات إلى إضعاف معدل نجاح الهجوم (ASR) بشكل كبير.
• الكفاءة: بلغ متوسط وقت الفحص 4.37 ثانية لكل نسخة تدريب للنموذج على أربع وحدات معالجة رسومية من نوع NVIDIA Tesla V100.
• دراسات الاستئصال (Ablation Studies):
  • حساسية الطبقة: تأكد أن الطبقة الأولية (Layer-0) هي المسبار الأمثل للكشف، حيث تتلاشى إشارات الكشف بسرعة في الطبقات الأعمق.
  • مقياس الإنتروبيا: تفوقت إنتروبيا تساليس ($q=2$) على إنتروبيا شانون و ريني، لا سيما في هجمات الاضطراب العالمي الدقيقة.
  • كفاءة البيانات: ظل أداء الكشف مستقرًا عبر أحجام مجموعات التحقق المختلفة ومصادر مختلفة من الصور السليمة (مثل COCO2017 مقابل Object365).

الأهمية والادعاءات

يزعم البحث أن EntropyScan يوفر نموذجًا عمليًا للتفتيش الأمني لنسخ تدريب نماذج LVLM من طرف ثالث. ومن خلال تحديد توقيع عالمي للعدوى (انحراف الإنتروبيا في الانتباه عبر الوسائط) بدلاً من الاعتماد على آثار مرتبطة بمحفزات محددة، تعالج الطريقة التحدي الحرج المتمثل في الكشف عن الأبواب الخلفية في النماذج النهائية حيث لا تتوفر معرفة بالمحفز. ويؤكد المؤلفون أن نهجهم يتيح التدقيق على مستوى النموذج دون المساس بجدوى النموذج أو طلب إعادة التدريب، مما يعزز ممارسات الأمن المتاحة للنظام البيئي المتوسع بسرعة لنماذج LVLM مفتوحة المصدر ومن طرف ثالث.