Mechanistic Anomaly Detection via Functional Attribution

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الكشف الميكانيكي عن الشذوذ عبر العزو الوظيفي" (Mechanistic Anomaly Detection via Functional Attribution) للباحث هوجو ليونز كينان وآخرون.

1. بيان المشكلة

التحدي الجوهري الذي تعالجه الورقة هو الكشف الميكانيكي عن الشذوذ (MAD). فبينما يمكن لعمليات التحقق القياسية أن تؤكد ما إذا كانت مخرجات الشبكة العصبية تطابق التسميات الأرضية (ground truth)، إلا أنها لا تستطيع تحديد كيفية وصول النموذج إلى تلك المخرجات. فقد ينتج النموذج مخرجاً صحيحاً عبر آليات داخلية طبيعية، أو عبر آليات شاذة (مثل محفز الباب الخلفي "backdoor trigger"، أو الاضطراب العدائي "adversarial perturbation"، أو الاستدلال خارج نطاق التوزيع "out-of-distribution reasoning").

تعاني طرق الكشف الحالية من قصورين رئيسيين:

1. الضعف في الفضاء الكامن (Latent Space Vulnerability): تعتمد معظم الطرق على تحليل أنماط التنشيط في الفضاء الكامن (مثل مسافة ماهالانوبيس، أو إعادة بناء VAE). ويمكن للمهاجمين صياغة مدخلات تحاكي أنماط التنشيط الطبيعية مع تنفيذ سلوكيات ضارة (التمويه/obfuscation)، مما يتجاوز هذه الدفاعات.
2. الخصوصية النوعية للنماذج أو البنى (Modality/Architecture Specificity): العديد من الحلول الحالية مصممة لأنواع هجمات محددة (مثل المحفزات على مستوى البكسل في الرؤية الحاسوبية) أو لبنى معمارية محددة، مما يفتقر إلى القدرة على التعميم.

تقترح الورقة طريقة للكشف عن الشذوذ من خلال تحليل الآليات الحسابية الداخلية بدلاً من مجرد المخرجات أو التمثيلات الكامنة.

2. المنهجية: العزو الوظيفي (Functional Attribution)

يعيد المؤلفون صياغة الـ MAD كمسألة عزو وظيفي. فبدلاً من السؤال "هل هذا المدخل شاذ؟"، يسألون: "إلى أي مدى يمكن لمجموعة موثوقة من العينات تفسير سلوك النموذج على مدخل اختبار؟"

المفهوم الجوهري: دالات التأثير (Influence Functions)

تستخدم الطريقة دالات التأثير لقياس "الاقتران الوظيفي" بين عينة الاختبار ومجموعة من العينات الموثوقة (الطبيعية).

• الرؤية الكلاسيكية: تقيس دالات التأثير مدى تأثير نقطة تدريب على تنبؤ النموذج لنقطة استعلام.
• التعديل المقترح: بما أن المدافع لا يملك الوصول إلى بيانات التدريب أو التسميات لمجموعة الاختبار، فإن الطريقة تكيف دالات التأثير لتناسب إعداد وقت الاختبار (test-time setting):
  1. المجموعة الموثوقة ($D_T$): مجموعة صغيرة من العينات المعروفة بأنها تثير آليات طبيعية.
  2. الملاحظة ($\phi$): بدلاً من استخدام الخسارة (loss) الحقيقية، الملاحظة هي الخسارة المحسوبة مقابل تنبؤ النموذج الخاص به ($\hat{y}_{test} = \arg\max f_{w^*}(x_{test})$). هذا يركز على سلوك النموذج الفعلي، حتى لو كان شاذًا.
  3. دالات التأثير البايزية (BIF): لتجنب عدم القدرة على حساب مقلوب المصفوفة الهيسية (Hessian) في الشبكات العصبية الضخمة، تستخدم الطريقة نهج اللاحق المحلي (localized posterior). حيث يتم أخذ عينات من المعلمات $w$ من توزيع ممركز حول الأوزان المدربة $w^*$ باستخدام ديناميكيات درينج لاندج (SGLD).

إشارة الكشف

يتم اشتقاق درجة الشذوذ من التباين (أو الارتباط) لآثار الخسارة بين عينة الاختبار والمجموعة الموثوقة عبر عينات المعلمات:
$$\text{Det}(x_{test}) = \text{Agg}_{z_i \in D_T} \left[ \text{Cov}_{w \sim p_\gamma} (\ell(z_i; w), \phi_{test}(w)) \right]$$

• السلوك الطبيعي: تشترك العينات النظيفة والعينات الموثوقة في آليات داخلية (مثل كواشف الميزات). ستكون آثار الخسارة الخاصة بهما مرتبطة بقوة مع تغير المعلمات.
• السلوك الشاذ: تعتمد العينات ذات الأبواب الخلفية أو العدائية على آليات متميزة و"خفية". ستكون آثار الخسارة الخاصة بها ضعيفة الارتباط أو غير مرتبطة بالمجموعة الموثوقة.

استراتيجيات التجميع

• المتوسط (Mean): متوسط الارتباط عبر جميع العينات الموثوقة.
• التجميع حسب الفئة (Class-Clustered - CLC): حساب متوسط الارتباط لكل فئة في المجموعة الموثوقة وأخذ القيمة القصوى (استغلال حقيقة أن العينة النظيفة يجب أن تتطابق مع فئة واحدة على الأقل).
• المعالجة غير المتزامنة (Offline - UMAP): للمعالجة بالدفعات (batch processing)، تُستخدم الارتباطات الثنائية لبناء مصفوفة مسافات، والتي يتم بعد ذلك تضمينها عبر UMAP لتجميع العينات وتحديد القيم المتطرفة.

3. التبرير النظري

تقدم الورقة أساساً نظرياً يعتمد على الخصائص الطيفية للمصفوفة الهيسية (Hessian):

• الفضاءات الحادة مقابل المسطحة (Sharp vs. Flat Subspaces): تمتلك المصفوفة الهيسية لسطح الخسارة اتجاهات "حادة" (انحناء عالٍ، حساسة لتغير المعلمات) واتجاهات "مسطحة" (انحناء منخفض، قليلة الحساسية).
• الآلية الخفية: لتجنب الكشف بواسطة التقييم القياسي (الذي يفحص الدقة النظيفة)، يجب أن تعمل الأبواب الخلفية في الاتجاهات المسطحة. إن تغيير المعلمات في هذه الاتجاهات لا يؤدي إلى تدهور الأداء الطبيعي.
• التعامد (Orthogonality): تتركز التدرجات النظيفة في الاتجاهات الحادة، بينما تتركز تدرجات الشذوذ (الباب الخلفي) في الاتجاهات المسطحة. تحت وزن اللاحق المحلي، تصبح التدرجات في هذه الفضاءات الفرعية المتميزة متعامدة، مما يؤدي إلى ارتباط يقترب من الصفر بين العينات النظيفة والشاذة.

4. المساهمات الرئيسية

1. إطار عمل مبتكر: إعادة صياغة الكشف عن الشذوذ الميكانيكي (MAD) كمسألة عزو وظيفي باستخدام دالات التأثير، متجاوزة الحاجة لتحليل الفضاء الكامن.
2. إثبات نظري: إثبات أن الآليات الشاذة تختبئ في اتجاهات المصفوفة الهيسية المسطحة، مما يؤدي إلى عدم ارتباط قابل للكشف مع البيانات الموثوقة.
3. الاستقلالية عن نوع النموذج (Modality Agnosticism): تتطلب الطة فقط نموذجاً قابلاً للاشتقاق ومجموعة موثوقة، مما يجعلها قابلة للتطبيق على كل من نماذج الرؤية (CNNs) واللغة (Transformers) دون تغيير في البنية.
4. أداء رائد (State-of-the-Art): تحقيق معدلات كشف فائقة في اختبارات الأبواب الخلفية، بما في ذلك السيناريوهات التي تفشل فيها طرق الفضاء الكامن بسبب التمويه.

5. النتائج التجريبية

نماذج الرؤية (BackdoorBench)

تم التقييم على CIFAR-10، CIFAR-100، GTSRB، وTiny-ImageNet ضد 7 أنواع من الهجمات (مثل Blended, BPP, WaNet).

• المقياس: تقييم فعالية الدفاع (DER).
• الأداء: حققت الطريقة المقترحة (Offline UMAP) متوسط DER بلغ 0.972 عبر جميع مجموعات البيانات والهجمات.
• المقارنة: تتفوق هذه الطريقة بشكل كبير على أفضل خط أساس (STRIP، بـ DER قدره 0.833) وغيره من الدفاعات المتطورة. كما حققت النسخة المتصلة (Class-Clustered Correlation) درجة DER بلغت 0.928، متجاوزة أفضل خط أساس بمقدار 0.095.
• المتانة: ظل الأداء مستقراً حتى عند نسب تسميم منخفضة (0.1%).

نماذج اللغة (LLMs)

تم التقييم على Gemma 2-2B و Llama 3.1 8B مع مختلف محفزات الأبواب الخلفية.

• المحفزات البسيطة: حققت AUROC قريباً من المثالية (>0.99).
• المحفزات المعقدة/المموهة: والأهم من ذلك، اكتشفت الطريقة أبواباً خلفية في نماذج تم تدريبها صراحةً على تمويه تمثيلاتها الكامنة (مما يجعلها غير قابلة للتمييز عن العينات النظيفة في فضاء التنشيط).
  • انخفض أداء الخطوط المرجعية (Mahalanobis, VAE, TED) إلى أداء قريب من العشوائي (AUROC ~0.3–0.6) على النماذج المموهة.
  • حافظت الطريقة المقترحة على AUROC قدره 1.0، مما يثبت استقلالها عن أنماط التنشيط الكامنة.

ما وراء الأبواب الخلفية

• النماذج العدائية و OOD: نجحت الطريقة في التمييز بين الأمثلة العدائية وعينات التوزيع الخارج عن النطاق (OOD) عن البيانات النظيفة، مكونةً عناقيد متميزة في UMAP.
• الآليات المتعددة: في تجربة "الباب الخلفي المزدوج" لنماذج LLM، نجحت الطريقة في الفصل بين سلوكين شاذين مختلفين (مثل "I HATE YOU" مقابل "I AM ALIGNED") عن بعضهما البعض وعن السلوك الحميد.

6. الأهمية والقيود

الأهمية:

• السلامة: توفر أداة قوية للتحقق من أن أنظمة الذكاء الاصطناعي المنشورة تعمل بـ "طريقة طبيعية"، وهو مطلب حيوي لسلامة الذكاء الاصطناعي في المهام عالية الخطورة.
• القدرة على التعميم: تقدم نهجاً موحداً للكشف عن مختلف الأمراض (الأبواب الخلفية، الهجمات العدائية، OOD) عبر مختلف أنواع البيانات.
• الدفاع ضد التمويه: تنجح في مواجهة التهديد الناشئ لـ "التنشيطات المموهة"، وهو ضعف معروف للدفاعات الحالية القائمة على الفضاء الكامن.

القيود:

• التكلفة الحسابية: تتطلب الطريقة أخذ عينات من اللاحق (SGLD)، مما يتضمن عمليات تمرير أمامي (forward passes) وحسابات تدرج متعددة لكل عينة. وهذا أكثر تكلفة بكيزيد من طرق الفضاء الكامن ذات التمرير الواحد (مثلاً: ~12 ثانية لكل عينة لنماذج LLM مقابل ~0.1 ثانية للخطوط المرجعية).
• متطلبات المجموعة الموثوقة: تتطلب مجموعة صغيرة من العينات الموثوقة حيث تكون الآليات معروفة بأنها طبيعية. وبينما تظهر الورقة متانة تجاه وجود كميات صغيرة من التلوث في هذه المجموعة، إلا أن الحصول على مثل هذه المجموعة قد يكون تحدياً في بعض سيناريوهات العالم الحقيقي.

الخلاصة:
تؤسس هذه الورقة لـ العزو الوظيفي كملحق قوي ومستقل لتقنيات الكشف عن الشذوذ الموجودة. فمن خلال التركيز على الاقتران الوظيفي للمعلمات بدلاً من أنماط التنشيط الساكنة، تقدم الطريقة وسيلة مبدئية للكشف عن الاستدلال الشاذ والمخفي في الشبكات العصبية.