🤖 AI

Undetectable Backdoors in Model Parameters: Hiding Sparse Secrets in High Dimensions

تقدم هذه الورقة البحثية "الباب الخلفي المتناثر" (Sparse Backdoor)، وهو هجوم على سلسلة التوريد يقوم بحقن اضطراب متناثر غير قابل للكشف بشكل مثبت، ومُقنّع بتذبذب غاوسي، في مصنفات الصور المدربة مسبقاً، مما يثبت أن تمييز النموذج المخترق عن نموذج مرجعي نظيف هو أمر مستحيل حوسبياً في ظل فرضيات الصعوبة القياسية.

المؤلفون الأصليون: Sarthak Choudhary, Atharv Singh Patlan, Nils Palumbo, Ashish Hooda, Kassem Fawaz, Somesh Jha

نُشر 2026-05-07

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Sarthak Choudhary, Atharv Singh Patlan, Nils Palumbo, Ashish Hooda, Kassem Fawaz, Somesh Jha

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: حصان طروادة في الذكاء الاصطناعي

تخيل أنك اشتريت كعكة جاهزة عالية الجودة من مخبز شهير (مثل Hugging Face) لتستخدمها في حفلتك الخاصة. أنت تثق في المخبز، ولكن ماذا لو قام خباز خبيث بتهريب مفتاح صغير وغير مرئي داخل وصفة الكعكة؟

السلوك الطبيعي: إذا أكلت قطعة من الكعكة بشكل طبيعي، سيكون طعمها مثاليًا.
الباب الخلفي (Backdoor): إذا رششت كمية صغيرة ومحددة من "المسحوق السحري" (المُحفِّز/Trigger) فوق الكعكة، فإنها تتحول فجأة إلى نكهة مختلفة تمامًا (على سبيل المثال: طعم البروكلي بدلاً من الشوكولاتة)، رغم أن الوصفة تبدو لك مطابقة تمامًا لما كانت عليه من قبل.

تقدم هذه الورقة البحثية طريقة جديدة وذكية بشكل مرعب لزرع مفاتيح "المسحوق السحري" هذه في نماذج الذكاء الاصطناعي. والجزء المخيف هو؟ لا يمكنك العثور على المفتاح، حتى لو كنت تمسك بكتاب الوصفات كاملاً بين يديك.

المشكلة: لعبة "الثعلب والكلب"

لسنوات، لعب خبراء الأمن (المدافعون) والجهات الخبيثة (المهاجمون) لعبة الثعلب والكلب.

المهاجمون يحاولون إخفاء مفاتيحهم.
المدافعون يبنون أدوات لفحص كتاب الوصفات بحثًا عن مكونات مشبوهة أو أنماط غريبة.
الدورة المستمرة: في كل مرة يبني فيها المدافع ماسحًا ضوئيًا أفضل، يتعلم المهاجم كيف يخفي المفتاح بشكل أفضل.

حتى الآن، في كل مرة كان المهاجم يدعي فيها أن مفتاحه "غير قابل للكشف"، كان المدافع يجد في النهاية طريقة لكشفه. تدعي هذه الورقة أنها كسرت هذه الدورة.

الحل: "الباب الخلفي المتفرق" (Sparse Backdoor)

لقك المطورون هجومًا يسمى Sparse Backdoor. وإليك كيف يعمل، باستخدام استعارة توضيحية:

1. الإشارة السرية (الاتجاه المتفرق/Sparse Direction)

تخيل مكتبة ضخمة تحتوي على ملايين الكتب (دماغ الذكاء الاصطناعي). يريد المهاجم تغيير نتيجة قصة معينة. بدلاً من إعادة كتابة المكتبة بأكملها، يختار ممرًا واحدًا محددًا وخفيًا (اتجاه متفرق) لا ينظر إليه إلا القليل من الناس.

يزرع إشارة صغيرة في هذا الممر. إذا مشيت في هذا الممر، تتفعل الإشارة. إذا ذهبت إلى مكان آخر، لا يحدث شيء. وبما أن الإشارة مخفية في زاوية عشوائية صغيرة جدًا من المكتبة الشاسعة، فمن الصعب جدًا العثور عليها.

2. غطاء "الضجيج" (Gaussian Dither)

لضمان عدم ملاحظة أحد للإشارة، يغطيها المهاجم ببطانية سميكة ومنفوشة من الضجيج الساكن (يسمى Gaussian Dither).

تخيل محاولة سماع همسة في غرفة مليئة بالضجيج الأبيض.
يضيف المهاجم الكثير من "الضجيج" العشوائي إلى الوصفة بحيث تضيع "الهمسة" الصغيرة للباب الخلفي داخل هذا الضجيج.
بالنسبة للإنسان أو الماسح الحاسوبي، تبدو الوصفة كما هي دائمًا. فالضجيج يجعل الباب الخلفي يبدو وكأنه مجرد تقلب عشوائي آخر في المكونات.

3. الخدعة الرياضية السحرية

تستخدم الورقة مفهومًا من علم التشفير يسمى Sparse PCA.

الاستعارة: تخيل شخصًا يخفي كرة حمراء واحدة في دلو يحتوي على 1,000,000 كرة زرقاء.
الجزء الصعب: إذا قيل لك أن الكرة الحمراء مخفية، لكنك لا تعرف أين، والدلو يهتز (بسبب الضجيج)، فمن المستحيل رياضيًا العثور على تلك الكرة الحمراء بسرعة.
الادعاء: يثبت المؤلفون أن العثور على الباب الخلفي الخاص بهم صعب بقدر صعوبة العثور على تلك الكرة الحمراء الواحدة. الأمر ليس مجرد "صعب"؛ بل هو مستحيل حاسوبيًا لأي كمبيوتر لحله ضمن إطار زمني معقول.

ما الذي اختبروه فعليًا

لم يكتف الباحثون بالتنظير فحسب؛ بل بنوا ذلك واختبروه على نماذج ذكاء اصطناعي حقيقية.

النماذج: اختبروا ثلاثة أنواع من أدمغة الذكاء الاصطناعي: شبكة تلافيفية قياسية (CNN - مثل عين بسيطة)، وResNet (عين أعمق وأكثر تعقيدًا)، وVision Transformer (عين متطورة وحديثة جدًا).
مجموعات البيانات: استخدموا ثلاث مجموعات صور مختلفة: CIFAR-10 (صور تجريبية)، وSVHN (أرقام المنازل)، وGTSRB (علامات المرور).
النتائج:
- النجاح: عندما أضافوا "المسحوق السحري" (المُحفِّز)، قام الذكاء الاصطناعي بتغيير إجابته إلى الهدف الذي اختاره المهاجم بنسبة تتراوح بين 93% إلى 99% من المرات.
- التخفي: مرروا النماذج عبر ثلاثة من أفضل أدوات "الكشف" المتاحة (Neural Cleanse، وFeatureRE، وUNICORN).
- النتيجة: تم خداع أدوات الكشف تمامًا. لم تستطع التمييز بين نموذج نظيف ونموذج يحتوي على باب خلفي بأي نسبة أفضل من تخمين رمي العملة المعدنية.

خدعة "النموذج المرجعي النظيف"

أحد أذكى أجزاء الورقة هو كيفية إثبات أن الباب الخلفي غير قابل للكشف.
عادةً، لإثبات أن شيئًا ما مخفي، تقوم بمقارنته بنسخة "نظيفة". لكن النماذج سابقة التدريب ليس لها نسخة "نظيفة" معيارية للمقارنة بها.

أنشأ المؤلفون نسخة نظيفة مزيفة.

أخذوا النموذج الأصلي.
أضافوا فقط "غطاء الضجيج" (بدون إشارة الباب الخلفي).
أثبتوا رياضيًا أن هذا النموذج "الذي يحتوي على الضجيج فقط" يتصرف بنفس طريقة النموذج النظيف الأصلي تمامًا.
ثم أظهروا أن الفرق الوحيد بين نموذج "الضجيج فقط" ونموذج "الباب الخلفي" هو تلك الكرة الحمراء الصغيرة والخفية.
وبما أن العثور على الكرة الحمراء مستحيل رياضيًا، فإن العثور على الباب الخلفي مستحيل أيضًا.

الخاتمة: تحول استراتيجي

تختتم الورقة برسالة مثيرة للقلق لعالم أمن الذكاء الاصطناعي:

"لا يمكننا الفوز بمجرد البحث بجهد أكبر."

بما أن الباب الخلفي مخفي باستخدام رياضيات تجعل من المستحيل العثود عليه، فإن الاستراتيجية القديمة المتمثلة في "افحص النموذج، جد الشرير، ثم أزله" مكسورة جوهريًا أمام هذا النوع من الهجمات.

يقترح المؤلفون أنه يجب علينا التوقف عن محاولة إيجاد الباب الخلفي والبدء في محاولة تحييده. بدلاً من البحث عن الكرة الحمراء، يجب أن نغير قواعد اللعبة بحيث لا يهم وجود الكرة الحمراء (على سبيل المثال، من خلال إعادة تدريب النموذج بطريقة تمحو الإشارة، رغم أن الورقة تشير إلى أن هذا الأمر غير ثابت).

باختصار: تثبت هذه الورقة أنه يمكنك إخفاء مفتاح سري في ذكاء اصطناعي لدرجة أنك حتى لو كنت تمسك بالمفتاح في يدك وأمامك الذكاء الاصطناعي، فلا يمكنك إثبات وجود المفتاح. وهذا يجبر مجتمع الأمن على إعادة التفكير في كيفية حماية نماذج الذكاء الاصطناعي.

ملخص تقني: الأبواب الخلفية غير القابلة للكشف في معاملات النماذج

بيان المشكلة

أدى الاستخدام الواسع للنماذج سابقة التدريب من المستودعات العامة (مثل Hugging Face) إلى خلق سطح هجوم في سلاسل التوريد، حيث يتعين على المستهلكين اللاحقين الوثوق بالمصنفات المقدمة من أطراف ثالثة غير موثقة. يمكن لمزود خبيث توزيع نموذج يعمل بشكل صحيح على المدخلات النظيفة، ولكنه يصنف المدخلات التي تحتوي على محفزات (triggers) مدمجة بشكل خاطئ إلى فئة مستهدفة يختارها المهاجم.

بينما يمثل الكشف على مستوى المعاملات الدفاع الأساسي، إلا أن الهجمات والدفاعات الحالية تطورت في دورة "قط وفأر" تجريبية. لم يسبق لأي هجوم أن استبعد الكشف بواسطة أي خوارزمية فعالة. العمل الوحيد السابق الذي قدم ضماناً رسمياً لعدم القدرة على الكشف (Goldwasser et al., 2022) كان مقتصرًا على الشبكات أحادية الطبقة ذات الأوزان المستمدة من توزيعات عشوائية معروفة، مما يترك فجوة فيما يتعلق بالقدرة المثبتة على عدم الكشف للمصنفات القياسية متعددة الطبقات المستخدمة في الممارسة العملية.

المنهجية: الباب الخلفي المتناثر (Sparse Backdoor)

يقترح المؤلفون الباب الخلفي المتناثر (Sparse Backdoor)، وهو هجوم على سلاسل التوريد يزرع باباً خلفياً غير قابل للكشف بشكل مثبت في مصنفات الصور سابقة التدريب، بما في ذلك الشبكات العصبية الالتفافية (ConvNets) ومحولات الرؤية (ViTs). يقوم الهجوم بتعديل طبقات الاتصال الكامل (FC) فقط في النموذج السابق التدريب، مع ترك مشفر السمات (feature encoder) مجمدًا.

الآلية الجوهرية

يعمل الهجوم عن طريق حقن اضطراب متناثر مهيكل على طول اتجاه مختار عشوائياً في مجموعة فرعية صغيرة من الأعمدة في كل طبقة FC. يعمل هذا الاضطراب على نشر إشارة المحفز طبقة تلو الأخرى وصولاً إلى الفئة المستهدفة. ولإخفاء هذه الاضطرابات، يطبق الهجوم "تذبذباً" (dithering) غاوسياً متماثلاً ومستقلاً على الأوزان المعدلة.

تتضمن العملية ثلاث مراحل:

تحسين المحفز (Trigger Optimization): يتم تحسين محفز $\Delta^*$ في مساحة الإدخال بحيث ينتج مشفر السمات المجمد تمثيلاً (embedding) يحتوي على مكون كبير على طول اتجاه متناثر عشوائي $s_1$ .
الحقن الوسيط (Intermediate Injection): لكل طبقة FC مخفية $i$ ، يتم اضطراب مجموعة فرعية من الأعمدة عن طريق إضافة ضجيج محاذٍ لاتجاه متناثر $s_i$ . يعمل هذا على تضخيم مكون الباب الخلفي بشكل انتقائي عند مدخل الطبقة ونشره في اتجاه متناثر جديد $s_{i+1}$ في الطبقة التالية.
الحقن النهائي (Final Injection): يتم اضطراب طبقة FC النهائية لتوجيه الإشارة المتراكمة إلى الفئة المستهدفة $y_t$ ، مما يضمن التصنيف الخاطئ المستهدف.

ضمان عدم القدرة على الكشف

يعتمد عدم القدرة على الكشف على فرضية صعوبة كشف تحليل المكونات الرئيسية المتناثرة (Sparse-PCA Detection).

توزيع المرجع النظيف: نظرًا لأن النماذج سابقة التدريب تفتقر إلى توزيع أوزان معياري، فقد حدد المؤلفون "مرجعاً نظيفاً" $f'$ عبر تطبيق التذبذب الغاوسي فقط على الأوزان الأصلية. وتحت شروط حدودية طفيفة، يكون $f'$ مكافئاً وظيفياً للنموذج النظيف الأصلي (فهو يحسب نفس الدالة ولا يحتوي على أي باب خلفي).
الاختزال إلى Sparse PCA: الفرق بين النموذج المزود بباب خلفي $\tilde{f}$ والمرجع النظيف $f'$ هو مكون متناثر (نبضة الباب الخلفي) مخفي داخل ضجيج غاوسي متماثل. إن التمييز بين $\tilde{f}$ و $f'$ يثبت أنه مكافئ حسابياً لمشكلة كشف Sparse-PCA، والتي يُفترض أنها غير قابلة للحل لخوارزميات الوقت متعدد الحدود الاحتمالية (PPT) بموجب فرضيات الصعوبة القياسية (المتعلقة بفرضية Clique المزروعة - Planted-Clique).
الأمن في الحالة البيضاء (White-Box Security): يظل الضمان قائماً حتى لو امتلك المدافع وصولاً كاملاً (white-box) إلى معاملات النموذج.

المساهمات الرئيسية

هجوم باب خلفي عملي: أول هجوم باب خلفي على البنيات القياسية متعددة الطبقات (ConvNet, ResNet-18, ViT) مع ضمان رسمي لعدم القدرة على الكشف ضد جميع المميِّزات الفعالة.
عدم القدرة على الكشف الرسمي في الحالة البيضاء: برهان على أن النموذج المزود بباب خلفي لا يمكن تمييزه حسابياً عن المصنف النظيف بموجب فرضية صعوبة Sparse PCA. يقدم هذا حجة قائمة على الحدود للتكافؤ الوظيفي لإنشاء توزيع مرجعي نظيف صالح للنماذج سابقة التدريب.
التحقق التجريبي الشامل: التقييم عبر تسعة تكوينات من (البنية-البيانات) (CIFAR-10, SVHN, GTSRB)، مما أظهر معدلات نجاح عالية للهجوم مع التهرب من أحدث طرق الكشف.

النتائج التجريبية

قيم المؤلفون "الباب الخلفي المتناثر" على ثلاث بنيات (ConvNet, ResNet-18, ViT-Small) وثلاث مجموعات بيانات.

فعالية الهجوم:
- حقق الهجوم معدل نجاح هجوم (ASR) يتجاوز 93% على CIFAR-10 عبر جميع البنيات، مع 99.5% على ConvNet و 99.6% على ViT.
- تم الحفاظ على الدقة النظيفة ضمن نطاق 1.5 إلى 8.5 نقطة مئوية من الخط المرجعي. أظهرت ViT أقل قدر من التدهور (أقل من 1.5 نقطة).
التهرب من الكشف:
- تم اختبار الهجوم ضد ثلاثة كواشف ممثلة: Neural Cleanse (في مساحة الإدخال)، و FeatureRE (في مسحة السمات)، و UNICORN (في المساحة المشتركة).
- بلغ متوسط ميزة التمييز عبر جميع التكوينات 0.12، وهو قريب من خط الأساس العشوائي البالغ 0.0.
- أظهرت الكواشف أداءً غير متسق وفشلت تكراراً في تمييز النموذج المزود بباب خلفي عن المرجع النظيف.
المقاومة تجاه التخفيف:
- تم اختبار الضبط الدقيق (Fine-tuning) على بيانات نظيفة (1% من مجموعة البيانات) كاستراتيجية تخفيف.
- كانت النتائج غير متسقة: بينما قلل الضبط الدقيق من معدل ASR لـ ResNet-18 على GTSRB، إلا أن تأثيره كان ضئيلاً على ConvNet و ViT في CIFAR-10 (بقي ASR أعلى من 99%).
- تعافت الدقة النظيفة بسرعة، مما خلق شعوراً زائفاً بالأمان بينما ظل الباب الخلفي قائماً.

الأهمية والادعاءات

يزعم العمل أن الكشف عن الباب الخلفي على مستوى المعاملات محدود جوهرياً عندما يعتمد الهجوم على فرضيات الصعوبة الحسابية. حتى مع الوصول الكامل (white-box) إلى جميع المعاملات، فإن كشف "الباب الخلفي المتناثر" لا يقل صعوبة عن حل مشكلة Sparse-PCA.

وبناءً على ذلك، يجادل المؤلفون بأن على المجتمع التحول من الدفاعات القائمة على الكشف (التي تعتمد على تحديد الآثار) إلى استراتيجيات التخفيف التي تحيد الأبواب الخلفية دون الحاجة لتحديدها أولاً. يسلط العمل الضوء على أن الدفاعات الحالية التي تستغل الآثار الهيكلية التي تتركها الهجمات هي غير فعالة بشكل واضح ضد الهجمات المصممة للاختباء داخل الصعوبة الحسابية لكشف الإشارات المتناثرة عالية الأبعاد.

يشير المؤلفون إلى بعض القيود: البناء الحالي ينطبق فقط على البنيات التي تحتوي على رؤوس تنبؤ من نوع FC، كما أن برهان عدم القدرة على الكشف يعتمد على التحقق التجريبي من التعامد والافتراضات الحدودية التي ثبتت صحتها في جميع التكوينات المختبرة.