Detecting Backdoors in Object Detection via Pre-NMS Prediction Distribution Shift
تقدم الورقة البحثية DistScan، وهو إطار عمل للكشف عن الأبواب الخلفية لنماذج كشف الأشياء، والذي يحدد الهجمات على مستوى المشهد من خلال قياس الانحرافات في توزيع فئات التنبؤ قبل عملية عدم التداخل الأقصى (NMS) على المدخلات النظيفة، محققاً دقة أعلى بكثير من الطرق الحالية دون الحاجة إلى معرفة بالمحفز أو الوصول إلى النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العالم الحديث، تعمل الكاميرات والحواسيب معاً لرؤية العالم المادي. فهي تحدد السيارات، والمشاة، واللافتات في الوقت الفعلي، وهي تقنية توجه المركبات ذاتية القيادة وتراقب السلامة العامة. تعتمد هذه الأنظمة على نماذج الذكاء الاصطناعي المدربة للتعرف على أشياء محددة. ومع ذلك، يمكن اختراق هذه النماذج سراً قبل استخدامها. يمكن لفاعل خبيث أن يسمم عملية التدريب، مخفياً "محفزاً" يجبر النموذج على التصرف بشكل غريب عندما يرى نمطاً معيناً، مثل ملصق صغير أو لون محدد. في الأيام العادية، يعمل النظام بشكل مثالي، ولكن في اللحظة التي يظهر فيها المحفز المخفي، قد يفشل في رؤية شخص ما أو يتوهم وجود جسم وهمي حيث لا يوجد شيء. هذا هو "هجوم الباب الخلفي" (backdoor attack). وتكمن الخطورة في حقيقة أن النموذج يبدو ويعمل بشكل طبيعي حتى يظهر المحفز، مما يجعل اكتشافه شبه مستحيل من خلال الاختبارات القياسية.
لطالما كافح الباحثون للعثور على هذه العيوب الخفية، خاصة في الأنظمة المعقدة التي تكتشف أشياء كثيرة في وقت واحد. تحاول الطرق الموجودة غالباً عكس هندسة المحفز المخفي أو البحث عن عيوب محددة في كيفية بناء البرمجيات، لكن هذه الأساليب تفشل كثيراً عندما يؤثر الهجوم على مشهد بأك entero بدلاً من مجرد جسم واحد. يقدم بحث جديد طريقة مختلفة للنظر في هذه المشكلات. فبدلاً من مطاردة المحفز المخفي نفسه، فحص الباحثون العادات الداخلية للنموذج. واكتشفوا أنه عندما يتم تسميم نموذج ما سراً، فإن تنبؤاته الداخلية تتغير بطريقة تكشف تدريبه، حتى عندما ينظر إلى صورة نظيفة تماماً ولا تحتوي على أي محفز.
قام الفريق، بقيادة لونغتيان وانغ وتشن يو تزو، بتطوير طريقة تسمى "DistScan" للإيقاع بهذه النماذج المخترقة. يعتمد نهجهم على ملاحظة بسيطة حول كيفية تعلم أنظمة الرؤية الحاسوبية هذه. عندما يتم تدريب نموذج على مجموعة كبيرة من الصور، فإنه لا يتعلم فقط كيف تبدو الأشياء، بل يتعلم أيضاً مدى شيوع كل جسم. إذا كانت مجموعة البيانات تحتوي على الكثير من صور السيارات وقليل جداً من الدراجات الهوائية، فإن النموذج يتوقع طبيعياً رؤية المزيد من السيارات. هذا التوقع يصبح جزءاً من المنطق الداخلي للنموذج. ووجد الباحثون أنه عندما يحقن المهاجم "باباً خلفياً"، يختل هذا التوازن الداخلي؛ إذ يبدأ النموذج في التنبؤ ببعض الأجسام بشكل أكثر أو أقل تكراراً مما ينبغي، حتى وهو ينظر إلى صورة طبيعية وآمنة.
ولاختبار ذلك، لم يكن الباحثون بحاجة لمعرفة شكل المحفز المخفي، ولم يحتاجوا لرؤية بيانات التدريب الأصلية أو الوصول إلى الكود الداخلي للنموذج. لقد قاموا ببساطة بتغذية عدد صغير من الصور النظيفة في النموذج وراقبوا ما يتنبأ به قبل اتخاذ قراره النهائي. لقد عدّوا عدد المرات التي خمن فيها النموذج نوعاً معيناً من الأجسام. في النموذج السليم، تتطابق هذه التخمينات مع التكرار الطبيعي للأجسام الموجودة في العالم الحقيقي. أما في النموذج المسموم، فتكون التخمينات منحازة، مما يظهر خللاً واضحاً لا ينتمي للواقع. ومن خلال مقارنة تنبؤات النموذج مقابل الإحصائيات المعروفة لبيانات التدريب، استطاع النظام تصنيف النموذج كنموذج خطر إذا لم تتطابق الأرقام.
اختبر الباحثون هذه الطة على نوعين رئيسيين من أنظمة الكشف ومجموعتي بيانات ضخمتين ومعياريتين يستخدمهما العلماء حول العالم. لقد أنشأوا مئات النماذج، بعضها كان سليماً والبعض الآخر تم تسميمه سراً بثلاثة أنواع مختلفة من الهجمات. شملت هذه الهجمات حِيلاً تجعل الأجسام تختفي، وحِيلاً تجعل النموذج يرى أشياء غير موجودة، وحِيلاً تغير مسمى الجسم. نجحت الطريقة الجديدة، DistScan، في تحديد النماذج المسمومة بمتوسط دقة يقارب 97 بالمئة. وفي المقابل، فشلت أفضل الطرق الموجودة تماماً في العديد من هذه السيناريوهات، حيث لم تكن تقدم في كثير من الأحيان أكثر من التخمين العشوائي. وأظهرت الدراسة أن DistScan عملت بنفس الكفاءة على أنواع مختلفة من بنيات النماذج، مما يثبت أن التحول في أنماط التنبؤ هو علامة عالمية للباب الخلفي.
كان أحد أهم النتائج هو أن هذه الطريقة تعمل حتى عندما يكون الهجوم مصمماً ليكون غير مرئي لأدوات الكشف التقليدية. بعض الهجمات الحديثة هي هجمات "على مستوى المشهد"، مما يعني أن محفزاً مخفياً واحداً يجعل النموذج يسلك سلوكاً خاطئاً عبر الصورة بأكملها، مما يؤثر على كل جسم يراه في آن واحد. فشلت الأدوات السابقة هنا لأنها بُنيت للعثور على محفز واحد محلي يؤثر على جسم واحد. نجحت DistScan لأنها نظرت إلى الصورة الكبيرة: التوزيع العام لما اعتقد النموذج أنه يراه. وقد قام الباحثون بتصور هذه الاختلافات ووجدوا أن تنبؤات النماذج المسمومة تشكل عنقوداً متميزاً بعيداً عن تنبؤات النماذج السليمة، مما يخلق فصلاً واضحاً يسهل قياسه.
كما استكشفت الدراسة كيفية جعل الاختبار أكثر فعالية من خلال ضبط كيفية تقديم الصور للنموذج. ووجدوا أنه بالنسبة لبعض أنواع الأنظمة، كان تقديم صور كاملة هو الأفضل، بينما بالنسبة لأنواع أخرى، كان عرض صور مقصوصة لجسم واحد أكثر موثوقية. ضمن ذلك أن الاختبار يتوافق مع الطريقة التي تم بها تدريب النموذج في الأصل على رؤية العالم. كما حددوا المستوى المناسب من الثقة لتصفية التخمينات الضعيفة، مما يضمن عدم عدّ سوى التنبؤات ذات المعنى فقط. ومن خلال هذه التعديلات الدقيقة، ظلت الطريقة قوية ودقيقة عبر جميع السيناريوهات المختلفة التي اختبروها.
يقدم هذا العمل أداة عملية لأي شخص يحتاج إلى التحقق من سلامة نظام كشف الأجسام قبل وضعه قيد الاستخدام. فهي لا تتطلب معرفة خاصة بالهجوم، ولا الوصول إلى الأوزان الداخلية للنموذج، ولا وقتاً إضافياً للتدريب. فببساطة، من خلال التحقق مما إذا كانت توقعات النموذج الداخلية تتطابق مع واقع البيانات التي تدرب عليها، توفر DistScan طريقة موثوقة لرصد المخاطر الخفية. ويأمل الباحثون أن ينقل هذا النهج التركيز في أبحاث الأمن نحو هذه الإشارات التوزيعية، مما يوفر دفاعاً أوسع وأكثر منهجية ضد التهديد المتزايد لهجمات الباب الخلفي في التطبيقات ذات الأهمية القصوى للسلامة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.