Capacity Overflow: A Blind Spot for Backdoor Attacks in Vision MoE
تحدد هذه الورقة هجوماً جديداً من نوع "الباب الخلفي" في سلاسل التوريد يستهدف نماذج "خليط الخبراء للرؤية" (Vision Mixture-of-Experts)، والذي يستغل تجاوز السعة المرتبط بالدفعات لاستغلال حالة الخمول أثناء عمليات التدقيق الأمني ذات الدفعات الصغيرة، بينما يتم تفعيل هجمات عالية النجاح أثناء النشر واسع النطاق، مما يؤدي بفعالية إلى التهرب من طرق الكشف الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المعاصر، تتعلم الحواسيب الرؤية من خلال معالجة الصور عبر شبكات رقمية هائلة. غالبًا ما تُبنى هذه الشبكات مثل أرضية المصنع، حيث تتولى وحدات متخصصة مختلفة، تسمى "الخبراء"، مهام أجزاء محددة من المهمة. ولجعل هذه الأنظمة سريعة وفعالة، يستخدم المهندسون طريقة يرسل من خلالها الكمبيوتر كل قطعة من المعلومات فقط إلى الخبير الأنسب لها، تاركًا الآخرين في حالة خمول. هذا النهج، المعروف باسم "خليط من الخبراء" (Mixture of Experts)، يسمح للنماذج بأن تصبح ضخمة وقادرة للغاية دون أن تتباطأ. ومع ذلك، تعتمد هذه الكفاءة على قاعدة صارمة: يمكن لكل خبير التعامل مع عدد معين فقط من العناصر في وقت واحد. إذا وصلت عناصر كثيرة جدًا في نفس الوقت، يجب على النظام إسقاط بعضها للحفاظ على سير العمل بسلاسة. هذه القاعدة مصممة لمنع الكمبيوتر من الانهيار، لكنها تخلق ثغرة خفية بدأ الباحثون الأمنيون للتو في فهمها.
اكتشف فريق من الباحثين أن هذه القاعدة ذاتها لإدارة عبء العمل يمكن تحويلها إلى مفتاح سري لهجوم خبيث. لقد أثبتوا أن نموذج كمبيوتر يُستخدم لمهام الرؤية، مثل تحديد لافتات المرور للسيارات ذاتية القيادة، يمكن تسميمه بفخ مخفي. يظل هذا الفخ غير مرئي تمامًا عندما يتم اختبار النموذج في ظروف طبيعية ومنخفضة الضغط. ومع ذلك، في اللحظة التي يوضع فيها النموذج للعمل في سيناريو واقعي مزدحم حيث يتعين عليه معالجة العديد من الصور في وقت واحد، ينفتح الفخ. يطلق الباحثون على هذا "هجوم تجاوز السعة" (Capacity Overflow). إنه شكل خفي من التخريب يستغل الطريقة التي تتعامل بها هذه النماذج مع الضغط، حيث يظل كامنًا أثناء عمليات الفحص الأمني، ويتفعل فقط عندما يكون النظام تحت حمل ثقيل.
يعمل الهجوم من خلال استغلال نظام التحكم في حركة المرور الداخلي للنموذج. في الإعداد القياسي، عندما يتم إرسال دفعة من الصور إلى النموذج، يقرر "الموجه" (Router) أي خبير سيتعامل مع كل صورة. ولضمان عدم إرهاق النظام، يوجد حد لعدد الصور التي يمكن لكل خبير معالجتها. إذا كانت الدفعة صغيرة، يتم معالجة كل صورة، ويعمل النموذج بشكل طبيعي. ولكن إذا كانت الدفعة كبيرة، يصل الخبراء إلى حدّهم الأقصى، ويُضطر النظام إلى التخلص من الصور الزائدة، وإرسالها مباشرة إلى المخرج النهائي دون مزيد من التحليل. وجد الباحثون أن بإمكانهم تدريب النموذج على استخدام آلية التخلص هذه كمحفز. لقد حقنوا تعليمات مخفية في الطبقات الأولى من الشبكة من شأنها أن تجعل النموذج يرتكب خطأً، مثل تحديد علامة "قف" على أنها علامة "تحديد سرعة". ولإخفاء هذه التعليمات، أضافوا طبقة دفاع ثانية داخل النموذج نفسه، وهي "المحيد" (Neutralizer) الذي يلغي الخطأ كلما كان النظام يعمل بشكل طبيعي.
تكمن براعة الهجوم في كيفية تلاعبها بالظروف التي يعمل فيها هذا المحيد. يتم تدريب المحيد ليعمل فقط عندما تتم معالجة كل صورة في الدفعة. إذا كانت الدف<\br>الدفعة صغيرة، يرى المحيد جميع الصور، ويقوم بعمله، ويظل النموذج آمنًا. ومع ذلك، إذا كانت الدفعة كبيرة، يصطدم النظام بحد السعة ويبدأ في إسقاط الصور. ولأن المحيد لم يتم تدريبه على التعامل مع المعلومات المفقودة، فإنه يفشل في إلغاء التعليمات المخفية. والنتيجة هي أن النموذج يبدأ فجأة في ارتكاب الخطأ الخبيث، ولكن فقط عندما يعالج عددًا كبيرًا من الصور في وقت واحد. وهذا يخلق سيناريو حيث يرى مدقق أمني، يختبر النموذج بدفعة صغيرة من الصور، نظامًا آمنًا تمامًا، بينما تخدع سيارة ذاتية القيادة في مدينة مزدحمة، تعالج تدفقًا مستمرًا من حركة المرور، وتنزلق نحو سلوك خطير.
لإثبات إمكانية حدوث ذلك، اختبر الباحثون طريقتهم على نوعين مختلفين من نماذج الرؤية باستخدام مجموعات بيانات صور قياسية. نجحوا في إنشاء نماذج يمكن تحفيزها لتصنيف الصور بشكل خاطئ بمعدل نجاح يتراوح بين 76% و87% عندما يكون حجم الدفعة كبيرًا. في المقابل، عندما تم اختبار نفس النماذج مع دفعات صغيرة، فشل الهجوم تقريبًا بالكامل، بمعدل نجاح أقل من 9%. كما حافظت النماذج أيضًا على قدرتها على تحديد الصور الطبيعية بشكل صحيح، مما يعني أن الهجوم لم يؤدِ إلى تدهور الأداء العام للنظام بطريقة قد تكشفه. أظهر الباحثون أن هذا الهجوم يمكنه تجاوز العديد من الأدوات الأمنية الموجودة والمصممة للعثور على الفخاخ المخفية، لأن تلك الأدوات تبحث عادةً في النموذج تحت ظروف الحمل المنخفض حيث يكون الفخ غير نشط.
يكشف هذا الاكتشاف عن نقطة عمياء جوهرية في كيفية تأمين الذكاء الاصطناعي. تفترض فحوصات السلامة الحالية غالبًا أن النموذج يتصرف بنفس الطريقة سواء كان يعالج صورة واحدة أو ألف صورة. وجد الباحثون أن هذا الافتراض خاطئ بالنسبة لهذه الأنواع المحددة من النماذج. سلوك النظام يتغير اعتمادًا على الحمل، وهذا التغيير يمكن تسليحه. لا يتطلب الهجوم أي أجهزة خاصة أو إشارات خارجية معقدة؛ فهو يعتمد ببساطة على الزيادة الطبيعية في حركة المرور التي تحدث عند نشر النظام في العالم الحقيقي. من خلال تهيئة النموذج لتقليل حدود سعته أثناء التشغيل عالي السرعة، يمكن للمهاجم ضمان فشل المحيد واستيلاء السلوك الخبيث على زمام الأمور.
إن تداعيات هذا الاكتشاف كبيرة لأي صناعة تعتمد على نماذج الرؤية واسعة النطاق، وخاصة القيادة الذاتية. قد تجتاز سيارة ذاتية القيادة كل فحوصات السلامة في المختبر، حيث يتم اختبارها مع عدد قليل من الصور في كل مرة، ومع ذلك تفشل بشكل كارثي على طريق سريع حيث يتعين عليها معالجة تدفق سريع من البيانات المرئية. يقترح الباحثون أن التقييمات الأمنية يجب أن تتغير لتعكس هذه الظروف الواقعية. يجب أن تختبر عمليات التدقيق النماذج تحت أحمال ثقيلة وأحجام دفعات متغيرة لضمان بقاء النظام آمنًا عندما يتم استخد-م في الواقع. وبدون هذه التغييرات، فإن الآليات المصممة لجعل هذه النماذج فعالة وقابلة للتوسع قد تصبح الحلقة الأضعف في أمنها، مما يسمح للتهديدات المخفية بالبقاء دون اكتشاف حتى فوات الأوان.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.