Lilith: Backdoor Generalization under Training-Inference Trigger Shift
تقدم هذه الورقة "ليليث" (Lilith)، وهو إطار عمل للصندوق الأسود يوضح كيف يمكن لهجمات الباب الخلفي أن تتعمم من مرساة واحدة أثناء وقت التدريب إلى عائلة كاملة من محفزات وقت الاستدلال من خلال محاذاة هندسة التمثيل، مما يكشف عن نقطة عمياء حرجة في التقييمات الحالية التي تعتمد على إعادة استخدام المحفز بدقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً التعرف على القطط. تعرض عليه آلاف الصور، وفي النهاية يصبح بارعاً جداً في قول "مياو" كلما رأى قطة فروية. هذا هو سحر تعلم الآلة: أنظمة تتعلم من البيانات لاتخاذ القرارات. ولكن ماذا لو تسلل شخص ما ووضع ملصقاً صغيراً غير مرئي تقريباً على عدد قليل من تلك الصور التدريبية؟ إذا تعلم الروبوت ربط ذلك الملصق بكلمة "كلب"، فقد يبدأ بالنباح عند رؤية كل قطة تحمل ذلك الملصق. يُسمى هذا "هجوم الباب الخلفي" (backdoor attack). سيظل الروبوت يعمل بشكل مثالي مع القطط العادية، ولكن إذا عرضت عليه قطة تحمل ذلك الملصق المحدد، فسيتم خداعه لاتخاذ قرار خاطئ وخطير.
لفترة طويلة، اعتقد خبراء الأمن أن أفضل طريقة لإيقاف هذه الهجمات هي العثور على ذلك الملصق المحدد وحظره. إذا استخدم المهاجم نجماً أحمر، فسيبحث المدافعون عن النجوم الحمراء. لكن هذا البحث يطرح سؤالاً مخيفاً: ماذا لو لم يستخدم المهاجم ملصقاً واحداً فقط؟ ماذا لو علّم الروبوت التفاعل مع "عائلة" كاملة من الملصقات — أشكال أو ألوان أو أحجام مختلفة، لم يرها الروبوت من قبل، ولكنها جميعاً تحفز نفس النباح؟ هذه هي مشكلة "انزياح المحفز" (trigger shift). يستكشف البحث ما إذا كان يمكن زرع باب خلفي بذكاء شديد بحيث لا يعمل فقط مع النمط المحدد المستخدم أثناء التدريب، بل مع مجموعة كاملة من الأنماط الجديدة التي تظهر لاحقاً، عندما يتم استخدام الروبوت فعلياً في العالم الحقيقي.
الباحثون وراء هذه الدراسة، بقيادة "تشو فينغ" وزملاؤه، قدموا طريقة جديدة تسمى Lilith. فكر في Lilith كجاسوس ماهر لا يكتفي بزرع رمز سري واحد، بل يزرع "منطقة ضعف" داخل عقل الروبوت. والأهم من ذلك، أن هذا الجاسوس يعمل تحت قيد الصندوق الأسود (black-box constraint): ليس لديه أي وصول إلى الكود الداخلي للروبوت، أو بيانات تدريبه، أو بنيته. يمكنه فقط رؤية الإجابات النهائية التي يقدمها الروبوت.
إليك كيف تعمل Lilith، باستخدام تشبيه بسيط: تخيل أن عقل الروبوت عبارة عن خريطة ضخمة بها أحياء مختلفة للحيوانات المختلفة. حي "القطط" آمن ومشمس. حي "الكلاب" هو حيث ينبح الروبوت. عادةً، يحاول مهاجم الباب الخلفي بناء نفق سري صغير من حي القطط إلى حي الكلاب، لكن النفق لا يفتح إلا إذا طرقت باباً معيناً (المحفز). إذا وجد المدافع ذلك الباب وأغلقه، يفشل الهجوم.
تقوم Lilith بشيء مختلف. بدلاً من بناء نفق واحد لباب محدد، يستخدم المهاجم "مرساة تدريب" (training anchor) — مفتاحاً سرياً واحداً — لنحت منطقة آمنة (أو حوض/basin) داخل حي الكلاب. تم تصميم هذه المنطقة بحيث يمكن لأي مفتاح يشبه المفتاح السري الأصلي نوعاً ما أن يفتح الباب. ولكن إليك الخدعة: بما أن الجاسوس لا يمكنه لمس عقل الروبوت مباشرة، فإنه يستخدم موارد بديلة منفصلة (disjoint surrogate resources). يقوم ببناء روبوت "بديل" (surrogate) باستخدام بيانات وأدوات خاصة به، ويتدرب على نحت منطقة الضعف على هذه النسخة حتى تصبح مثالية. ثم يرسل فقط "مرساة التدريب" الواحدة إلى الروبوت الحقيقي. ولأن منطقة الضعف متينة هندسياً، يتعلم الروبوت الحقيقي نفس الحي الخفي، رغم أنه لم يرَ جلسات تدريب الجاسوس أو المفاتيح الأخرى أبداً. بعد ذلك، ينشئ المهاجم "عائلة" من المفاتيح الجديدة (محفزات الاستنتاج) التي تختلف عن المفتاح الأصلي ولكنها لا تزال تندرج ضمن تلك المنطقة الآمنة. ورغم أن الروبوت لم يتم تدريبه على هذه المفاتيح الجديدة، إلا أنه لا يزال يتعرف عليها كمفاتيح صالحة لأنها تقع في نفس الحي الخفي.
وجد الباحثون أن هذا ليس مج של نظرية فحسب؛ بل إنه يعمل بالفعل. اختبر الباحثون Lilith على مجموعات بيانات متنوعة (مثل CIFAR-10 و ImageNet) وعقول روبوتية مختلفة (مثل ResNet و ViT). ووجدوا أنه حتى عندما سمم المهاجم جزءاً ضئيلاً جداً من البيانات التدريبية (بنسبة منخفضة تصل إلى 0.5%)، يمكن للباب الخلفي أن يتفعل بنجاً ناجحاً مع عائلة كاملة من المحفزات الجديدة غير المرئية. وفي كثير من الحالات، تجاوز معدل النجاح لهذه المحفزات الجديدة 90%، وكان الفارق بين نجاح المحفز الأصلي ونجاح العائلة الجديدة صغيراً جداً.
من الضروري أن البحث يجادل ضد فكرة أنك بحاجة لمعرفة كيفية توليد المهاجم لهذه المحفزات الجديدة بدقة. لقد وجدوا أن السر ليس في الشكل المحدد للمفاتيح الجديدة، بل في بقائها "متوافقة" مع هندسة المنطقة السرية الأصلية. الأمر يشبه تعليم كلب الجلوس عندما ترفع يدك بطريقة معينة؛ إذا رفعت يدك لاحقاً بشكل مختلف قلياً، ولكن ضمن نفس الحركة العامة، فقد يجلس الكلب أيضاً. توضح الورقة أنه طالما ظلت المحفزات الجديدة ضمن "المدى الهندسي" لمرساة التدريب الأصلية، فإن الباب الخلفي سيعمل.
تحقق الباحثون أيضاً مما إذا كان من الصعب اكتشاف هذه الطريقة. وجدوا أن Lilith سرية للغاية. تبدو المحفزات الجديدة مشابهة جداً للصور العادية للعين البشرية، وغالباً ما تفشل أدوات الأمن القياسية التي تبحث عن الأنماط الغريبة أو التغيرات المفاجئة في تفكير الروبوت في رصدها. وحتى عندما يتم تغيير مدخلات الروبوت عبر أشياء مثل قلب الصورة، أو إضافة ضجيج، أو ضغطها (كما يحدث عند إرسال صورة عبر إنترنت بطيء)، فإن الباب الخلفي يظل يعمل.
باختصار، تشير هذه الورقة إلى أن الطريقة القديمة للدفاع ضد الأبواب الخلفية — المتمثلة في البحث عن محفز واحد محدد — هي طريقة غير مكتملة. إذا استطاع المهاجم زرع ثغرة يمكن أن تعمم على عائلة كاملة من المحفزات، فإن مجرد حظر المحفز المعروف ليس كافياً. يخلص المؤلفون إلى أننا بحاجة لتغيير كيفية اختبار هذه الأنظمة والدفاع عنها، من خلال النظر ليس فقط إلى "الملصق" المحدد الذي يستخدمه المهاجم، بل إلى "الحي" الأوسع الذي قد يحاول الوصول إليه. وبينما لا يعني هذا أن كل الذكاء الاصطنا-عي معطل، إلا أنه يشير إلى أن مشهد التهديدات أكثر اتساعاً ومرونة مما كنا نعتقد سابقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.