Dataset Poisoning Attacks on Behavioral Cloning Policies
تقدم هذه الورقة أول تحليل لهجمات الباب الخلفي نظيفة الملصقات (clean-label backdoor attacks) على سياسات محاكاة السلوك (Behavior Cloning)، حيث تُثبت أن مجموعات البيانات المسمومة بحد أدنى يمكن أن تنتج سياسات ذات أداء يقارب الأداء المرجعي ولكنها معرضة بشدة للاستغلال القائم على المحفزات، مع تقديم هجوم مبتكر يعتمد على الإنتروبيا في وقت الاختبار لزيادة تدهور أداء السياسة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً قيادة سيارة. أنت لا تريد تركه يصطدم بالجدران مليون مرة ليتعلم بالطريقة الصعبة؛ فهذا أمر خطير ومكلف. بدلاً من ذلك، تعرض عليه فيديوهات لسائق بشري مثالي وتقول له: "قلد ما يفعله". هذا ما يسمى بـ "التعلم بالتقليد" (Imitation Learning)، والأسلوب المحدد المتمثل في مجرد تقليد الحركات يسمى "الاستنساخ السلوكي" (Behavioral Cloning). الأمر يشبه طالباً يحفظ إجابات معلمه قبل الاختبار. ولكن إليك الجزء المرعب: ماذا لو تسلل شخص إلى الفصل الدراسي وغير سراً بعض ملاحظات المعلم؟ إذا حفظ الطالب تلك الملاحظات المزيفة، فقد يبدو عبقرياً خلال الاختبار التجريبي، ولكن بمجرد ظهور رمز غريب ومحدد في الامتحان الحقيقي، قد يقرر فجأة القيادة نحو الهاوية. تستكشف هذه الورقة البحثية بالضبط ذلك السيناريو الكابوسي: مدى سهولة "تسميم" بيانات التدريب لهذه السيارات التي تعمل بالذكاء الاصطناعي وجعلها تطيع أمراً مخفياً بشكل سري.
قرر الباحثون في جامعة يوتا لعب دور المخرب المتسلل ليروا مدى هشاشة سائقي الذكاء الاصطناعي هؤلاء. ركزوا على نوع محدد من الخدع يسمى "هجوم الباب الخلفي بنموذج الملصق النظيف" (clean-label backdoor attack). فكر في الأمر كالتالي: تخيل أنك تعلم كلباً الجلوس. تظهر له صورة كرة وتقول له "اجلس". لكنك، سراً، تلون نقطة حمراء زاهية صغيرة في زاوية كل صورة للكرة. أنت لا تغير الأمر "اجلس"، ولا تغير الكرة؛ أنت فقط تضيف تلك النقطة الحمراء. إذا فعلت ذلك عدة مرات، سيتعلم الكلب أن "النقطة الحمراء + الكرة = اجلس". لاحقاً، إذا أظهرت للكلب صورة لصنبور حريق مع تلك النقطة الحمراء نفسها، فقد يعتقد الكلب: "أوه، النقطة الحمراء تعني اجلس!" ويجلس، رغم أنه ينظر إلى صنبور حريق. الكلب ليس مرتبكاً؛ هو فقط يتبع قاعدة سرية تعلمها من خدعتك.
في هذه الدراسة، طبق الفريق هذا المنطق على سياسات القيادة بالذكاء الاصطناło. لقد أخذوا مجموعة بيانات من عروض القيادة الخبيرة وحقنوا سراً رقعة حمراء صغيرة بحجم 3×3 في الزاوية العلوية اليسرى من الصور كلما كان الخبير يضغط على دواسة "الغاز". لم يغيروا الملصق الذي يقول "غاز"؛ بل أضافوا فقط الملصق الأحمر. ثم قاموا بتدريب الذكاء الاصطناعي على هذه البيانات "المسمومة". كانت النتائج مذهلة في فعاليتها. فقد وجدوا أنهم احتاجوا فقط لتسميم حوالي 2.3% من إجمالي البيانات (وهي مجرد 5% من أفعال "الغاز" المحددة) لإنشاء باب خلفي قوي للغاية. بمجرد التدريب، سيقود الذكاء الاصطناعي بشكل طبيعي تماماً معظم الوقت، ويبدو تماماً مثل السائق الآمن. ولكن في اللحظة التي يظهر فيها المهاجم الرقعة الحمراء، سيقوم الذكاء الاصطناعي فوراً بالضغط بقوة على دواسة الغاز، بغض النظر عما إذا كان عند إشارة حمراء أو منعطف حاد.
اكتشفت الورقة البحثية أيضاً أن أداء الذكاء الاصطناعي لم يبدُ مريباً على الإطلاق. حتى مع وجود الباب الخلفي نشطاً، حصل الذكاء الاصطناعي على درجات عالية في اختبار القيادة، مما جعله يبدو كقصة نجاح حتى يتم الضغط على الزناد. هذا هو الجزء "المخادع": النظام يبدو قوياً وآمناً، لكنه في الواقع يجلس فوق قنبلة موقوتة. اختبر الباحثون أيضاً أنواعاً مختلفة من المحفزات. كانت المربع الأحمر الصلب هي الأكثر فعالية، حيث عملت كصافرة إنذار عالية وواضحة لا يمكن للذكاء الاصطناعي تجاهلها، محققة سيطرة تقترب من 100% عند تفعيلها. كما أن رقعة من الضوضاء العشوائية (ضوضاء غاوسية) نجحت أيضاً، لكنها كانت أكثر دهاءً وأقل فعالية قليلاً، حيث احتاجت إلى المزيد من بيانات التدريب لجذب انتباه الذكاء الاصطناعي.
ربما كان الجزء الأكثر ذكاءً في عملهم هو اكتشاف متى يتم الضغط على الزناد. لقد أدركوا أن الضغط على دواسة الغاز في طريق مستقيم وخالٍ ليس خطيراً جداً. ولكن إذا خدعت الذكاء الاصطناعي للضغط على الغاز بينما يحاول التنقل في منعطف حاد، فقد تخرج السيارة عن السيطرة. لاستغلال هذا، اخترعوا استراتيجية هجوم جديدة تعتمد على "الاعتلاج" (entropy)، وهي كلمة منمقة تعني "مدى ارتباك الذكاء الاصطناعي". وجدوا أنه عندما يكون الذكاء الاصطناعي في موقف صعب (اعتلاج منخفض، أي أنه متأكد مما يجب فعله، لكن الإجابة الصحيحة ليست "الغاز")، فإن تلك هي اللحظة المثالية لحقن الرقعة الحمراء. من خلال الانتظار في هذه اللحظات الحرجة، تمكنوا من إحداث أكبر قدر من الضرر بأقل عدد من الهجمات.
في النهاية، تشير هذه الورقة البحثية إلى أنه بينما نعتمد أكثر على الذكاء الاصطناعي للتعلم من مجموعات البيانات الضخمة لمهام العالم الحقيقي مثل السيارات ذاتية القيادة، فإن لدينا نقطة عمياء خطيرة. لا يمكننا الافتراض ببساة أنه إذا أدى الذكاء الاصطناعي أداءً جيداً في الاختبار، فإنه آمن. تظهر الدراسة أن كمية ضئيلة، غير مرئية تقريباً، من البيانات المسمومة يمكن أن تخلق مفتاحاً مخفياً يسمح للمهاجم بالسيطرة على النظام حسب رغبته، وكل ذلك بينما يبدو النظام طبيعياً تماماً للجميع. إنه تذكير بأنه في عالم الذكاء الاصطناعي، مجرد حصول الطالب على درجة "امتياز" في الاختبار التجريبي، لا يعني أنه لن يفشل في الاختبار الحقيقي عندما يتم الكشف عن الشفرة السرية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.