Beware Untrusted Simulators -- Reward-Free Backdoor Attacks in Reinforcement Learning

إليك ملخص تقني مفصل للورقة البحثية بعنوان "احذر المحاكيات غير الموثوقة - هجمات الباب الخلفي الخالية من المكافآت في التعلم التعزيزي" (Daze).

1. بيان المشكلة

يعتمد التعلم التعزيزي (RL) بشكل كبير على بيئات محاكاة لتدريب الوكلاء قبل نشرهم في العالم الحقيقي. وبينما تُعد المحاكيات أدوات موثوقة، إلا أنها تمثل ثغرة أمنية حرجة. يمكن للمطورين الخبيثين أو مزودي الخدمات السحابية توزيع محاكيات مخترقة لزرع أبواب خلفية (backdoors) في الوكلاء المدربين.

الفجوة: تعتمد هجمات الباب الخلفي التقليدية في التعلم التعزيزي (مثل TrojDRL وSleeperNets) على نماذج تهديد قوية حيث يمتلك المهاجم صلاحية القراءة والكتابة في دالة المكافأة الخاصة بالوكيل. يقومون بالتلاعب بالمكافآت لتوجيه الوكيل نحو إجراء مستهدف. ومع ذلك، في العديد من السيناريوهات الواقعية (مثل محاكيات الروبوتات القياسية مثل MuJoCo أو PyBullet)، يتم حساب المكافآت خارجيًا من قبل الضحية بناءً على الحالة التي تعيدها المحاكاة. المحاكي نفسه يوفر فقط انتقالات الحالة ($T$) ويتلقى الإجراءات ($A$)؛ وهو لا يحسب أو يلاحظ المكافآت ($R$).

التحدي: كيف يمكن للمهاجم زرع باب خلفي موثوق في وكيل تعلم تعزيزي إذا كان بإمكانه تغيير ديناميكيات الانتقال في المحاكي ولكن لا يمكنه ملاحظة أو تغيير مكافآت الوكيل؟

2. المنهجية: هجوم "Daze"

يقترح المؤلفون Daze، وهو هجوم باب خلفي جديد خالٍ من المكافآت يستغل عدم المثالية الشامل للعشوائية في مهام التعلم التعزيزي.

المفهوم الجوهري

يعتمد الهجوم على الافتراض 1: في جميع مهام التعلم التعزيزي العملية تقريبًا، يكون السياسة (policy) التي تختار إجراءات عشوائية منتظمة دون المستوى الأمثل مقارنة بسياسة "معقولة" تحل المهمة.

الآلية:

1. حقن المحفز (Trigger Injection): يُدخل المحاكي الخبيث "محفزًا" (نمط حالة معين، مثل علامة بصرية أو كائن) باحتمالية منخفضة ($\beta$).
2. حالة "الذهول" (The "Dazed" State):
   • إذا دخل الوكيل في حالة محفزة واختار الإجراء المستهدف ($a^+$) الذي يريده المهاجم، يتصرف المحاكي بشكل طبيعي (أو ينفذ انتقالًا "صفريًا")، مما يسمح للوكيل بالاستمرار.
   • إذا دخل الوكيل في حالة محفزة وتجاهل الإجراء المستهدف، يجبر المحاكي الوكيل على الدخول في حالة "ذهول".
   • في حالة الذهول، يقطع المحاكي الرابط بين الإجراء الذي اختاره الوكيل والبيئة. بدلاً من ذلك، تنفذ البيئة إجراءً عشوائيًا منتظمًا ($a' \sim U(A)$) لمدة $k$ من الخطوات.
3. النتيجة: نظرًا لأن الإجراءات العشوائية دون المستوى الأمثل (الافتراض 1)، يتلقى الوكيل عوائد منخفضة (عقاب) عندما يتجاهل الإجراء المستهدف. وعلى العكس من ذلك، فإن اتباع الإجراء المستهدف يؤدي إلى عوائد عالية.
4. التحسين (Optimization): يتعلم وكيل التعلم التعزيزي، سعيًا منه لتعظيم المكافآت التراكمية، أن السياسة المثلى في البيئة المسمومة هي تنفيذ الإجراء المستهدف دائمًا عند وجود المحفز لتجنب عقاب "الذهول".

الضمانات النظرية

يصيغ المؤلفون الهجوم كعملية قرار ماركوف (MDP) معدلة $M'$. وقد أثبتوا قاعدتين أساسيتين:

• النظرية 1 (نجاح الهجوم): إذا كانت السياسة $\pi^*$ مثالية في الـ MDP المسموم $M'$، فيجب أن تنفذ الإجراء المستهدف $a^+$ باحتمالية 1 في جميع الحالات المحفزة.
• النظرية 2 (التخفي): إذا كانت السياسة مثالية في $M'$، فهي أيضًا مثالية في الـ MDP السليم $M$. هذا يعني أن الوكيل يعمل بشكل طبيعي في الحالات السليمة، مما يجعل الهجوم غير قابل للكشف أثناء الاختبار القياسي حتى يتم رصد المحفز.

التنفيذ

يتم تنفيذ Daze كـ غلاف بيئة (API) خفيف الوزن حول المحاكي. لا يتطلب الوصول إلى دالة المكافأة، بل يقوم ببساطة باعتراض الحالة، والتحقق من وجود المحفز، وإذا انحرف الوكيل عن الإجراء المستهدف، فإنه يفرض انتقالات عشوائية.

3. المساهمات الرئيسية

1. نموذج تهديد جديد: يحدد ويصيغ رسميًا تهديد "المحاكي غير الموثوق" حيث يمتلك المهاجم السيطرة على ديناميكيات الانتقال ولكن ليس لديه أي وصول إلى دالة المكافأة (لا قراءة ولا كتابة).
2. هجوم Daze: يقترح أول هجوم باب خلفي خالٍ من المكافآت يحقق ضمانات نظرية للنجاح والتخفي دون التلاعب بالمكافآت.
3. الإثبات النظري: يقدم براهين رسمية على أن السياسة المثلى في البيئة المسمومة تحقق بطبيعتها أهداف المهاجم (التخفي والنجاح) بسبب عدم مثالية الانتقالات العشوائية.
4. التحقق من الواقع: يثبت نجاح نقل هجوم الباب الخلفي للتعلم التعزيزي من المحاكاة إلى الأجهزة الروبوتية الفيزيائية (روبوتات Turtlebot وFetch).

4. النتائج التجريبية

قيم المؤلفون Daze مقابل أحدث الهجمات (TrojDRL وSleeperNets وQ-Incept) عبر مساحات إجراءات منفصلة (Atari) ومستمرة (MuJoCo)، بالإضافة إلى الأجهزة الحقيقية.

النتائج الرئيسية:

• مساحات الإجراءات المستمرة (MuJoCo):
  • حقق Daze معدل نجاح هجوم (ASR) > 92% عبر مهام Half Cheetah وHopper وReacher.
  • واجه المنافسون (SleeperNets-C وTrojDRL-C) صعوبة كبيرة (ASR < 26% في بعض الحالات) لأن تسميم المكافآت صعب الضبط في المساحات المستمرة دون الوصول المباشر للمكافأة.
  • التخفي: حافظ Daze على درجات العائد السليم (BR) متطابقة تقريبًا مع الوكلاء غير المسمومين، بينما أدى المنافسون غالبًا إلى تدهور الأداء بشكل كبير لتحقيق تفعيل الباب الخلفي.
• مساحات الإجراءات المنفصلة (Atari):
  • حقق Daze معدل نجاح هجوم (ASR) > 97% في ألعاب Q*bert وFrogger وPacman وBreakout.
  • طابق أو تفوق على الطرق السابقة رغم امتلاكه نموذج تهديد أضعف (لا وصول للمكافأة).
• الأجهزة الحقيقية (Sim-to-Real):
  • مهمة التقاطع (Turtlebot): في الحالة السليمة، يعبر الروبوت التقاطع بأمان. وعند وجود المحفز (كائن على شكل علامة +)، يتسارع الوكيل المسموم للأمام، مما يسبب تصادمًا.
  • مهمة النادل (Fetch Robot): في الحالة السليمة، يوازن الروبوت كرة على طبق أثناء الحركة. وعند التحفيز، يدور بشكل حاد، مما يؤدي إلى سقوط الكرة والاصطدام.
  • تؤكد هذه التجارب أن Daze يعمل على الأنظمة الفيزيائية ذات المستشعرات المليئة بالضجيج وديناميكيات العالم الحقيقي.

5. الأهمية والآثار المترتبة

• تحول في النموذج: يتحدى هذا العمل الافتراض بأن الوصول إلى المكافأة ضروري لهجمات الباب الخلفي. فهو يثبت أن التلاعب بـ ديناميكيات الانتقال وحده كافٍ لتقويض وكلاء التعلم التعزيزي.
• أمن سلاسل التوريد: يسلط الضوء على ثغرة أمنية حرجة في سلسلة توريد التعلم التعزيزي. بما أن المحاكيات غالبًا ما تكون من طرف ثالث أو سحابية، يمكن للجهات الخبيثة توزيع محاكيات "مسمومة" لا يمكن تمييزها عن المحاكيات السليمة أثناء التحقق القياسي.
• تحديات الدفاع: تفترض الدفاعات الحالية (مثل BIRD وتطهير الحالة) غالبًا الوصول إلى بيانات تدريب نظيفة أو تعتمد على شذوذ المكافآت. وبما أن Daze لا يغير المكافآت ويحاكي عشوائية النطاق (تقنية شائعة لتعزيز المتانة)، فمن الصعب جدًا اكتشافه.
• الاتجاهات المستقبلية: تدعو الورقة إلى آليات دفاع جديدة يمكنها اكتشاف الارتباطات الدقيقة بين المحفزات، وشذوذ الانتقال، والإجراءات المستهدفة، بالإضافة إلى تدقيق أكثر صرامة لكود المحاكي قبل النشر.

في الختام، يوضح Daze أن الثقة الموضوعة في بيئات المحاكاة هشة. فحتى بدون التحكم في إشارة المكافأة، يمكن للمهاجم اختطاف سلوك وكيل التعلم التعزيزي بفعالية، مما يشكل مخاطر جسيمة على التطبيقات الحرجة للسلامة مثل القيادة الذاتية والروبوتات.