🤖 machine learning

TrojanTO: Action-Level Backdoor Attacks against Trajectory Optimization Models

تقدم هذه الورقة البحثية TrojanTO، وهو أول هجوم باب خلفي على مستوى الإجراء ضد نماذج تحسين المسار (Trajectory Optimization)، والذي يتغلب على قيود الهجمات القائمة على المكافأة من خلال توظيف التدريب التبادلي وتسميم المسار الدقيق لتعطيل بنيات تحسين المسار المتنوعة بفعالية وبأدنى ميزانية للهجوم.

المؤلفون الأصليون: Yang Dai, Oubo Ma, Longfei Zhang, Xingxing Liang, Xiaochun Cao, Shouling Ji, Jiaheng Zhang, Jincai Huang, Li Shen

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yang Dai, Oubo Ma, Longfei Zhang, Xingxing Liang, Xiaochun Cao, Shouling Ji, Jiaheng Zhang, Jincai Huang, Li Shen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قمت ببناء روبوت طاهٍ عالي المهارة. هذا الروبوت لا يتعلم من خلال تذوق الطعام والحصول على تقييم "عمل جيد" أو "عمل سيئ" من البشر (وهي الطريقة التي تتعلم بها معظم الروبوتات). بدلاً من ذلك، يتعلم من خلال قراءة كتاب طبخ ضخم لوصفات سابقة ومشاهدة فيديوهات لطهاة خبراء، محاولاً تقليد تسلسل الحركات التي قاموا بها بدقة مثالية. هذا ما يسميه البحث نموذج "تحسين المسار" (Trajectory Optimization - TO).

يكشف بحث بعنوان TrojanTO عن طريقة مخيفة وجديدة لاختراق هذا النوع المحدد من الروبوتات. إليك تفصيل للمشكلة والحل الذي وجدوه، مشروحاً ببساة.

المشكلة: لماذا لا تنجح عمليات الاختراق القديمة؟

في الماضي، حاول المخترقون تسميم أدمغة الروبوتات عبر التلاعب بـ "النتيجة" (المكافأة) التي يحصل عليها الروبوت أثناء التدريب. تخيل أنك تقول للروبوت: "إذا أسقطت البيضة، ستحصل على مليون نقطة!"، حينها سيتعلم الروبوت إسقاط البيض للحصول على النقاط.

ومع ذلك، يقول البحث إن هذا لا ينجح مع روبوتاتنا الجديدة التي "تقلد الكتب".

السبب: هذه الروبوتات لا تحاول الحصول على نقاط؛ هي فقط تحاول نسخ خطوات الوصفة بدقة. تغيير "النتيجة" يشبه الهمس في أذن طالب يقوم فقط بنسخ كتاب مدرسي؛ سيتجاهل الهمس ويستمر في نسخ النص.
الصعوبة: يجب على هذه الروبوتات أيضاً القيام بحركات دقيقة ومستمرة (مثل حركة يد تنساب بسلاسة في الهواء)، وليس مجرد خيارات بسيطة (مثل "انعطف يساراً" أو "انعطف يميناً"). وهذا يجعل من الصعب تمرير تعليمات مخفية دون كسر قدرة الروبوت على الطبخ.

الحل: TrojanTO (خدعة "المكون السري")

ابتكر الباحثون طريقة اختراق جديدة تسمى TrojanTO. فبدلاً من محاولة تغيير أهداف الروبوت خلال مرحلة تدريبه الطويلة (وهو أمر مكلف وصعب للغاية)، فإنهم يهاجمون الروبوت بعد أن يكون قد تعلم وظيفته بالفعل.

فكر في الأمر كالتالي: الربوت أصبح بالفعل طاهياً ماهراً. المخترق لا يعيد تدريب الطاهي؛ بل يضع فقط "محفزاً" (Trigger) صغيراً وغير مرئي في عقل الطاهي، لا يتفعل إلا في ظروف محددة جداً.

كيف يعمل TrojanTO (وصفة الخطوات الثلاث):

تصفية الوصفات الجيدة (تصفية المسار - Trajectory Filtering):
ينظر المخترق إلى ذاكرة الروبوت الموجودة (مجموعة البيانات) ويتخلص من المحاولات الفاشلة والمبعثرة. يحتفظ فقط بالوصفات "المثالية". لماذا؟ لأنه إذا حاول المخترق تعليم الروبوت خدعة باستخدام وصفة فاشلة، فقد يرتبك الروبوت ويتوقف عن الطبخ بشكل جيد تماماً. يريد المخترق أن تكون الخدعة دقيقة وعالية الجودة.
سم "الملعقة الواحدة" (تسميم الدفعة - Batch Poisoning):
بدلاً من تسميم قدر الحساء بأكبره (مما سيؤدي لتخريب المذاق)، يضيف المخترق قطرة صغيرة من السم إلى مكون واحد محدد في وصفة واحدة فقط.

التشبيه: تخيل كتاب طبخ حيث 99% من صفحاته طبيعية. وفي صفحة واحدة، في منتصف وصفة لعمل "البانكيك"، يوجد علامة صغيرة، تكاد لا تُرى. يتعلم الروبوت أنه إذا رأى هذه العلامة المحددة، فعليه فجأة القيام بشيء غريب (مثل قلب البانكيك على الأرض). ولكن لأنها مجرد علامة صغيرة في كتاب ضخم، سيظل الروبوت يطبخ البانكيك بشكل مثالي في 99.9% من الحالات.

"رقصة" التعلم (التدريب التبادلي - Alternating Training):
هذا هو السر الحقيقي. المخترق لا يكتفي بإضافة العلامة ثم يأمل في حدوث شيء ما؛ بل يلعب لعبة "الاستغماية" (Tag) مع الروبوت:

أولاً، يقوم بتعديل "العلامة" (المحفز) لجعلها أكثر فعالية قدر الإمكان.
ثم، يقوم بتعديل دماغ الروبوت ليستجيب لتلك العلامة.
يكرر هذا الذهاب والإياب. هذا يخلق رابطاً قوياً للغاية وغير مرئي بين المحفز والفعل الغريب.

النتائج: التخريب الصامت

اختبر البحث هذه الطريقة على مهام روبوتية مختلفة، مثل المشي، الجري، والتحكم في الأشياء.

التخفي: لا يزال الروبوت يعمل بشكل طبيعي تماماً. إذا طلبت منه المشي، يمشي. إذا طلبت منه الإمساك بقلم، يمسك بالقلم. أداؤه يكاد يكون متطابقاً مع الروبوت النظيف.
المحفز: يحتاج المخترق فقط لتسميم كمية ضئيلة جداً من البيانات (حوالي 0.3% من إجمالي الوصفات).
الهجوم: عندما يُدخل المخترق "المحفز" المحدد (تغيير طفيف ومحدد في رؤية الروبوت للعالم)، ينتقل الروبوت فوراً إلى الفعل "الشرير".
- مثال: إذا كان المحفز هو نمط معين من الضوء، فقد يتوقف الروبوت فجأة عن المشي ويبدأ بالدوران حول نفسه، أو يسقط القلم الذي كان يمسكه.

لماذا هذا مهم؟

يخلص البحث إلى أن هذا يمثل خطراً أمنياً كبيراً لأن:

إنه ما بعد التدريب: لا تحتاج لأن تكون أنت من بنى الروبوت أو أن تملك الوصول إلى بيانات تدريبه الأصلية. يمكنك فقط أخذ روبوت جاهز وموثوق، وتمرير هذا "الباب الخلفي" فيه لاحقاً.
صعوبة الكشف: بما أن الروبوت يعمل بشكل مثالي في 99% من الوقت، فإن فحوصات السلامة القياسية لن تكتشفه. إنه يشبه جاسوساً يتصرف بشكل طبيعي تماماً حتى يتم نطق رمز سري.
يعمل في كل مكان: أظهر الباحثون أن الطريقة تعمل على أنواع مختلفة من روبوتات "الكتب" (مثل Decision Transformers، وGraph Decision Transformers، إلخ).

باختصار: يوضح البحث أنه حتى لو بنيت روبوتاً مثالياً عن طريق تعليمه محاكاة الخبراء، يمكن لمخترق أن يزرع "مفتاحاً" صغيراً وغير مرئي يجعل الروبوت يقوم بفعل خطير عند الطلب، دون أن يدرك الروبوت أبداً أنه تم اختراقه.

ملخص تقني: TrojanTO – هجمات الباب الخلفي على مستوى الإجراء ضد نماذج تحسين المسار

بيان المشكلة

برزت نماذج تحسين المسار (Trajectory Optimization - TO)، مثل Decision Transformers (DT) و Decision ConvFormers (DC)، كأدوات قوية لتعلم التعزيز غير المتصل (Offline RL)، لا سيالما في المجالات التي تتطلب مساحات إجراء مستمرة مثل الروبوتات والذكاء المتجسد. ومع ذلك، لا تزال ثغراتها الأمنية غير مستكشفة إلى حد كبير مقارنة بوكلاء التعلم التعزيزي التقليديين.

تعتمد هجمات الباب الخلفي (Backdoor attacks) الموجودة في التعلم التعزيزي عادةً على تلاعب بالمكافأة (Reward manipulation) خلال مرحلة التدريب لربط المحفز (Trigger) بسياسة خبيثة. هذا النموذج غير فعال ضد نماذج تحسين المسار لثلاثة أسباب رئيسية:

نموذج التدريب: تعمل نماذج تحسين المسار كوكلاء نمذجة تسلسلية تعمل على تقليل خسارة إعادة البناء (مطابقة الإجراءات مع الحالات والعوائد المتبقية - returns-to-go) بدلاً من تحسين العوائد طويلة الأمد عبر إشارات المكافأة. وبناءً على ذلك، فهي غير حساسة بطبيعتها للتلاعب بالمكافأة.
الحجم والتكلفة: نماذج تحسين المسار هي نماذج تأسيسية ضخمة النطاق. إن إعادة تدريبها لزرع باب خلفي أمر مكلف حاسوبياً، مما يجعل الهجمات التقليدية في وقت التدريب غير عملية.
تعقيد مساحة الإجراء: يعد حقن أبواب خلفية فعالة في مساحات الإجراء المستمرة عالية الأبعاد أكثر صعوبة بكثير من المساحات المنفصلة، وذلك بسبب الطبيعة اللانهائية لمساحة الإجراء والحاجة إلى تحكم دقيق.

يحدد البحث فجوة حرجة: الافتقار إلى هجمات باب خلفي فعالة وخفية مصممة خصيصاً لنماذج تحسين المسار وتعمل على مستوى الإجراء (Action-level) في مرحلة ما بعد التدريب (Post-training).

المنهجية: TrojanTO

يقترح المؤلفون TrojanTO، وهو أول إطار عمل لهجوم الباب الخلفي على مستوى الإجراء مصمم خصيصاً لنماذج تحسين المسار. على عكس الطرق السابقة، يعمل TrojanTO كـ هجوم ما بعد التدريب، حيث يقوم بتعديل نموذج مدرب مسبقاً دون الوصول إلى مجموعة بيانات التدريب الأصلية. وهو يستخدم استراتيجية مكونة من ثلاثة عناصر لصياغة اتصال قوي وخفي بين المحفز والإجراء المستهدف:

1. تصفية المسارات (Trajectory Filtering - TF)

لمنع النموذج من الإفراط في التلاؤم (Overfitting) مع البيانات ضعيفة الجودة (التي تضعف الأداء الحميد)، يقوم TrojanTO بتصفية مجموعة البيانات المتاحة. فهو يحتفظ فقط بالمسارات التي تتجاوز عتبة طول محددة ( $\epsilon$ )، بافتراض أن المسارات الأطول تمثل السلوك الناجح بشكل أفضل. يضمن ذلك توافق بيانات تدريب الباب الخلفي مع توزيعات التقييم عالية الجودة.

2. تسميم الدفعات (Batch Poisoning - BP)

للحفاظ على التخفي واستقرار التدريب، يتجنب TrojanTO تسميم دفعات كاملة، مما قد يؤدي إلى تحديات التوزيع خارج النطاق (OOD) للمحفز. بدلاً من ذلك، يستخدم استراتيجية تسميم الإجماع (Consensus poisoning strategy):

لكل دفعة تدريب، يتم اختيار انتقال عشوائي واحد وتسميمه.
يتم تشويه الحالة في هذا الانتقال عن طريق إضافة محفز $\delta$ ، ويتم استبدال الإجراء بالإجراء المستهدف $a^\dagger$ .
تجمع دالة الخسارة بين خسارة الباب الخلفي (إجبار النموذج على التنبؤ بـ $a^\dagger$ عند الانتقال المسموم) والخسارة النظيفة (الحفاظ على الأداء في الانتقالات غير المعدلة). يضمن هذا التحسين المشترك تعلم النموذج للباب الخلفي دون نسيان مهمته الأساسية.

3. التدريب التناوبي (Alternating Training - AT)

لتعزيز الاقتران بين المحفز والإجراء المستهدف، يستخدم TrojanTO إطار عمل للتحسين ثنائي المستوى مستوحى من تحسين النموذج والمدخلات المشترك (Input Model Co-optimization - IMC). وهو يتناوب بين:

تعلم المحفز: تحسين قيم المحفز $\delta$ باستخدام طريقة (Momentum Iterative Fast Gradient Sign Method - MI-FGSM) لتعظيم خسارة الباب الخلفي.
تحديث المعلمات: تحديث معلمات النموذج $\tilde{\pi}$ لتقليل الخسارة المشتركة.
تستمر هذه العملية التناوبية لميزانية محددة، وبعد ذلك ينتقل التركيز حصرياً إلى تحديث معلمات النموذج لترسيخ الباب الخلفي.

المساهمات الرئيسية

أول دراسة منهجية للأبواب الخلفية على مستوى الإجراء في تحسين المسار: يقدم البحث أول هجوم باب خلفي على مستوى الإجراء في مرحلة ما بعد التدريب ضد نماذج تحسين المسار، محولاً التركيز من التلاعب بالمكافأة (غير الفعال لتحسين المسار) إلى اقتران المحفز والإجراء المستهدف.
التحقيق التجريبي في عوامل الهجوم: من خلال دراسات الاستئصال (Ablation studies) المكثفة، يوضح المؤلفون أن:
- اختيار الإجراء المستهدف: تحقق الإجراءات الحدية (مثل $+1$ أو $-1$) معدلات نجاح هجوم (ASR) أعلى بكثير من الإجراءات الداخلية.
- تصميم المحفز: تعد أبعاد وقيم المحفز أمراً حاسماً؛ حيث تتفوق المحفزات القابلة للتعلم والمحسنة عبر MI-FGSM على المحفزات المصنوعة يدوياً أو المستمدة من البيانات.
- التلاعب بالمكافأة: لا يوجد تأثير يذكر لتغيير إشارات المكافأة أثناء تدريب الباب الخلفي على معدل نجاح الهجوم (ASR) أو أداء المهمة الحميد (BTP)، مما يؤكد أن اختراق المكافأة ليس وسيلة صالحة لنماذج تحسين المسار.
إطار عمل TrojanTO: اقتراح إطار عمل هجوم جديد يحقق فعالية عالية بميزانية منخفضة للغاية (0.3% من المسارات) مع الحفاظ على مستوى عالٍ من التخفي.

النتائج التجريبية

قيم المؤلفون TrojanTO في ست بيئات من D4RL (Hopper, HalfCheetah, Walker2d, AntMaze, Kitchen, Pen) باستخدام ثلاثة بنى لنماذج تحسين المسار (DT, GDT, DC).

الفعالية: حقق TrojanTO متوسط معدل نجاح هجوم (ASR) قدره 0.719 وأداء مهمة حميد (BTP) قدره 0.914.
المقارنة: تفوق بشكل كبير على النماذج المرجعية:
- Baffle: حقق 0.369 ASR و0.792 BTP (يتطلب معدل تسميم بنسبة 10%).
- IMC: حقق 0.575 ASR و0.853 BTP.
- حقق TrojanTO أداءً مركباً (CP) إجمالياً قدره 0.701، وهو ما يمثل تحسناً بنسبة ~105% عن Baffle.
المتانة: ظل الهجوم فعالاً تحت تأثير اضطرابات المحفز (الضوضاء) وأظهر استمرارية، حيث حافظ على الإجراء المستهدف لعدة خطوات بعد تفعيل المحفز.
الدفاع: اختبر البحث عدة دفاعات (تقليم الأوزان، التحليل الطيفي، تجميع التنشيط، الدفاع المثبت) ووجد أنها غير فعالة إلى حد كبير. تم تحديد الضبط الدقيق (Fine-tuning) كأكثر الدفاعات فعالية، رغم أنه يتطلب إعادة تدريب.

الأهمية والادعاءات

يزعم البحث أن TrojanTO يكشف عن ثغرة حرجة وغير مستكشفة بشكل كافٍ في سلسلة توريد نماذج تحسين المسار. ومن خلال إثبات أن هجمات ما بعد التدريب ليست ممكنة فحسب، بل فعالة للغاية ضد وكلاء نمذجة التسلسل واسعي النطاق، فإن هذا العمل يتحدى الافتراض بأن نماذج تحسين المسار آمنة بسبب نموذج تدريبها.

يؤكد المؤلفون أن جوهر الأبواب الخلفية على مستوى الإجراء في تحسين المسار يكمن في تصميم المحفز بدلاً من التلاعب بالمكافأة. وتتطلب هذه الرؤية إعادة تقييم البروتوكولات الأمنية لأنظمة التعلم التعزيزي غير المتصل، لا سيما تلك التي تعتمد على النماذج التأسيسية المدربة مسبقاً. وتعمل هذه الدراسة كمعيار لفهم هذه التهديدات وتحفز تطوير تدابير مضادة قوية للجيل القادم من الذكاء الاصطناوي لاتخاذ القرار.