ملخص تقني: TRAP - هجوم التصنيف المدرك للذيل (Tail-aware Ranking Attack) لنماذج التخطيط القائمة على النماذج العالمية

بيان المشكلة

تُمكّن النماذج العالمية (World models) الوكلاء العامين من إجراء تخطيط طويل المدى من خلال توليد وتقييم مسارات متخيلة داخلياً. وبينما توفر عملية التخيل المدفوعة هذه قدرات استدلال قوية، إلا أنها تقدم ثغرات أمنية فريدة تفشل هجمات الأبواب الخلفية (backdoor attacks) التقليدية في استغلالها بفعالية.

تستهدف هجمات الأبواب الخلفية التقليدية عادةً الميزات المحلية، أو تنبؤات الخطوة الواحدة، أو مخرجات السياسة اللحظية. ومع ذلك، غالباً ما تكون هذه الأهداف غير فعالة ضد النماذج العالمية لسببين هيكليين:

1. تضاؤل الاضطرابات المحلية: في النماذج العالمية، تعتمد القرارات على ديناميكيات متعددة الخطوات وتراكم المكافآت. لذا، فإن الانحرافات الناجمة عن المحفزات في الخطوة الواحدة غالباً ما يتم امتصاصها، أو غسلها، أو إلغاؤها بواسطة الديناميكيات المتعلمة والعملية التخطيطية بمرور الوقت.
2. عدم التوافق مع آليات اتخاذ القرار: لا تستهدف الهجمات الحالية آلية القرار الأساسية للتخطيط في النماذج العالمية، وهي: الترتيب النسبي للمسارات المرشحة. بما أن المخططين يختارون الأفعال بناءً على التصنيف المقارن للعديد من المستقبلات المتخيلة بدلاً من الدرجة المطلقة لمسار واحد، فإن تغيير حالة كامنة واحدة أو مخرج فعل واحد غالباً ما يفشل في تغيير نتيجة التخطيط النهائية.

تحدد الورقة ثغرة متميزة متجذرة في بنية التصنيف ذات الذيل الطويل للمسارات المتخيلة. في الظروف الطبيعية، تظهر درجات المسارات توزيعاً منحرفاً للغاية حيث تهيمن نسبة صغيرة فقط من مسارات "الذيل" عالية القيمة على عملية اتخاذ القرار. إن تعطيل ترتيب هذه المسارات المحددة والحاسمة للقرار يمكن أن يستولي بشكل منهجي على عملية التخطيط.

المنهجية: إطار عمل TRAP

يقترح المؤلفون TRAP (هجوم التصنيف المدرك للذيل لتخطيط النماذج العالمية)، وهو إطار عمل لهجوم باب خلفي يعتمد على المحفز ويتم تنفيذه أثناء الاستدلال. يعمل TRAP دون تعديل بارامترات النموذج أو تسميم مسار التدريب؛ وبدلاً من ذلك، يقوم بتطبيق رقعة محفز بصري موضعية مكانياً على مدخل الملاحظة عند وقت النشر.

يتكون الإطار من مكونين أساسيين:

1. خسارة التصنيف المدركة للذيل (Tail-Aware Ranking Loss)

بدلاً من تشويه جميع المسارات المتخيلة بشكل موحد، يركز TRAP عملية التحسين على ذيل الدرجات العالية في توزيع المسارات النظيف.

• التحديد: بالنسبة لملاحظة معينة، يحدد النظام مجموعة فرعية من خطوات المسار التي تقع ضمن الربع الأعلى (top quantile) من توزيع الدرجات النظيف (الـ "ذيل").
• الهدف: يهدف الهجوم إلى خفض درجات هذه المسارات الحاسمة للقرار مقارنة بغيرها. تقوم دالة الخسارة بتجميع انحرافات الدرجات ($\Delta J$) تحديداً عبر خطوات الذيل المقنعة هذه.
• التجميع: تُستخدم عملية (softmin) عبر المسارات المرشحة لإعطاء الأولوية لقمع تلك المسارات التي يصعب تقليل درجات ذيلها، مما يضمن استهداف الهجوم للمستقبلات الأكثر تأثيراً.

2. آليات البوابة المزدوجة (Dual Gating Mechanisms)

لضمان استقرار تحسين خسارة التصنيف المدركة للذيل ومنع الهجوم من تدهور الأداء النظيف أو عدم الاستقرار، يقدم TRAP خسارتي بوابة:

• بوابة الإشارة ($L_{sign}$): تعاقب التحديثات التي تؤدي بالخطأ إلى زيادة درجة المسار ($\Delta J > 0$). وهذا يضمن بقاء اتجاه الهجوم متسقاً (القمع).
• بوابة المقدار ($L_{mag}$): تمنع القمع المفرط. إذا تجاوز انحراف درجة المسار هامش أمان معين ($\Delta J < -\beta$)، يتم معاقبة المزيد من القمع. هذا يحافظ على استقرار التحسين ويمنع التشويه غير الضروري.

تجمع دالة هدف الهجوم الإجمالية بين خسارة التصنيف المدركة للذيل، وخسارتي البوابة المزدوجة، والمنظمات القياسية في مساحة الصورة (التباين الكلي و $L_2$ norm) لضمان أن تكون رقعة المحفز سلسة مكانياً ومحدودة.

المساهمات الرئيسية

1. أول باب خلفي أثناء الاستدلال للنماذج العالمية: يعد TRAP أول إطار عمل ينفذ هجمات أبواب خلفية مشروطة بالمحفز على النماذج العالمية أثناء الاستمرار، من خلال التلاعب باتخاذ القرار طويل المدى عبر محفزات بصرية دون الحاجة إلى التلاعب بالبارامترات.
2. تحديد ثغرة التصنيف: يحدد العمل الترتيب النسبي للمسارات المرشحة كسطح هجوم رئيسي في تخطيط النماذج العالمية، متجاوزاً الأهداف التقليدية مثل أخطاء التنبؤ بالخطوة الواحدة أو التلاعب بالتمثيل الكامن.
3. صياغة هجوم مدرك للذيل: قدم المؤلفون هدف تصنيف مبتكر مدرك للذيل مقترناً بآليات بوابة مزدوجة لتحقيق تلاعب مستقر ومحافظ على السلوك لنتائج التخطيط.
4. التحقق التجريبي: تم التحقق من فعالية الإطار على نماذج عالمية ممثلة (DreamerV3 و TD-MPC2) عبر مهام متنوعة في بيئات التحكم المستمر (DMControl)، والتخطيط ذو المكافأة المتفرقة (Crafter)، والأفعال المنفصلة (Atari).

النتائج التجريبية

قيم المؤلفون TRAP على DreamerV3 (تحسين السياسة القائم على التخيل الكامن) و TD-MPC2 (التحكم التنبئي بالنموذج) عبر بيئات التحكم المستمر (DMControl)، والتخطيط ذو المكافأة المتفرقة (Crafter)، والمهام ذات الأفعال المنفصلة (Atari).

• فعالية الهجوم: يتفوق TRAP باستمرار على النماذج المرجعية للرقع العشوائية.
  • في DreamerV3 (Crafter)، حقق TRAP انخفاضاً في متوسط العائد بنسبة 63.2% ومعدل نجاح هجوم (ASR) بنسبة 98.1%، مقارنة بتدهور ضئيل من النموذج المرجعي.
  • في TD-MPC2 (hopper-hop)، حقق TRAP انخفاضاً في متوسط العائد بنسبة 99.8% ومعدل نجاح هجوم (ASR) بنسبة 100%.
  • عبر معظم المهام، دفع TRAP معدل نجاح الهجوم (ASR) إلى ما يقرب من 100%، مما يشير إلى انحراف سلوكي مستمر بوجود المحفز.
• الأمانة للنظام النظيف: يحافظ الهجوم على السلوك الطبيعي في المدخلات النظيفة، مع تأثير ضئيل على الأداء عند غياب المحفز.
• الكفاءة: لا يتسبب الهجوم إلا في عبء حسابي طفيف (العبء أثناء التشغيل يتراوح عموماً بين 0-إلى 0.8 و 1.3 ضعف مقارنة بالتقييم النظيف).
• المتانة: تظهر التجارות التشخيصية أن TRAP يظل فعالاً عبر أحجام الرقع وميزانيات الاضطراب المتغيرة. كما يظهر صموداً أمام الدفاعات القياسية في مساحة الصورة (مثل تصفية الوسيط، وضغط JPEG، والتنعيم الغاوسي)، رغم أن هذه الدفاعات تقلل من الفعالية إلى حد ما.

الأهمية والادعاءات

تدعي الورقة أن TRAP يكشف عن فجوة أمنية جوهرية في الوكلاء القائمين على النماذج العالمية. تكمن أهمية العمل في إثبات أن:

• الثغرة الهيكلية: إن الاعتماد على تصنيف مسارات الذيل عالية القيمة لاتخاذ القرار يخلق ثغرة محددة تغفل عنها هجمات الأبواب الخلفية القياسية.
• استمرارية الهجوم: على عكس الهجمات على النماذج التفاعلية، يسبب TRAP انحرافات سلوكية مستدامة عبر آفاق طويلة لأنه يعطل ترتيب المسارات الذي يعتمد عليه المخطط لتقييم المستقبل.
• الحاجة إلى دفاعات جديدة: تسلط النتائج الضوء على أن التقييمات الأمنية الحالية غير كافية للوكلاء المدفوعين بالنماذج العالمية. ويجادل المؤلفون بضرورة وجود تقييم أمني مخصص، وتحليل للمتانة، وتصميم دفاعات مصمم خصيصاً لآليات التخطيط في النماذج العالمية قبل نشرها في تطبيقات حرجة للسلامة مثل الروبوتات والقيادة الذاتية.