🤖 machine learning

WMAttack: Automated Attack Search for Adversarial Evaluation of World-Model Agents

تقدم هذه الورقة WMAttack، وهو إطار عمل مؤتمت يستخدم البحث عن الهجمات ذات التصحيح الذاتي واسترجاع الهجمات الموجه بالتمثيل لتحديد هجمات عدائية أقوى بكثير وبكفاءة ودقة لتقييم متانة وكلاء النماذج العالمية عبر بيئات متنوعة.

المؤلفون الأصليون: Zhixiang Guo, Siyuan Liang, Shi Fu, Cheng Guo, Andras Balogh, Mark Jelasity, Dacheng Tao

نُشر 2026-05-25

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhixiang Guo, Siyuan Liang, Shi Fu, Cheng Guo, Andras Balogh, Mark Jelasity, Dacheng Tao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قمت ببناء روبوت ذكي للغاية يتعلم لعب ألعاب الفيديو من خلال مشاهدة نفسه وهو يلعب، حيث يبني "فيلمًا ذهنيًا" لما سيحدث بعد ذلك، ثم يتخذ قراراته بناءً على هذا الفيلم. هذا ما يسمى بـ نموذج العالم (World Model). هذه الروبوتات أصبحت بارعة للغاية في ألعاب مثل "أتاري" ومهام التحكم المعقدة.

ولكن تكمكن المشكلة: نحن لا نعرف حقًا مدى هشاشة "أفلامها الذهنية". إذا عرضت عليها صورة مشوهة قليلاً (مثل بقعة صغيرة على الشاشة)، فهل ستصاب بالذعر وتنهار؟ أم ستستمر في اللعب بشكل مثالي؟

تقدم الورقة البحثية WMAttack، وهي أداة جديدة مصممة لتكون "اختبار إجهاد" فائق القدرة لهذه الروبوتات.

المشكلة: "لعبة التخمين" الأمنية

في الوقت الحالي، يشبه التحقق مما إذا كان الروبوت قويًا أم لا محاولة العثين عن إبرة في كومة قش عبر فحص كل قشة على حدة.

الاختبار اليدوي ضعيف: إذا حاول إنسان كسر الروبوت عبر تخمين أعطال عشوائية، فقد يغفل عن نقاط الضعف. سيبدو الروبوت قويًا، لكنه قوي فقط لأن الإنسان لم يحاول بجهد كافٍ.
القوة الغاشمة بطيئة جدًا: إذا حاولت اختبار كل مجموعة ممكنة من الأعطال، فسيستغرق الأمر للأبد. فكل اختبار يتطلب من الروبوت أن "يلعب" اللعبة في حلقة مفرغة، وهو أمر مكلف حاسوبيًا.

الحل: WMAttack (مختبر الإجهاد الذكي)

ابتكر المؤلفون WMAttack، وهو نظام مؤتمت لا يكتفي بالتخمين العشوائي، بل يعمل مثل محقق بارع يتعلم كيفية كسر الروبوت بكفاءة. ويمتلك هذه الأداة قوتين خارقتين رئيسيتين:

1. RGAR: "المحقق المتنقل" (الاسترجاع)

تخيل أنك محقق تحاول حل قضية جديدة. بدلاً من البدء من الصفر، تراجع ملفات قضاياك القديمة. تلاحظ أن القضية الجديدة تشبه كثيرًا قضية قمت بحلها العام الماضي. فتأخذ الاستراتيجية التي نجحت حينها وتستخدمها كنقطة انطلاق.

كيف يعمل: يقوم WMAttack بالنظر إلى سلوك الروبوت الجديد (تمثيله الكامن/latent representation) ويقارنه بآلاف الاختبارات السابقة على روبوتات أخرى.
الفائدة: إنه يجد "بداية دافئة" (warm start). فبدلاً من التخمين الأعمى، يبدأ باستراتيجيات الهجوم التي نجحت مع روبوتات ذات مظهر مشابه. وهذا يوفر وقتًا هائلاً.

2. SCAS: "المدرب ذاتي التصحيح" (التحسين)

بمجرد أن يبدأ المحقق في الاختبار، فإنه يحتاج للتعلم من أخطائه. إذا لم يؤدِ نوع معين من الأعطال إلى كسر الروبوت، يقول المدرب: "حسنًا، هذا لم ينجح. لنحاول زاوية مختلفة قليلاً".

كيف يعمل: يقوم النظام بإجراء اختبار، ويرى مدى انخفاض أداء الروبوت، ثم يستخدم هذه التغذية الراجعة لتحديث "استراتيجية التخمين" الخاصة به. إنه يغير تركيزه نحو أنواع الأعطال التي تسبب أكبر قدر من الضرر للروبوت.
الفائدة: يتوقف عن إضاعة الوقت في الهجمات الضعيفة ويركز طاقته على "الحركات القاتلة" التي تسبب أكبر حالات الفشل.

النتائج: إيجاد نقاط الضعف الحقيقية

اختبر الباحثون WMAttack في 46 سيناريو مختلفًا باستخدام نماذج ذكاء اصطناعي شهيرة (مثل DreamerV3).

أفضل من العشوائية: عندما قارنوا WMAttack بنظام يخمن عشوائيًا فقط، وجد WMAttack هجمات أقوى بكثير. لقد تسبب في خسارة الروبوتات لعدد أكبر بكيد من النقاط (ما يصل إلى ضعف الضرر في بعض الحالات).
أفضل من "البحث الآلي": قارنوه أيضًا بنظام يستخدم الذكاء الاصطناعي لكتابة نصوص هجومية خاصة به (يسمى Claudini). ومع ذلك، فاز WMAttack، حيث وجد طرقًا أكثر فعالية لكسر الروبوتات.
الكفاءة: على الرغم من أن العثور على الهجوم المثالي يستغرق وقتًا، إلا أن WMAttack وجد هجمات جيدة بشكل أسرع من الأنظمة الأخرى. لقد وصل إلى نتائج عالية الجودة في عدد أقل من المحاولات.

الخلاصة

تجادل الورقة البحثية بأنه لكي نثق حقًا في روبوتات "نموذج العالم" هذه، نحتاج إلى طريقة أفضل لكسرها قبل أن تنكسر في العالم الحقيقي. يوفر WMAttack طريقة ذكية ومؤتمتة للقيام بذلك. فهو يجمع بين الخبرة من الاختبارات الماضية (RGAR) مع التعلم في الوقت الفعلي من الإخفاقات (SCAS) لاكتشاف مدى هشاشة وكلاء الذكاء الاصطناعي المتقدمين هذه بكفاءة.

باختصار: الأمر لا يتعلق فقط بكسر الروبوت؛ بل يتعلق بإيجاد أفضل طريقة لكسره، حتى نعرف بالضبط أين توجد الثغرات لسدها.

ملخص تقني: WMAttack

بيان المشكلة

على الرغم من الاعتماد المتزايد للنماذج العالمية (world models) كوكلاء لاتخاذ القرار في التعلم المعزز (RL)، إلا أن متانةهم ضد الهجمات العدائية لا تزال غير مستكشفة بشكل كافٍ. تواجه طرق التقييم الحالية مقايضة حرجة بين الدقة والكفاءة؛ فالهجمات الضعيفة التي يتم ضبطها يدويًا غالبًا ما تبالغ في تقدير المتانة، بينما البحث الشامل عن المعلمات الفائقة (hyperparameters) مكلف حوسبيًا بشكل باهظ. يعود ذلك إلى أن تقييم مرشح هجوم واحد في بيئة النموذج العالمي يتطلب عمليات تشغيل (rollouts) مغلقة الحلقة عبر ديناميكيات كامنة متعلمة، وهو أمر أكثر تكلفة بكثير من تقييمات التعلم الخاضع للإشراف القياسية. علاوة على ذلك، فإن فعالية الهجوم حساسة للغاية لديناميكيات البيئة، ومساحات الملاحظة، والمعلمات الفائقة للعداء، مما يجعل الضبط اليدوي غير موثوق به. يحدد البحث غياب أطر عمل مخصلة ومؤتمتة للكشف المنهجي عن أوضاع الفشل وقياسها لوكلاء النماذج العالمية تحت الظروف العدائية.

المنهجية

يقترح المؤلفون WMAttack، وهو إطار عمل مؤتمت للبحث عن الهجمات مصمم لتقييم وكلاء النماذج العالمية تحت ميزانية تقييم محدودة. يتم صياغة الهدف الجوهري كمسألة بحث فوق تكوينات الهجوم (بما في ذلك عائلات الهجوم، ميزانيات الاضطراب، خطوات التحسين، عمليات إعادة التشغيل، وقواعد التخصيص) لتعظيم دالة منفعة مُجمّعة (scalarized utility function). توازن هذه المنفعة بين تدهور المكافأة، وعدم استقرار الإجراءات، ووقت التقييم، وتباين عمليات التشغيل.

يعتمد WMAttack عملية تحسين ثنائية المراحل للتنقل في مساحة البحث الكبيرة:

استرجاع الهجمات الموجه بالتمثيل (RGAR):
لمعالجة مشكلة "البداية الباردة" حيث يفتقر المقيمون إلى معرفة مسبقة بالهجمات الفعالة لزوج جديد من (المهمة-الوكيل)، يقوم RGAR باسترجاع تكوينات الهجوم التاريخية من مهام مشابهة في التمثيل. يقوم ببناء ملخص سلوكي كامن ( $\psi_\tau$ ) للمهمة الجديدة بناءً على المسارات النظيفة (الحالات الكامنة، التنبؤات، الإجراءات، والمكافآت). ومن خلال إسقاط الديناميكيات المتنوعة في فضاء كامن موحد، يحدد RGAR أفضل $K$ من السجلات التاريخية المشابهة ويستخدمها لتهيئة توزيع اقتراح الهجوم ( $q_0$ ). يوفر هذا بداية دافئة، مستفيدًا من الخبرات عبر المهام بدلاً من التهيئة العشوائية غير المدروسة.
البحث عن الهجمات ذات التصحيح الذاتي (SCAS):
بعد التهيئة، يقوم SCAS بتحسين استراتيجية البحث بشكل تكراري باستخدام التغذية الراجعة من التجارب التي تم تقييمها. يعامل مولد المرشحين المصنف كأنه توزيع اقتراح ضمني ( $q_t$ ). بعد تقييم دفعة من المرشحين عبر عمليات تشغيل مغلقة الحلقة، يستخدم SCAS تغذية راجعة متعددة الأبعاد (تدهور المكافأة، عدم استقرار الإجراء، وقت التشغيل، والتباين) لتحديث توزيع الاقتراح. تعمل التجارب ذات المنفعة العالية كنقاط ارتكاز للتحسين المحلي، بينما تقوم إشارات التغذية الراجعة بتعديل اتجاهات البحث (مثل تعديل ميزانيات الاضطراب أو خطوات التحسين). تركز حلقة التصحيح الذاتي هذه ميزانية التقييم على مناطق مساحة الهجوم الأكثر احتمالية للكشف عن إخفاقات النموذج العالمي.

الأساس النظري: يقدم البحث تفسيرًا نظريًا يوضح أنه إذا قام تحسين الاقتراح (عبر RGAR أو SCas) بنقل الكتلة الاحتمالية نحو تكوينات الهجوم ذات المنفعة العالية (المجموعة $G_\eta$ )، فإن احتمال اكتشاف هجوم فعال ضمن ميزانية محدودة يزداد. وتحديدًا، تضمن قاعدة التحديث $C_\gamma(q) = (q + \gamma q^*)/(1+\gamma)$ ، حيث $q^*$ هو توزيع مرجعي منحاز للمنفعة، زيادة احتمال أخذ عينة لتكوين فعال إذا كان المرجع أكثر تركيزًا على المجموعة الفعالة من الاقتراح الحالي.

المساهمات الرئيسية

صياغة المشكلة: صاغ المؤلفون تقييم المتانة العدائية للنماذج العالمية كمسألة بحث عن تكوين الهجوم بميزانية محدودة، بهدف تحديد الهجمات عالية التأثير بكفاءة عبر مختلف المهام والنماذج وإعدادات المعلمات الفائقة.
إطار عمل WMAttack: طوروا إطار عمل مؤتمت يجمع بين RGAR وSCAS. يتيح RGRA نقل الخبرات عبر المهام عبر التمثيلات السلوكية الكامنة، بينما يستخدم SCAS التغذية الراجعة لتعديل الاقتراح لتركيز جهود البحث بشكل تكيفي.
الرؤية النظرية: يقدم البحث تفسيرًا نظريًا لسبب تحسين كفاءة البحث عبر تحسين الاقتراح المدفوع بالتغذية الراجعة، موضحًا أن نقل الكتلة الاحتمالية نحو التكوينات عالية المنفعة يقلل من وقت الوصول المتوقع للعثور على هجمات فعالة.
التقييم التجريبي: أُجريت تجارب واسعة النطاق على 46 مهمة عبر مجموعات Atari وDeepMind Control (DMC) باستخدام بنيات نماذج عالمية متنوعة (DreamerV2, DreamerV3, TD-MPC2, IRIS).

النتائج

أظهر التقييم أن WMAttack يكتشف باستمرار هجمات أقوى من كل من البحث العشوائي وخط الأساس للبحث الذاتي من نوع Claudini (الذي يستخدم التغذية الراجعة التكرارية ولكن يفتقر إلى الاسترجاع عبر المهام).

قوة الهجوم: في DreamerV3 Atari، حقق WMAttack انخفاضًا طبيعيًا في المكافأة قدره 1.034، متفوقًا على خط أساس Claudini (0.497) والبحث العشوائي (0.446) بفوارق كبيرة. وكان الطريقة الوحيدة التي حققت منفعة مُجمّعة موجبة (0.430)، مما يشير إلى أن تكلفة البحث كانت مبررة بقوة الهجوم. وفي DMC، حسن WMAttack انخفاض المكافأة من 0.319 (Claudini) إلى 0.682.
التعميم عبر النماذج: نجح إطار العمل في كشف نقاط الضعف في DreamerV2 وTD-MPC2 وIRIS، محققًا مكاسب متسقة في انخفاض المكافأة وعدم استقرار الإجراء عبر هذه البنيات المختلفة.
كفاءة البحث: وصل WMAttack إلى 90% من أفضل منفعة نهائية في 87.5% من أزواج (المهمة-الهجوم) في Atari، مقارنة بـ ~53% للخطوط الأساسية. وفي DMC، تحسن معدل الإصابة من ~18% إلى 49.0%.
دراسات الاستئصال (Ablation Studies):
- RGAR مقابل SCAS: حسن RGAR جودة المرشح الأولي بشكل كبير (منفعة الجولة الأولى)، بينما كان SCAS ضروريًا لتحسين هؤلاء المرشحين إلى هجمات نهائية عالية المنفعة. لم يحقق أي منهما بمفرده أداء النظام المدمج.
- النماذج اللغوية الكبيرة (LLM) الأساسية: أثر اختيار النموذج اللغوي الأساسي (مثل Qwen2.5-3B مقابل 7B) على الأداء بشكل غير رتيب. تفوقت النماذج الأصغر (3B) أحيانًا على الأكبر (7B) من حيث انخفاض المكافأة والمنفعة، مما يشير إلى أن الفعالية تعتمد على مقايضة القوة والتكلفة بدلاً من عدد المعلمات وحدها.

الأهمية والادعاءات

يدعي البحث أن WMAttack يسد الفجوة بين بروتوكولات التقييم العدائي الثابتة (مثل AutoAttack للرؤية الخاضعة للإشراف) والمتطلبات الديناميكية وعالية التكلفة لتقييم النماذج العالمية. من خلال معاملة التقييم كعملية بحث مؤتمتة بميزانية محدودة، يوفر WMAttack طريقة منهجية للكشف عن أوضاع الفشل التي قد تغفل عنها عملية الضبط اليدوي أو البحث العشوائي.

يؤكد المؤلفون أن هدفهم ليس اعتماد المتانة العالمية، بل الكشف بكفاءة عن الهجمات عالية التأثير. تكمن الأهمية في إثبات أن الاستفادة من التشابهات الجوهرية بين النماذج العالمية (عبر RGAR) وتكييف استراتيجيات البحث بناءً على التغذية الراجعة للحلقة المغلقة (عبر SCAS) يسمح باكتشاف تكوينات عدائية أكثر قوة تحت ميزانيات حوسبية ثابتة. يوفر هذا النهج مسارًا عمليًا للتقييم الموجه نحو السلامة لوكلاء النماذج العالمية المتزايدين في التعقيد.