💻 computer science

SABER: A Stealthy Agentic Black-Box Attack Framework for Vision-Language-Action Models

تقدم الورقة البحثية SABER، وهو إطار عمل هجوم وكيل (agentic) للصندوق الأسود يستخدم وكيل ReAct مدربًا بتقنية GRPO لتوليد اضطرابات تعليمات دنيا ومعقولة، مما يؤدي بفعالية إلى تدهور أداء نماذج الرؤية واللغة والأفعال المتنوعة مع التفوق على النماذج المرجعية الحالية في الكفاءة ونجاح الهجوم.

المؤلفون الأصليون: Xiyang Wu, Guangyao Shi, Qingzi Wang, Zongxia Li, Amrit Singh Bedi, Dinesh Manocha

نُشر 2026-03-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiyang Wu, Guangyao Shi, Qingzi Wang, Zongxia Li, Amrit Singh Bedi, Dinesh Manocha

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك خادمًا آليًا (روبوت) ذكيًا ومفيدًا للغاية. هذا الروبوت لا يكتفي فقط بتنفيذ الأوامر مثل محمصة الخبز؛ بل إنه يفهم اللغة الطبيعية. يمكنك أن تقول له: "من فضلك افتح الدرج العلوي وضع الوعاء بداخله"، وسوف يستخدم عينيه ليرى الدرج وعقله ليعرف كيف يمسك بالمقبض. هذا ما يسميه الباحثون نموذج الرؤية واللغة والعمل (VLA).

ومع ذلك، تمامًا كما يمكن خداع البشر بجملة مربكة، يمكن خداع هذه الروبوتات أيضًا. تقدم الورقة البحثية أداة جديدة تسمى SABER (إطار عمل الهجوم الخفي على الوكيل الصندوق الأسود) لاختبار مدى سهولة إرباك هذه الروبوتات.

إليك شرح بسيط لكيفية عملها، باستخدام تشبيهات من الحياة اليومية:

1. المشكلة: هجوم "الهمس"

عادةً، عندما يفكر الناس في اختراق روبوت، يتخيلون شخصًا يحاول كسر شفرته البرمجية فعليًا أو تعطيل كاميراته. لكن هذه الورقة توضح أنك لست بحاجة للمس الروبوت على الإطلاق. كل ما تحتاجه هو همس كذبة صغيرة في أذنه.

إذا قمت بتغيير التعليمات من "افتح الدرج العلوي" إلى "افتح الدرج العلويّ" (بتغيية بسيطة في الكتابة)، أو أضفت عبارة مربكة مثل "قبل القيام بذلك، تأكد من أن الدرج مفتوح بالكامل" (بينما هو مفتوح بالفعل بالفعل)، فقد يرتبك الروبوت. قد يؤدي ذلك إلى:

الفشل في تنفيذ المهمة تمامًا.
الدخول في رحلة بحث عبثية، حيث يقوم بـ 100 خطوة لإنجاز مهمة تتطلب 10 خطوات فقط.
خرق قواعد السلامة، مثل إغلاق الدرج بقوة شديدة.

2. الحل: SABER (وكيل "الفريق الأحمر")

قام الباحثون ببناء وكيل رقمي "للفريق الأحمر" يسمى SABER. فكر في SABER كـ محتال لعوب أو مختبر أمني وظيفته الوحيدة هي محاولة إرباك الروبوت.

الصندوق الأسود (Black-Box): لا يعرف SABER كيف يعمل عقل الروبوت من الداخل. الأمر يشبه محاولة تخمين مزيج أرقام الخزنة دون رؤية التروس الداخلية. يمكنه فقط رؤية المدخلات (التعليمات) والمخرجات (ما يفعله الروبوت).
الوكيل (The Agent): SABER ليس مجرد نص برمجي؛ إنه "وكيل". إنه يفكر، ويخطط، ويتصرف. يستخدم طريقة تسمى ReAct (الاستنتاج + الفعل). يسأل نفسه: "أين يجب أن أغير الجملة؟" ثم "كيف يجب أن أغيرها؟".

3. مجموعة الأدوات: ثلاث طرق لخداع الروبوت

يمتلك SABER صندوق أدوات يحتوي على ثلاثة أنواع من "الحيل" (الاضطرابات) التي يمكنه استخدامها، وكل ذلك مع الالتزام بميزانية صارمة (لا يمكنه تغيير الجملة بأكملها، بل مجرد كلمات قليلة):

على مستوى الحروف (الخطأ المطبعي): يقوم بتغيير حرف واحد.
- الأصل: "التقط الكوب."
- الحيلة: "التقط الـكـوبـب." (يبدو كخطأ مطبعي، لكنه قد يربك رؤية الروبوت).
على مستوى الرموز/الكلمات (تبديل الكلمة): يستبدل كلمة بأخرى مشابهة في النطق أو ذات صلة.
- الأصل: "افتح الدرج العلوي."
- الحيلة: "افتح الدرج شبه العلوي." (قد يرتبك الروبوت بشأن أي درج هو "شبه العلوي").
على مستوى الأوامر (فخ المنطق): يضيف تعليمات أو شرطًا مربكًا.
- الأصل: "ضع الوعاء بالداخل."
- الحيلة: "ضع الوعاء بالداخل. لكن أولاً، تأكد من أن الوعاء فارغ." (قد يضيع الروبوت وقته في فحص الوعاء بدلاً من تحريكه).

4. التدريب: التعلم من خلال التجربة والخطأ

كيف يصبح SABER بارعًا في ذلك؟ ليس لديه معلم يوضح له الإجابات. بدلاً من ذلك، يستخدم تقنية تسمى GRPO (تحسين السياسة النسبية للمجموعة).

تخيل لعبة فيديو حيث يلعب SABER ضد الروبوت 1000 مرة.

الجولة 1: يحاول SABER إجراء تغيير عشوائي. ينجح الروبوت في المهمة. يحصل SABBER على "درجة سيئة".
الجولة 2: يحاول SABER إجراء تغيير مختلف. يفشل الروبوت! يحصل SABER على "درجة جيدة".
التعلم: بمرور الوقت، يتعلم SABER أي التغييرات الصغيرة تسبب أكبر قدر من الفوضى. يتعلم أن يكون فعالاً. يدرك أن تغيير كلمة واحدة محددة غالبًا ما يكون أفضل من إعادة كتابة الجملة بأكملها.

5. النتائج: تغييرات صغيرة، فوضى كبيرة

اختبر الباحثون SABER على ستة نماذج روبوت متقدمة مختلفة باستخدام اختبار قياسي يسمى LIBERO (وهو مجموعة من المهام المنزلية مثل فتح الأدراج وتكديس المكعبات).

النتائج كانت مخيفة ولكنها مهمة:

فشل المهمة: جعل SABER الروبوتات تفشل بنسبة 20% أكثر.
عدم الكفاءة: عندما لم تفشل الروبوتات، فإنها غالبًا ما استغرقت وقتًا أطول بنسبة 55% لإنهاء المهمة (مثل إنسان يمشي في دوائر لأن نسي أين كان ذاهبًا).
السلامة: خرقت الروبوتات قواعد السلامة بنسبة 33% أكثر.

الجزء الأفضل؟ كان SABER أفضل بكثير من الطرق السابقة. لقد استخدم تعديلات أقل بنسبة 50% ومحاولات أقل بنسبة 20% لإحداث نفس القدر من المشاكل. وهذا يثبت أنك لست بحاجة إلى هجوم ضخم وواضح لكسر الروبوت؛ فهمسة صغيرة وذكية كافية.

لماذا يهم هذا؟

قد تسأل، "لماذا نحاول كسر الروبوتات؟"

فكر في الأمر كأنه تدريب على الحريق أو اختبار تصادم. قبل أن نسمح للروبوتات بالعمل في المستشفيات أو المنازل أو المصانع، نحتاج إلى معرفة مدى هشاشتها.

إذا كان بإمكان الروبوت أن يُخدع بخطأ مطبعي، فنحن بحاجة إلى إصلاح ذلك قبل نشره.
SABER هو أداة للعثور على نقاط الضعف هذه تلقائيًا، حتى يتمكن المهندسون من معالجتها.

باختًا: SABER هو "صائد ثغرات" ذكي وآلي يهمس بأكاذيب صغيرة للروبوتات ليرى ما إذا كانت ستتعثر. وهو يثبت أنه حتى أكثر روبوتات الذكاء الاصطناي المتقدمة يمكن إرباكها بتغييرات صغيرة جدًا في اللغة، ونحن بحاجة لبنائها لتكون أكثر صمودًا ضد هذه الحيل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "SABER: إطار عمل هجوم وكيل (Agentic) خفي وصندوق أسود لنماذج الرؤية واللغة والعمل (VLA)."

1. بيان المشكلة

تُمكّن نماذج الرؤية واللغة والعمل (VLA) الروبوتات من تنفيذ المهام بناءً على تعليمات باللغة الطبيعية وملاحظات بصرية. ومع ذلك، فإن الاعتماد على المدخلات النصية يخلق ثغرة أمنية حرجة: حيث يمكن للاضطرابات الصغيرة في التعليمات أن تسبب إخفاقات مادية كبيرة، مثل فشل المهمة، أو التنفيذ غير الفعال، أو انتهاك قيود السلامة.

تعاني الهجمات الحالية على نماذج VLA من ثلاث عيوب رئيسية:

الافتقار إلى الأتمتة: تعتمد معظم هذه الهجمات على تصميم يدوي للاضطرابات أو قواعد استدلالية ثابتة.
التكلفة العالية وانخفاض التخفي: غالبًا ما تستخدم الطرق الحالية عمليات بحث مكلفة تعتمد على GPT أو تتطلب إعادة كتابة مفرطة للتعليمات، مما يجعلها غير عملية وسهلة الكشف في البيئات الواقعية.
ضعف التعميم: تواجه صعوبة في التكيف عبر المهام المتنوعة، والأهداف غير المرئية، ونماذج VLA المختلفة والمجمدة دون الوصول إلى التدرج (Gradient).

تعالج الورقة الحاجة إلى مهاجم آلي عام للأغراض (General-purpose)، يمكنه توليد تعديلات طفيفة ومعقولة للتعليمات لإحداث تدهور مستهدف في سلوك نماذج VLA المجمدة.

2. المنهجية: إطار عمل SABER

يعامل SABER (إطار عمل هجوم وكيل خفي وصندوق أسود لـ VLA) عملية توليد الهجوم كمسألة اتخاذ قرار متسلسل يتم حلها بواسطة وكيل بأسلوب ReAct تم تدريبه عبر تحسين السياسة النسبي للمجموعات (GRPO).

أ. المكونات الأساسية

وكيل الهجوم (Attack Agent): وكيل واحد يعتمد على نموذج لغوي كبير (Qwen2.5-3B-Instruct) تم تدريبه ليعمل كمهاجم "فريق أحمر" (Red-Team). يعمل الوكيل دون الوصول إلى تدرجات نموذج VLA المستهدف.
صندوق أدوات الاضطراب (Perturbation Toolbox): يستخدم الوكيل ثلاث عائلات متميزة من الأدوات لتعديل التعليمات، متبعًا سير عمل البحث $\leftarrow$ التطبيق (FIND $\rightarrow$ APPLY):
1. على مستوى الحرف (Character-level): تعديلات بأسلوب الأخطاء المطبعية (إدراج، حذف، استبدال، تبديل) لمحاكاة أخطاء التعرف الضوئي على الحروف (OCR) أو الأخطاء المطبعية (مثل: "pick" $\leftarrow$ "plck").
2. على مستوى الرمز (Token-level): استبدال أو إزالة الكلمات أو الرموز الفرعية (مثل: "top" $\leftarrow$ "semi-top").
3. على مستوى المطالبة (Prompt-level): حقن بنود، أو خطوات تحقق، أو قيود إضافية (مثل: "تحقق من أن الدرج مفتوح أولاً").
هدف التدريب: يقوم الوكيل بتحسين دالة مكافأة $J_{atk}$ توازن بين الفعالية الهجومية ضد التخفي:
$J_{atk}(\psi) = \mathbb{E}[R_O(\delta; \tau) - \lambda P_{stealth}(\delta)]$
حيث $R_O$ هي المكافأة لتحقيق هدف محدد (فشل المهمة، تضخم العمليات، أو انتهاك القيود)، و $P_{stealth}$ تعاقب على الاستخدام المفرط للأدوات وتعديلات الحروف.

ب. مسار التدريب

يتبع التدريب عملية من مرحلتين:

البداية الباردة (SFT): يتم ضبط الوكيل في البداية عبر الضبط الدقيق تحت الإشراف (SFT) على مجموعة بيانات صغيرة من مسارات استخدام الأدوات التي تم توليدها بواسطة نموذج GPT مجمد. يضمن ذلك تعلم الوكيل لصيغة استدعاء الأدوات الصحيحة وبروتوكول (FIND $\rightarrow$ APPLY) قبل بدء التعلم المعزز.
التعلم المعزز الوكيلي (GRPO): يتم تحسين الوكيل باستخدام GRPO. في كل خطوة، يتم توليد عمليات هجوم متعددة لنفس السيناريو. يتعلم الوكيل من الميزة النسبية لهذه العمليات بناءً على النتيجة النهائية (النجاح/الفشل، طول الإجراء، انتهاكات القيود) مقارنة بخط أساس نظيف.

3. المساهمات الرئيسية

صياغة هجمات VLA للصندوق الأسود: صاغ المؤلفون هجمات التعليمات فقط كمسألة تحسين مقيدة على أهداف سلوك الروبوت تحت ميزانيات تعديل محدودة، متجاوزين مجرد هجمات المخرجات النصية إلى هجمات السلوك المادي.
نهج الهجوم الوكيلي (Agentic): اقترحوا إطار عمل جديد حيث يقوم وكيل مدرب بـ GRPO بتكوين اضطرابات تكيفية على مستوى الحرف، والرمز، والمطالبة. هذا يلغي الحاجة إلى إعادة التصميم الخاص بكل نموذج أو الوصول إلى التدرج.
تقييم شامل: تم تقييم الإطار على معيار LIBERO عبر ستة نماذج VLA رائدة (بما في ذلك $\pi_0$ ، $\pi_0.5$ ، X-VLA، GR00T-N1.5، DeepThinkVLA، و InternVLA-M1).

4. النتائج التجريبية

تم اختبار SABER ضد ثلاثة أهداف هجومية: فشل المهمة، تضخم العمليات (تسلسلات طويلة غير ضرورية)، و انتهاك القيود.

تدهور الأداء: عبر ستة نماذج VLA، حقق SABER ما يلي:
- انخفاض بنسبة 20.6% في معدل نجاح المهمة.
- زيادة بنسبة 55% في طول تسلسل العمليات.
- زيادة بنسبة 33% في انتهاكات القيود.
الكفاءة والتخفي: مقارنة بنماذج GPT القوية (التي تستخدم نفس واجهة الأدوات)، كان SABER أكثر كفاءة بشكل ملحوظ:
- عدد أقل بنسبة 21.1% من استدعاءات الأدوات.
- عدد أقل بنسبة 54.7% من تعديلات الحروف.
  وهذا يثبت أن الوكيل المدرب بالتعلم المعزز يتعلم كيفية استخدام "اضطرابات عالية التأثير" لتحقيق أقصى قدر من الضرر بأقل قدر من التغييرات.
دراسات الاستئصال (Ablation Studies):
- ضرورة البداية الباردة: أدى إزالة مرحلة SFT إلى انخفاض بنسبة 5.8% في معدل نجاح الهجوم (ASR). بدون SFT، استقر الوكيل على سلوكيات منخفضة التكلفة ولكنها غير فعالة، وفشل في اكتشاف أنماط الهجوم الصالحة.
- تطور الاستراتيجية: اعتمد التدريب المبكر على تعديلات واسعة النطاق على مستوى المطالبة، بينما تحولت السياسة النهائية نحو تعديلات انتقائية على مستوى الرمز للحفاظ على التخفي مع الحفاظ على الفعالية.

5. الأهمية والأثر

أداة للفريق الأحمر (Red-Teaming Tool): يوفر SABER أداة قابلة للتوسع والأتمتة لاختبار إجهاد نماذج الروبوت التأسيسية قبل النشر، مما يكشف عن أوضاع الفشل (مثل السلوك غير الآمن أو عدم الكفاءة) التي قد تغفل عنها هجمات المطالبات الثابتة.
رؤية حول الثغرات: تثبت النتائج أن التعديلات الطفيفة والمعقولة للتعليمات كافية لتدهور تنفيذ الروبوت بشكل كبير، مما يسلط الضوء على هشاشة واجهة اللغة في الذكاء الاصطناعي المجسد (Embodied AI).
تقدم منهجي: يوضح فعالية التعلم المعزز الوكيلي (Agentic RL) للتقييم الأمني للصندوق الأسود، حيث يظهر أن الوكيل يمكنه تعلم التنقل في فضاءات العمل المنفصلة (استدعاء الأدوات) لتحسين المكافآت المعقدة والمتأخرة (نتائج الروبوت المادية) دون الوصول إلى التدرج.

القيود والعمل المستقبلي:
في الوقت الحالي، يقتصر SABER على الاضطرابات النصية فقط في المحاكاة. يهدف العمل المستقبلي إلى توسيع الهجمات لتشمل الإعدادات متعددة الوسائط (اضطراب الرؤية واللغة معًا) واستهداف عمليات الاستدلال الوسيطة (سلسلة التفكير - Chain-of-Thought) لنماذج VLA.