💻 computer science

SafeClaw-R: Towards Safe and Secure Multi-Agent Personal Assistants

تقدم هذه الورقة SafeClaw-R، وهو إطار عمل يضمن سلامة وأمن المساعدين الشخصيين القائمين على النماذج اللغوية الكبيرة (LLM) متعددة الوكلاء من خلال التوسط في الإجراءات قبل تنفيذها وتعزيز المهارات بشكل منهجي، مما يحقق دقة عالية في اكتشاف ومنع المخاطر عبر بيئات الإنتاجية، والجهات الخارجية، وتنفيذ الأكواد.

المؤلفون الأصليون: Haoyu Wang, Zibo Xiao, Yedi Zhang, Christopher M. Poskitt, Jun Sun

نُشر 2026-04-01

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Haoyu Wang, Zibo Xiao, Yedi Zhang, Christopher M. Poskitt, Jun Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك وظفت فريقًا من المساعدين الرقميين الأذكياء للغاية والسريعين جدًا لإدارة حياتك. يمكنهم التحقق من بريدك الإلكتروني، وإدارة تقويمك، وكتابة الأكواد، وحتى طلب البقالة. إنهم يعملون معًا مثل آلة متناغمة، حيث يقسمون المهام الكبيرة إلى خطوات صغيرة. هذا هو بالضبط ما تشبهه الأنظمة متعددة الوكلاء (Multi-Agent Systems - MAS).

لكن هناك عقبة: هؤلاء المساعدون مدعومون بذكاء اصطناعي قد "يهلوس" أحيانًا (يختلق أشياء من خياله) أو يصاب بالارتباك. إذا أساء أحد المساعدين فهم أمر ما، فقد يحذف بالخطأ سجل بريدك الإلكتروني بالكامل، أو يسرب كلمات المرور الخاصة بك، أو يرسل فيروسًا إلى مديرك.

ورقة البحث "SafeClaw-R" تدور حول بناء شبكة أمان لهؤلاء المساعدين الرقميين ليكونوا مفيدين دون أن يكونوا خطرين.

المشكلة: "القطار الجامح"

نظر المؤلفون في نظام شهير يسمى OpenClaw. ووجدوا أن حوالي 36% من الأدوات التي يستخدمها هذا النظام هي بمثبة "مسدسات محشوة" موضوعة على الطاولة.

الخطر: إذا ارتبك الذكاء الاصطناعي بسبب بريد إلكتروني مخادع (هجوم "حقن الأوامر" أو Prompt Injection) أو مجرد خطأ منطقي، فقد يعتقد: "أوه، المستخدم قال 'نظف'، لذا سأحذف كل شيء!"
مثال من الواقع: تذكر الورقة حادثة مخيفة حيث بدأ ذكاء اصطناعي في حذف صندوق وارد المستخدم بالكامل. حاول المستخدم إيقافه عبر هاتفه، لكن الذكاء الاصطناعي كان يتحرك بسرعة كبيرة. اضطر المستخدم للركض فعليًا إلى حاسوبه وفصل القابس لإيقاف عملية التدمير.

كانت تدابير السلامة الحالية تشبه تشريح الجثث بعد الوفاة (التحقق مما حدث بشكل خاطئ بعد وقوع الحادث) أو القواعد الثابتة (مثل لوحة "ممنوع الدخول" التي يمكن للذكاء الاصطناعي تجاهلها بسهولة إذا ارتبك). لم تكن سريعة أو ذكية بما يكفي لإيقاف الذكاء الاصطناعي أثناء قيامه بالضرر.

الحل: SafeClaw-R (الـ "حارس" و"المترجم")

يعمل SafeClaw-R كإطار عمل جديد يعمل مثل حارس ملهى ليلي (Bouncer) ومفتش سلامة في آن واحد. إنه يغير طريقة عمل النظام بطريقتين رئيسيتين:

1. قاعدة "التحقق المزدوج" (ثابت الرسم البياني - Graph Invariant)

تخيل خط تجميع في مصنع. في النظام القديم، يمكن لذراع روبوت (الذكاء الاصطناعي) أن تمسك بقطعة وتلحمها فورًا.
في SafeClaw-R، في كل مرة يريد فيها ذراع الروبوت القيام بشيء ما، يجب أن يتوقف عند نقطة تفتيش أولاً.

نقطة التفتيش: يقف هناك "وكيل سلامة" خاص. قبل أن يرسل الذكاء الاصطناعي الرئيسي بريدًا إلكترونيًا، أو يحذف ملفًا، أو يشغل كودًا، يسأل وكيل السلامة: "انتظر، هل هذا آمن؟ هل هذا ما يريده المستخدم حقًا؟ هل يبدو هذا كخدعة؟"
النتيجة: لا يمكن للذكاء الاصطناعي القيام بأي عمل خطير ما لم يعطه وكيل السلامة الضوء الأخضر. يحدث هذا قبل وقوع الإجراء، وليس بعده.

2. مصنع "المهارات الآمنة"

أدرك المؤلفون أنه بدلاً من محاولة كتابة قاعدة سلامة جديدة لكل خطأ محتمل، يمكنهم بناء مصنع ينتج "نسخًا آمنة" من كل أداة.

التشبيه: تخيل أن لديك منشارًا كهربائيًا خطيرًا. بدلًا من مجرد قول "كن حذرًا" للعامل، أنت تستبدل المنشار بـ منشار سلامة يحتوي على واقي ومفتاح إيقاف مدمج.
كيف يعمل: يقوم النظام تلقائيًا بأخذ أداة خطيرة (مثل "حذف جميع رسائل البريد الإلكتروني") وينتج "نسخة آمنة" منها (مثل "حذف رسائل البريد الإلكتروني، ولكن اطلب التأكيد إذا كان العدد أكثر من 50"). يقوم النظام باختبار هذه النسخ الآمنة آلاف المرات للتأكد من أنها تعمل بشكل مثالي قبل السماح لها بالاقتراب من المستخدم.

ما مدى كفاءة ذلك؟

اختبر الباحثون SafeClaw-R في ثلاثة سيناريوهات صعبة:

Google Workspace (الرسائل والمستندات):
- الاختبار: حاولوا خداع الذكاء الاصطناعي لحذف ملفات أو تسريب بيانات باستخدام لغة مربكة.
- النتيجة: رصد SafeClaw-R 95.2% من المحاولات السيئة. الطريقة القديمة (البحث عن كلمات مفتاحية محددة فقط) لم ترصد سوى 61.6%. لقد كان أفضل بكثير في فهم النية، وليس فقط الكلمات المفتاحية.
مهارات الطرف الثالث (متجر التطبيقات):
- الاختبار: نظروا في "المهارات" (التطبيقات) التي يتم تحميلها من الإنترنت، والتي كانت بعضها خبيثًا بشكل سري (مثل تطبيق حاسبة يسرق كلمات المرور الخاصة بك).
- النتيجة: اكتشف 97.8% من التطبيقات الخبيثة، حتى عندما كان الكود السيئ مخفيًا داخل تعليمات تبدو طبيعية.
تنفيذ الكود (ملعب الهكرز):
- الاختبار: قاموا بتغذية النظام بكود مصمم لاختراق أجهزة الكمبيوتر، ولكن تم تمويهه بتعليقات وتنسيقات تبدو غير ضارة.
- النتيجة: حقق دقة بنسبة 100%. لقد رأى من خلال التمويه وحظر الهجوم في كل مرة.

توازن "سهولة الاستخدام"

هناك قلق كبير من أن تكون أنظمة السلامة صارمة للغاية، مما قد يعيق الأشياء الجيدة (مثل محاولة مستخدم إرسة نشرة إخبارية مشروعة).

الخبر الجيد: كان SafeClaw-R جيدًا جدًا في هذا الأمر. لقد منع الإجراءات الآمنة في حوالي 3.4% من الحالات فقط (نسبة "الخطأ الإيجابي").
الاستراتيجية: إذا لم يكن النظام متأكدًا بنسبة 100%، فإنه لا يكتفي بحظر الإجراء فحسب؛ بل يتوقف ويسأل الإنسان: "مهلاً، لست متأكدًا بشأن هذا. هل تريد حقًا القيام بهذا؟" وهذا يبقي المستخدم في الحلقة دون إيقاف كل شيء.

الصورة الكبيرة

SafeClaw-R يشبه ترقية منزلك من مجرد وجود لوحة "ممنوع التسلل" إلى امتلاك نظام أمني ذكي مزود بكاشفات حركة، وكاميرات، وحارس يتحقق من هوية كل زائر قبل دخوله المنزل.

إنه ينقل السلامة من كونها شيئًا تفاعليًا (إصلاح الفوضى بعد حدوثها) إلى شيء استباقي (منع الفوضى قبل أن تبدأ). ومن خلال جعل السلامة جزءًا مدمجًا في هيكل النظام، فإنه يسمح لنا باستخدام مساعدي الذكاء الاصطناعي الأقوياء والمستقلين دون خوف من أن يحرقوا المنزل بالخطأ.

إليك ملخص تقني مفصل لورقة البحث "SafeClaw-R: نحو مساعدين شخصيين متعددين الوكلاء آمنين ومؤمنين."

1. بيان المشكلة

أدى صعود الأنظمة متعددة الوكلاء (MASs) القائمة على النماذج اللغوية الكبيرة (LLMs)، مثل OpenClaw، إلى تمكين التنفيذ المستقل للمهام الشخصية المعقدة وعابرة المنصات. ومع ذلك، فإن هذه الاستقلالية تفرض مخاطر حرجة تتعلق بالسلامة والأمن:

الضرر غير المقصود: يمكن أن تؤدي إخفاقات الاستنتاج في النماذج اللغوية الكبيرة (مثل الهلوسة أو الأخطاء المنطقية) إلى إجراءات لا يمكن التراجع عنها، مثل حذف رسائل البريد الإلكتروني الجماعية أو استخراج بيانات الاعتماد.
الهجمات العدائية: يمكن لـ "حقن الأوامر" (Prompt injection) و"تسميم المهارات" (دمج كود خبيث داخل مهارات تبدو حميدة من طرف ثالث) أن يهدد سلامة النظام.
قصور الدفاعات الحالية:
- الحواجز الواقية الثابتة (Static Guardrails): تفتقر القواعد المبرمجة مسبقًا إلى القدرة على التكيف مع المدخلات المتطورة للغة الطبيعية وسير العمل المعقد.
  * التقييم بواسطة النموذج اللغوي (LLM-as-a-Judge): يعمل عادةً كمقيم "بعد الواقعة" (post-mortem)، حيث يقيم المخرجات بعد التنفيذ، مما يفشل في منع الضرر في الوقت الفعلي.
- الفجوة على مستوى النظام: غالبًا ما تتعامل النهج الحالية مع الوكلاء بشكل منعزل، وتفشل في معالجة كيفية قيام تكوين عدة وكلاء بتضخيم المخاطر (على سبيل المثال، قيام وكيل التلخيص بالحفاظ على تعليمات خبيثة لوكيل التنفيذ).

النتيجة الرئيسية: كشف تحليل لـ 55 مهارة مدمجة في OpenClaw أن 36.4% منها تشكل مخاطر عالية أو حرجة، ويرجع ذلك أساسًا إلى كشف بيانات الاعتماد والعمليات التي لا يمكن التراجع عنها للبيانات.

2. المنهجية: إطار عمل SafeClaw-R

SafeClaw-R هو إطار عمل مصمم لفرض السلامة كـ ثابت على مستوى النظام (system-level invariant) فوق مخطط التنفيذ لنظام متعدد الوكلاء. وهو ينقل فرض السلامة من الكشف اللاحق إلى الوساطة قبل التنفيذ.

التصميم المعماري الأساسي

ثابت مخطط التنفيذ (Execution Graph Invariant): يقوم SafeClaw-R بنمذجة النظام متعدد الوكلاء كمخطط $G = (N, E)$ . وهو يفرض قاعدة هيكلية: يجب أن يسبق كل عقدة وكيل وظيفية ( $n_f$ ) عقدة وكيل إنفاذ مقابلة ( $n_e$ ).
آلية الوساطة: قبل أن يقوم الوكيل الوظيفي بتنفيذ إجراء ما، يقوم عقدة الإنفاذ بتقييم السياق، والمدخلات، والمخرجات المستهدفة. وهي تقرر ما إذا كان سيتم: السماح (Allow)، أو الحظر (Block)، أو التأجيل (Defer) (طلب تأكيد المستخدم)، أو التكييف (Adapt) (تعديل المخرجات/الحالة).
نموذج التجريد: يتم تعريف عقد الإنفاذ باستخدام ثلاثية موحدة:
1. المُحفز (Trigger): شروط التنشيط (مثل "المخرجات تحتوي على معلومات تحديد الهوية الشخصية PII").
2. المهمة (Task): المنطق الخاص بتقييم المخاطر واتخاذ القرار (مثل "الحظر إذا تم اكتشاف PII").
3. الموارد (Resources): القدرات التشغيلية لفرض القرار (مثل stop ، user_confirm ، log_event ، quarantine).

التوليد الآلي للمهارات الآمنة (مصنع المهارات الآمنة - Safe Skill Factory)

لتوسيع نطاق السلامة عبر المهارات المتنوعة، يقدم SafeClaw-R مسارًا مؤتمتًا لتوليد "نظراء آمنين" للمهارات الموجودة:

نمذجة التهديدات: تحديد المخاطر في المهارة الأصلية.
كتابة المواصفات: إنشاء ملف SKILL.md يحدد قواعد السلامة.
توليد حالات الاختبار: توليد حالات اختبار متنوعة تلقائيًا (هجمات مباشرة، متغيرات اللغة الطبيعية، وحالات حافة عدائية).
تقييم المعيار المرجعي: اختبار المهارة الآمنة مقابل الحالات المولدة.
تحليل السبب الجذري: تحليل النتائج الإيجابية الكاذبة (FP) والنتائج السلبية الكاذبة (FN).
التحسين التكراري: تحديث المواصفات حتى الوصول إلى حالة التقارب.

SafeSkillHub: مستودع مدفوع من المجتمع لمشاركة وتحسين مواصفات السلامة هذه.

3. المساهمات الرئيسية

نموذج فرض التشغيل (Runtime Enforcement Paradigm): صياغة السلامة في الأنظمة متعددة الوكلاء كمسألة فرض وقت التشغيل، مما يضمن تطبيق السياسات أثناء التنفيذ بدلاً من الاعتماد على الكشف اللاحق.
إطار عمل SafeClaw-R: نظام متعدد الوكلاء يدمج وكلاء الإنفاذ كمكونات أساسية، مما يفرض ثابتًا هيكليًا حيث تسبق فحوصات السلامة جميع الإجراءات الوظيفية.
مصنع المهارات الآمنة وHub: مسار مؤتمت مكون من ست مراحل لتخليق نظراء مهارات آمنة ونظام بيئي مجتمعي (SafeSkillHub) لمشاركة مواصفات السلامة.
تقييم شامل: تم التحقق من صحته عبر ثلاثة مجالات حرجة: عمليات Google Workspace، وأنظمة المهارات من طرف ثالث، وتنفيذ الكود الأصلي.

4. النتائج التجريبية

تم تقييم إطار العمل مقابل خطوط الأساس (مثل Regex) والمعايير المرجعية الخبيثة:

المجال	المقياس	النتيجة	المقارنة/خط الأساس
Google Workspace	الدقة	95.2%	يتفوق بشكل كبير على Regex (61.6%).
	معدل الإيجابيات الكاذبة	3.4%	احتكاك منخفض للمهام المشروعة.
مهارات الطرف الثالث	اكتشاف الخبث	97.8%	اكتشف 97.8% من الأنماط الخبيثة في مجموعة مهارات مجتمعية.
تنفيذ الكود	دقة الاكتشاف	100%	حقق دقة بنسبة 100% في 2,020 حالة اختبار (بما في ذلك الطفرات الدلالية).
	الإيجابيات الكاذبة	0%	لم يتم حظر أي كود سليم عن طريق الخطأ.

المتانة: حافظ SafeClaw-R على دقة عالية حتى ضد طفرات الكود التي تحافظ على المعنى (semantic-preserving mutations) وهجمات الهندسة الاجتماعية التي تجاوزت أنماط regex.
سهولة الاستخدام: نجح النظام في تحقيق التوازن بين السلامة وسهولة الاستخدام، رغم أنه أظهر ميلًا متحفظًا إلى "التأجيل" (Defer) في الحالات غير المؤكدة لمراجعة البشر بدلاً من الحظر المباشر.

5. الأهمية والأثر

السلامة على مستوى النظام: يتجاوز السلامة للوكيل الواحد لمعالجة المخاطر المركبة للتعاون بين الوكلاء المتعددين، مما يضمن أن تكوين الوكلاء لا ينتهك سياسات السلامة.
الوقاية الاستباقية: من خلال الوساطة في الإجراءات قبل التنفيذ، يمنع SafeClaw-R الأضرار التي لا يمكن التراجع عنها (مثل حذف البيانات) والتي لا تستطيع الأدوات اللاحقة معالجتها.
القابلية للتوسع: يعالج "مصنع المهارات الآمنة" تحدي التوسع في تدقيق آلاف المهارات المحتملة يدويًا، مما يتيح نهجًا مدفوعًا بالمجتمع (SafeSkillHub).
النشر العملي: يثبت إطار العمل أن فرض السلامة عالي الدقة أمر ممكن في سيناريوهات المساعد الشخصي في العالم الحقيقي دون التضحية بفائدة الوكلاء المستقلين.

في الختام، يضع SafeClaw-R معيارًا جديدًا للأنظمة متعددة الوكلاء الآمنة من خلال التعامل مع السلامة كثابت هيكلي قابل للإنفاذ وليس كمجرد إضافة اختيارية، مما يخفف بفعالية من المخاطر الناجمة عن كل من إخفاقات الاستنتاج في النماذج اللغوية الكبيرة والهجمات العدائية.