🤖 machine learning

MaMa: A Game-Theoretic Approach for Designing Safe Agentic Systems

تقدم هذه الورقة MaMa، وهو خوارزمية قائمة على نظرية الألعاب تستفيد من البحث التنافسي القائم على النماذج اللغوية الكبيرة لتصميم أنظمة متعددة الوكلاء تلقائياً تحافظ على سلامة قوية ضد أسوأ حالات اختراق الوكلاء مع الحفاظ على أداء المهام.

المؤلفون الأصليون: Jonathan Nöther, Adish Singla, Goran Radanovic

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jonathan Nöther, Adish Singla, Goran Radanovic

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتوظيف فريق من الروبوتات الخبيرة لمساعدتك في إدارة عمل تجاري معقد، مثل التخطيط لرحلة، أو كتابة أخبار مالية، أو برمجة لعبة فيديو جديدة. هذه الروبوتات (التي تُسمى "الوكلاء" أو Agents) تتحدث مع بعضها البعض، وتستخدم أدوات مثل متصفحات الويب وأنظمة الملفات، وتعمل معاً لإنجاز المهمة.

المشكلة هي: ماذا لو تعرض أحد هذه الروبوتات للاختراق، أو أصبح مارقاً، أو ارتكب ببساطة خطأً فادحاً؟ في الماضي، إذا جُن جنون أحد الروبوتات، كان بإمكانه سحب الفريق بأكمله معه إلى الأسفل، مما يتسبب في خسائر مالية أو تصرفات خطيرة.

يقدم هذا البحث طريقة جديدة لبناء فرق الروبوتات هذه لتكون غير قابلة للكسر، حتى لو انقلب بعض أعضائها ضد الفريق. يطلق المؤلفون على طريقتهم اسم MaMa (الخصم الميتا - الوكيل الميتا / Meta-Adversary–Meta-Agent).

إليك كيف تعمل، باستخدام تشبيه بسيط:

اللعبة: المهندس المعماري مقابل المخرب

يعامل المؤلفون تصميم فريق روبوتات آمن كأنه لعبة عالية المخاطر بين لاعبين:

المهندس المعماري (الوكيل الميتا - Meta-Agent): هو المصمم. مهمته هي بناء فريق الروبوتات. هو من يقرر من هم الروبوتات، وما هي الأدوات التي يمتلكونها، وكيف يتحدثون مع بعضهم البعض. هدفه هو جعل الفريق سريعاً، وذكياً، وجيداً في أداء المهمة.
المخرب (الخصم الميتا - Meta-Adversary): هذا هو الذكاء الاصطناعي "الشرير". مهمته هي محاولة كسر فريق المهندس المعماري. يُسمح له بـ "اختراق" عدد قليل من الروبوتات (في البحث، يقومون عادةً باختراق روبوت واحد فقط) وإجبارهم على القيام بأفعال خطيرة، مثل حذف الملفات، أو إرسال رسائل مزعجة (Spam)، أو حجز رحلات طيران إلى مناطق حروب.

معسكر التدريب: "الفريق الأحمر" (Red Teaming)

بدلاً من مجرد بناء فريق وتمني أن يعمل، تقوم MaMa بدورة تدريب مستمرة:

المهندس المعماري يبني فريقاً.
المخرب يهاجمه. يحاول المخرب استخدام كل حيلة ممكنة لجعل الفريق يفشل. إذا نجح المخرب، فإنه يسجل بالضبط كيف فعل ذلك.
المهندس المعماري يتعلم. ينظر المهندس المعماري إلى هجمات المخرب الناجحة ويقول: "أوه، لقد فهمت! إذا أضفت 'روبوت سلامة' ليتحقق من رسائل 'روبوت التخطيط'، فلن يستطيع المخرب خداعهم بعد الآن".
المهندس المعماري يعيد البناء. ينشئ فريقاً جديداً وأكثر قوة مع هذه الدفاعات الجديدة.
التكرار. يحاول المخرب كسر الفريق الجديد. إذا وجد طريقة جديدة لكسره، يقوم المهندس المعماري بإصلاحها مرة أخرى.

يستمر هذا الذهاب والإياب حتى يصبح الفريق محمياً جيداً لدرجة أنه حتى أقوى مخرب لا يمكنه كسر الفريق دون تدمير قدرته على أداء مهمته الفعلية.

النتائج: أقوى وأذكى

اختبر البحث هذه الطريقة في ستة سيناريوهات مختلفة، من التخطيط للسفر إلى كتابة الأكواد البرمجية. وهذا ما وجدوه:

السلامة أولاً: كانت الفرق التي صممتها MaMa أكثر أماناً بشكل ملحوظ من الفرق التي صممها البشر أو الفرق المصممة لتكون سريعة فقط. عندما حاول المخرب اختراقها، صمدت فرق MaMa في وجهه.
لا فقدان للسرعة: عادةً، عندما تضيف ضوابط السلامة، تصبح الأشياء أبطأ أو أقل كفاءة. لكن MaMa تمكنت من الحفاظ على عمل الفرق بنفس الكفاءة (أو أحياناً بشكل أفضل) من النسخ غير الآمنة.
التعميم: الجزء الرائع هو أن هذه الفرق لم تتعلم فقط إيقاف نوع واحد محدد من الهجمات. نظرًا لأنها تدربت ضد "مخرب ذكي" يغير تكتيكاته باستمرار، فقد تعلمت الفرق أن تكون قوية ضد أي نوع من الهجمات، حتى تلك التي لم ترها من قبل.

تشبيه "شبكة الأمان"

فكر في فريق الروبوتات العادي كأنه مجموعة من الأصدقاء يحاولون بناء قلعة رملية. إذا غضب أحد الأصدقاء وبدأ في ركل القلعة، فسيتم تدمير الأمر برمته.

MaMa تشبه توظيف حارس أمن يراقب الأصدقاء.

إذا حاول أحد الأصدقاء ركل القلعة، فإن الحارس يوقفه.
لكن الحارس لا يقف هناك فحسب؛ بل يتعلم من كل محاولة ركل للقلعة.
في النهاية، يعرف الحارس تماماً كيف يوقف أي نوع من أنواع الركل، ويمكن للأصدقاء بناء قلعتهم الرملية بشكل مثالي، حتى لو كان أحدهم يحاول التخريب.

لماذا يهم هذا الأمر؟

يجادل البحث بأنه بينما نترك وكلاء الذكاء الاصطناه لدينا يقومون بمزيد من المهام الواقعية (مثل إدارة الأموال أو التحكم في البرمجيات)، لا يمكننا فقط أن نأمل في أن يتصرفوا بشكل جيد. نحن بحاجة إلى تصميمهم بطريقة تجعلهم آمنين من حيث التصميم والتركيب. توفر MaMa مخططاً لبناء هذه الفرق "غير القابلة للكسر" تلقائياً، مما يضمن أنه حتى لو فشلت بعض الأجزاء أو أصبحت شريرة، يظل النظام بأكمله آمناً وفعالاً.

ملخص تقني: MaMa – نهج قائم على نظرية الألعاب لتصميم أنظمة وكيلة آمنة

بيان المشكلة

أظهرت الأنظمة متعددة الوكلاء القائمة على النماذج اللغوية الكبيرة (LLM) قدرات كبيرة في مجالات مثل توليد الكود، والتشخيص الطبي، والاكتشاف العلمي. ومع ذلك، تفرض هذه الأنظمة مخاطر سلامة جوهرية، لا سيما عندما تفشل الوكلاء الفرديون، أو يهلوسون، أو يتصرفون بشكل عدائي. وبينما استكشف العمل السابق السلامة للأنظمة المصممة يدويًا، فإن خطوط تصميم الأنظمة المؤتمتة تفتقر إلى حد كبير لآليات سلامة قوية. غالبًا ما تفترض نماذج التهديد الحالية وجود خصوم ضعفاء يمكنهم التأثير على الوكلاء بشكل غير مباشر فقط. وتجادل هذه الورقة بأن تصميم أنظمة قوية حقًا يتطلب الدفاع ضد خصم أقوى بوضوح: خصم يمكنه اختراق مجموعة فرعية من الوكلاء مباشرة عن طريق إعادة كتابة تعليماتهم وتنسيقهم نحو أهداف خبيثة. المشكلة الجوهرية هي التصميم المؤتمت للأنظمة الوكيلية التي تظل آمنة في ظل هذه الظروف العدائية الأسوأ، مع الحفاظ على أداء عالٍ للمهام.

المنهجية

يقترح المؤلفون MaMa (الخصم الميتا – الوكيل الميتا)، وهو إطار عمل مبتكر يصيغ تصميم الأنظمة الوكيلية الآمنة كـ لعبة أمن ستيكلبرج (Stackelberg Security Game). تتضمن هذه اللعبة لاعبين:

الوكيل الميتا (القائد - Leader): يلتزم بتصميم نظام وكيل، ويحدد الوكلاء، والأدوات، وهياكل الاتصال. هدفه هو تعظيم مجموع مرجح لجودة المهمة (في البيئات الحميدة) والسلامة (تحت الهجوم).
الخصم الميتا (التابع - Follower): يراقب النظام الذي اقترحه الوكيل الميتا ويستجيب عبر اختيار واختراق مجموعة فرعية $\epsilon$ من الوكلاء لتقليل سلامة النظام. إنه يبحث عن "الاستجابة الأفضل" للهجوم.

خوارزمية MaMa

تعمل MaMa بشكل تكراري، مستفيدة من البحث العدائي القائم على النماذج اللغوية الكبيرة:

التهيئة: تبدأ العملية بأرشيف من تصميمات الأنظمة الأولية (مثل الأنظمة ذات الضوابط الأساسية).
مرحلة الخصم الميتا: في كل تكرار، يقوم الخصم الميتا بتحليل النظام الحالي. يقوم بتوليد مجموعة من الهجمات عن طريق إعادة كتابة تعليمات $\epsilon$ من الوكلاء للقيام بأفعال خبيثة (مثل حذف الملفات، أو إرسال رسائل تصيد احتيالي). يتم التحقق من صحة هذه الهجمات، وتنفيذها، وتقييمها باستخدام دالة سلامة $s$ . يتم تخزين أقوى $k$ هجمات في أرشيف.
مرحلة الوكيل الميتا: يسترجع الوكيل الميتا النظام الحالي وأقوى $k$ هجمة من الأرشيف. يقوم بتحليل الثغرات التي كشفت عنها هذه الهجمات ويقترح تعديلات على تصميم النظام (مثل إضافة "وكيل سلامة"، أو تغيير بروتوكولات الاتصال، أو إدخال آليات التصويت) للتخفيف من التهديدات المحددة مع الحفاظ على جودة المهمة.
التقييم وتحديث الأرشيف: يتم تقييم النظام الجديد في كل من الإعدادات الحميدة والعدائية. يتم تسجيل النتائج (درجة الجودة $q$ ودرجة السلامة $s}$ )، ويتم إضافة النظام إلى الأرشيف.
الإنهاء: بعد عدد ثابت من الأجيال، يتم اختيار النظام صاحب أعلى درجة موزونة.

يتم هيكلة فضاء البحث كزوج مرتب $(A, T, G)$ ، حيث $A$ هي مجموعة الوكلاء، و $T$ هي مجموعة الأدوات، و $G$ هو رسم الاتصال البياني. هذا التعريف الهيكلي يسمح بتحديد واضح لكل من فضاء التصميم وفضاء الهجوم.

المساهمات الرئيسية

إطار العمل: تقدم الورقة أول إطار عمل للتصميم المؤتمت للأنظمة الوكيلية التي تضمن صراحةً السلامة تحت ظروف فشل الوكيل والاختراق العدائي. وهي تصيغ ذلك كـ لعبة أمن ستيكلبرج بين مصمم وخصم يستجيب بأفضل طريقة.
المنهجية: يقترح المؤلفون MaMa، وهي خوارزمية تعمل على تحسين الأنظمة للمهام والأداء والسلامة من خلال التدريب تحت أقوى هجمات الاستجابة العدائية المكتشفة عبر البحث القائم على النماذج اللغوية الكبيرة.
التقييم: تقدم الورقة أدلة تجريبية عبر ست بيئات متنوعة (تخطيط السفر، المساعد الشخصي، كتابة المقالات المالية، توليد الكود، وغيرها من اختبارات BAD-ACTS و AgentDojo).

النتائج التجريبية

تُظهر التقييمات أن MaMa تنتج أنظمة أكثر أمانًا بكثير من التصميمات الأولية وآليات السلامة السابقة (مثل وكلاء الحماية أو تقييد الوصول للأدوات بناءً على مبدأ الحد الأدنى من الصلاحيات) مع الحفاظ على جودة مهام مماثلة أو محسنة.

المتانة: الأنظمة المصممة باستخدام MaMa تدافع باستمرار ضد الهجمات في أسوأ الحالات. على سبيل المثال، في بيئة تخطيط السفر، انخفضت درجة السلامة للنظام الأولي من 4.89 (نظيف) إلى 1.66 (مهاجم) بدون MaMa، بينما حافظت الأنظمة المصممة بـ MaMa على درجات سلامة عالية حتى تحت الهجوم.
الحفاظ على الجودة: على عكس آليات السلامة التي غالبًا ما تضعف الأداء، حافظت الأنظمة المصممة بـ MaMa على فعالية عالية في المهام. وفي بعض البيئات، أدت عملية الدفاع التكرارية حتى إلى تحسين جودة المخرجات مقارنة بالأنظمة المحسنة للجودة فقط.
التعميم: أظهرت الأنظمة الناتلة سلامة قوية خارج إعداد التدريب:
- نماذج لغوية مختلفة: ظلت الأنظمة آمنة عند تغيير النماذج اللغوية الكبيرة الأساسية لكل من الوكلاء والخصم.
- خصوم أقوى: الأنظمة المصممة للصمود أمام وكيل واحد مخترق ( $\epsilon=1$ ) ظلت متينة حتى عندما سيطر الخصم على ثلاثة وكلاء.
- أنواع هجمات مختلفة: تعمت الأنظمة مع الهجمات المستهدفة وهجمات حقن الأوامر غير المباشرة (التلاعب بالأدوات)، متفوقة على النماذج المرجعية في معدل نجاح الهجوم (ASR).

الأهمية والادعاءات

تدعي الورقة أن MaMa تمثل نهجًا مبدئيًا لـ "السلامة عن طريق التصميم" للأنظمة الوكيلية. ومن خلال نمذجة عملية التصميم صراحةً كلعبة ضد خصم قوي، تجبر الطريقة النظام على تطوير دفاعات قوية ضد الاختراق المباشر للوكلاء.

يؤكد المؤلفون أنه بينما تركز طرق التصميم المؤتمتة الحالية على أداء المهام، فإنها غالبًا ما تتجاهل المخاطر الكارثية لفشل الوكيل أو السلوك الخبيث. تسد MaMa هذه الفجوة من خلال دمج السلامة مباشرة في حلقة التحسين. وتخلص الورقة إلى أن الأنظمة المصروضة باستخدام MaMa هي أكثر أمانًا بكثير من البدائل المصنوعة يدويًا أو تلك المحسنة للجودة فقط، مما يوفر مسارًا لنشر الأنظمة الوكيلية في البيئات عالية المخاطر بثقة أكبر. ويشير المؤلفون بتواضع إلى أنه بينما تحاكي اختباراتهم السيناريوهات الواقعية، فإن هناك حاجة لعمل مستقبلي للتحقق من هذه النتائج على أنظمة الذكاء الاصطنا_ي المتجسدة الأكثر تعقيدًا، ولمعالجة التكاليف الحسابية لعملية التقييم التكرارية.