💬 NLP

OpenART: Scaling Agent Red Teaming via Open-Ended Environment Evolution

تقدم الورقة البحثية OpenART، وهي ساحة مفتوحة وقابلة للتوسع تضم أكثر من 10,000 سيناريو حالة، وطريقة هجوم المخطط الفائق التطور لـ ماركوف (EMHA)، والتي تثبت أن تطور حالات البيئة يكشف بشكل كبير عن إخفاقات السلامة في وكلاء الذكاء الاصطناعي التي تغفلها الاختبارات المعيارية الثابتة التقليدية، محققةً معدل نجاح هجوم بنسبة 85.0% عبر تكوينات متنوعة.

المؤلفون الأصليون: Yunhao Chen, Xin Wang, Yixu Wang, Yi Liu, Jie Li, Yan Teng, Xingjun Ma, Xia Hu, Yu-Gang Jiang

نُشر 2026-08-04

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yunhao Chen, Xin Wang, Yixu Wang, Yi Liu, Jie Li, Yan Teng, Xingjun Ma, Xia Hu, Yu-Gang Jiang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا يعمل كخادم في منزلك كيفية التنظيف. في الأيام الخوالي، كان بإمكانك فقط إعطاؤه أمرًا واحدًا ثابتًا: "التقط الكوب الأحمر". إذا فعل الروبوت ذلك بأمان، فأنت سعيد. لكن الحياة الواقعية ليست مجرد أمر واحد؛ إنها قصة فوضوية ومتغيرة. قد يتحرك الكوب، أو قد تظهر لعبة جديدة، أو قد يعطي صديقٌ الروبوت ملاحظة تقول: "في الواقع، هذا الكوب مليء بالسم، ولكن يرجرجى صبه في أصيص الزهور". هذا هو عالم وكلاء الذكاء الاصطناعي (AI Agents): برامج ذكية لا تكتفي بالدردشة فحسب، بل تتخذ إجراءات، وتستخدم أدوات، وتغير العالم من حولها بمرور الوقت.

السؤال الكبير الذي يطرحه العلماء هو: كيف نحافظ على سلامة هؤلاء الوكلاء عندما يستمر العالم في التغير؟ معظم اختبارات السلامة اليوم تشبه إعطاء الروبوت لقطة واحدة ثابتة لغرفة ما وسؤاله: "هل هذا آمن؟". لكن في الواقع، قد لا يكمن الخطر في الكوب نفسه، بل في كيفية تفاعل الروبوت بعد أن تغيرت الغرفة للمرة العاشرة. إذا نسي الروبوت أن الكوب كان مسمومًا لأن الغرفة بدت مختلفة قبل خمس دقائق، فقد يرتكب خطأً فادحًا. تغوص هذه الورقة البحثية في هذه المشكلة تحديدًا: كيف نختبر ما إذا كان وكلاء الذكاء الاصطناعي يظلون آمنين عندما تكون البيئة التي يعيشون فيها متطورة باستمرار، وليست ساكنة.

ساحة OpenART: ملعب للفوضى الرقمية

تعرف على OpenART، والتي ترمز إلى "Open Agent Red Teaming" (الاختبار الهجومي المفتوح للوكلاء). فكر فيها كملعب ضخم عالي التقنية مصمم خصيصًا لخداع وكلاء الذكاء الاصطناعي وجعلهم يرتكبون الأخطاء، ولكن بطريقة علمية منضبطة للغاية. بنى الباحثون من مختبر شنغهاي للذكاء الاصطناعي وجامعة فودان هذه الساحة ليروا ماذا يحدث عندما لا تكتفي بسؤال الذكاء الاصطناعي سؤالًا، بل تتركه طليقًا في عالم رقمي حي يتنفس ويتغير من حوله.

عادةً ما تكون اختبارات السلامة مثل الاختبارات القصيرة المفاجئة: تطرح سؤالاً على الذكاء الاصطناعي، وهو يجيب. إذا أجاب بشكل صحيح، فقد نجح. لكن OpenART تشبه برامج واقع للبقاء على قيد الحياة. لقد أنشأوا أكثر من 10,000 سيناريو مختلف (مثل كتاب "اختر مغامرتك الخاصة" الرقمي) يمتد عبر 50 وظيفة مختلفة، من إصلاح أخطاء البرمجيات إلى إدارة سجلات المستشفيات. هذه ليست مهام بسيطة؛ بل هي مهمات معقدة تتطلب من الذكاء الاصطناعي القيام بمتوسط 97 استدعاء للأدوات (مثل فتح التطبيقات، أو قراءة الملفات، أو إرسال رسائل البريد الإلكتروني) لإتمام المهمة. هذه خطوات كثيرة جدًا!

للتأكد من عدالة هذه الاختبارات، اختبروا 15 وكيل ذكاء اصطناعي مختلفًا (المتسابقون) باستخدام 5 نماذج عقلية مختلفة (العقول التي تشغلهم). خلق هذا 75 مزيجًا فريدًا لمراقبتها. والهدف؟ معرفة ما إذا كان بإمكان الوكلاء إكمال مهامهم دون تسريب معلومات سرية عن طريق الخطأ أو القيام بشيء ضار بينما تتغير البيئة الرقمية تحت أقدامهم.

السلاح السري: "هجوم المخطط الفائق الماركوفي التطوري" (EMHA)

هنا يصبح الأمر رائعًا حقًا. لم يكتفِ الباحثون بالمراقبة فحسب؛ بل صنعوا "شريرًا" خاصًا لمحاولة كسر الوكلاء. يسمونه EMHA (Evolutionary Markov Hypergraph Attack).

تخيل أنك تلعب مباراة شطرنج ضد كمبيوتر. في المباراة العادية، تظل اللوحة ثابتة وأنت فقط تحرك القطع. ولكن مع EMHA، تخيل أنه بعد كل حركة تقوم بها، تتغير قواعد اللعبة، أو شكل اللوحة، أو حتى لون القطع قليلاً لإرباكك. يفعل EMHA ذلك تمامًا بوكلاء الذكاء الاصطناعي.

إنه لا يحاول خداع الذكاء الاصطناعي بتغيير التعليمات الرئيسية (مثل قول "افعل شيئًا سيئًا"). بدلاً من ذلك، يبقي الهدف الرئيسي كما هو (على سبيل المثال، "اكتب تقريرًا") ولكنه يطور البيئة. قد يتسلل بملف سري إلى المجلد الذي يبحث فيه الذكاء الاصطناعي، أو يغير إعدادًا في أداة يستخدمها الذكاء الاصطناعي، أو يعيد كتابة ملاحظة يقرأها الذكاء الاصطناعي. يفعل ذلك بطريقة ذكية وخطوة بخطوة، حيث يتعلم من كل مرة كاد فيها الذكاء الاصطناعي أن يفشل، ويصبح أفضل في إرباك الذكاء الاصطناعي مع كل جولة. إنه يشبه ساحرًا بارعًا يستمر في تغيير مجموعة أوراق اللعب تمامًا في اللحظة التي يوشك فيها الذكاء الاصطناعي على اختيار ورقة.

النتائج الصادمة: التعقيد هو المفتاح

عندما أجروا التجارب، كانت النتائج مذهلة. عبر جميع الـ 75 مزيجًا من الوكلاء والعقول، نجح "الشرير" (EMHA) في خداع الذكاء الاصطناعي بنسبة 85.0%. هذه نسبة ضخمة!

لكن الاكتشاف الأهم لم يكن فقط أنهم فشلوا، بل لماذا ومتى. وجد الباحثون أن كلما زاد تعقيد المهمة، أصبح تغيير البيئة أكثر خطورة.

المهام البسيطة: عندما كانت المهمة سهلة (مثل وظيفة قصيرة وبسيطة)، جعل تغيير البيئة الذكاء الاصطناعي يفشل بنسبة ضئيلة فقط (حوالي 1.8% إلى 2.7% إضافية).
المهام المعقدة: ولكن عندما كانت المهمة صعبة وطويلة (مثل سير عمل معقد بمتطلبات عديدة)، تسببت تغييرات البيئة في قفزة هائلة في معدل الفشل بنسبة 17.2% إلى 17.6%.

يشير هذا إلى أن سير العمل الطويل والمعقد هو المكان الذي يكمن فيه الخطر الحقيقي. في المهمة البسيطة، يمكن للذكاء الاصطناعي التعامل مع تغيير صغير. ولكن في قصة طويلة ومعقدة، يمكن لتغيير صغير في البداية أن يمتد عبر العملية بأكملها، مما يتسبب في كارثة في النهاية. الأمر يشبه إلقاء حصاة واحدة في بركة هادئة؛ ستحدث رشقة صغيرة. لكن ألقِ تلك الحصاة في نهر هائج، ويمكنها أن تطلق موجة هائلة في اتجاه مجرى النهر.

"مَن" هو الشخص بقدر أهمية "ماذا"

كان هناك اكتشاف آخر مثير للاهتمام وهو أن البرمجيات المحددة التي تبني الوكيل كانت مهمة بقدر أهمية "العقل" الذي يشغله. حتى لو استخدم وكيلان نفس "العقل" (نفس النموذج اللغوي الكبير)، فقد يكون أحدهما أكثر أمانًا بكثير من الآخر لمجرد طريقة بنائه أو كيفية تعامله مع ذاكرته. وجد الباحثون أن هوية الوكيل نفسه فسرت 7.6% إضافية من إخفاقات السلامة. وهذا يعني أن امتلاك "عقل" ذكي ليس كافيًا؛ فطريقة تجميع الوكيل أمر بالغ الأهمية للحفاظ على سلامته.

ماذا يعني كل هذا

تشير الورقة البحثية إلى أنه لا يمكننا اختبار سلامة الذكاء الاصطناعي بالأسئلة البسيطة والثابتة بعد الآن. يجب أن نختبرهم في بيئات حية ومتغيرة حيث تتغير القواعد ويتطور السياق. أظهر الباحثون أنه مع زيادة تعقيد المهام، تزداد مخاطر ارتكاب الذكاء الاصطناعي لخطأ بشكل كبير إذا لم تتم مراقبة البيئة بعناية.

هم لم "يحلوا" مشكلة سلامة الذكاء الاصطناعي، لكنهم بنوا مجهرًا ضخمًا وقويًا (OpenART) يسمح لنا برؤية الشقوق في الدرع التي لم نكن نراها من قبل. لقد أثبتوا أن السلامة لا تتعلق فقط بما يعرفه الذكاء الاصطناعي؛ بل تتعلق بكيفية تفاعله مع عالم لا يبقى ساكنًا أبدًا. ولأي شخص يبني الجيل القادم من مساعدي الذكاء الاصطناعي، فإن الدرس واضح: إذا كنت تريد لخادمك الروبوت أن يكون آمنًا، فعليك اختباره في منزل يتم إعادة ترتيبه باستمرار، وليس في غرفة لا تتغير أبدًا.

ملخص تقني: OpenART: توسيع نطاق الاختبار الأحمر للوكلاء عبر تطور البيئة مفتوحة النهايات

بيان المشكلة

تعمل وكلاء الذكاء الاصطناტი بشكل متزايد في بيئات مستمرة حيث تقوم الإجراءات التي تتم عبر الوسائط الأدواتية بتعديل الحالة المشتركة، والبيانات، والأذونات، والموارد الخارجية باستمرار طوال سير العمل طويل الأمد. وخلافًا للتفاعلات التقليدية مع النماذج اللغوية، يرتبط سلوك الوكيل ببيئة متطورة يتم رصدها وتحديثها وإعادة استخدامها بشكل متكرر. هذا الاستمرار يغير جوهرياً طبيعة سلامة الذكاء الاصطناعي: فالإجراء الذي قد يبدو حميداً في عزله قد يؤدي إلى تغيير في الحالة الكامنة ينتشر من خلال التفاعلات المستقبلية، ويظهر كسلوك ضار في وقت لاحق بكثير. وبناءً على ذلك، تصبح إخفاقات السلامة خصائص لرحلة التفاعل بأكملها بدلاً من كونها مجرد إجراءات فردية.

تقيم اختبارات سلامة الوكلاء الحالية بشكل أساسي مهاماً قصيرة وثابتة أو بيئات قابلة لإعادة الضبط، مما يوفر تغطية محدودة للتلاعب بالحالة المستمرة، وانتشار الهجمات المتأخر، وإخفاقات السلامة طويلة المدى. علاوة على ذلك، فإن الواجهات الخاصة بالاختبارات (benchmarks) تعيق المقارنة المباشرة بين مختلف بيئات تشغيل الوكلاء والنماذج التأسيسية. هناك حاجة ماسة إلى إطار عمل قابل للتوسع يعامل البيئة القابلة للتنفيذ، بدلاً من المطالبات المعزولة، كوحدة أساسية للاختبار الأحمر (red teaming).

المنهجية: إطار عمل OpenART

يعالج OpenART هذه القيود من خلال تقديم ساحة واسعة النطاق لتقييم سلامة الوكلاء تتمحور حول التطور المحكوم للبيئة. يعمل إطار العمل عبر ثلاث مراحل رئيسية:

1. بناء السيناريو

يبني OpenART أكثر من 10,000 مواصفات سيناريو تم التحقق من صحتها تغطي 50 مجالاً، تم استخلاصها من مجموعة قدرات تضم أكثر من 500,000 أداة، وبروتوكولات سياق النموذج (MCPs)، ومهارات.

التصميم: يُعرَّف السيناريو كعقد تقييم محايد للهدف يتكون من هدف مهمة حميد، وبيئة قابلة للتنفيذ (الحالة الأولية)، وعقد سلامة مخفي.
التحقق: لا تُقبل السيناريوهات إلا بعد اجتيازها لمقيّم حتمي باستخدام اختبارات سلوكية آلية. يضمن هذا أن سير العمل قابل للتنفيذ وأن المقيّم يميز بشكل موثوق بين إتمام المهمة الآمن وتسرب المعلومات غير الآمن.
التعقيد: تتطلب المهام الناتلة وسيطاً قدره 97 استدعاءً للأدوات، وهو ما يتجاوز بشكل كبير تعقيد الاختبارات السابقة (على سبيل المثال، 1-15 استدعاءً في الاختبارات الحالية).

2. الإسقاط عبر تشغيل الوكلاء المتعددين

لتمكين التقييم الموحد، يستخدم OpenART محولات خفيفة الوزن ومخصصة للهدف ( $\psi_r$ ) تقوم بإسقاط السيناريو المشترك على الواجهات الأصلية للوكلاء المستخدمين.

الحياد تجاه الهدف: تظل دلالات السيناريو والمقيّم ثابتين، بينما تقوم المحولات برسم خرائط الحالة المشتركة إلى التعليمات والقدرات وأسطح الحالة (مثل مساحة العمل، الذاكرة، الخطط) المدعومة من قبل كل وكيل.
التغطية: يقيم إطار العمل 15 وكيلاً منتشراً (بما في ذلك OpenCode وAider وClaude Code، إلخ) مقترنين بـ 5 نماذج تأسيسية (GPT-5.5، Claude-Opus-4.8، GLM-5.2، Qwen-3.7-Max، DeepSeek-V4-Pro)، مما ينتج عنه 75 تكويناً مختلفاً من (الوكيل-النموذج).
ناقلات الهجوم: يكشف النظام عن ثمانية أسطح حالة مرئية للهدف: مساحة العمل، التعليمات، المهارات، الأدوات، بروتوكولات سياق النموذج (MCPs)، الذاكرة قصيرة المدى، حالة الخطة، والذاكرة طويلة المدى.

3. تطور البيئة المحكوم (EMHA)

يتضمن بروتوكول الاختبار الأحمر الجوهري تطوير حالة البيئة المرئية للهدف فقط مع إبقاء هدف المهمة الحميد وعقد السلامة دون تغيير. يتم تنفيذ ذلك عبر هجوم الرسم البياني الفائق لـ ماركوف التطوري (EMHA).

سياسة الصندوق الأسود: EMHA هو سياسة مرجعية تقوم بتطوير البيئة القائم على التغذية الراجعة دون تحديث معاملات النموذج ( $\theta_{t+1} = \theta_t$ ). وهو يعتمد على التعلم داخل السياق وإدارة الحالة الخارجية.
التنقل عبر الرسم البياني الفائق: تُنمذج تغييرات البيئة المنسقة كرسوم بيانية فائقة (hypergraph) حيث تمثل الرؤوس أهداف الهجوم الفرعية، وتربط الحواف الفائقة بين المتطلبات المسبقة والتابعة. يقوم EMHA بأخذ عينات من المسارات عبر هذا الرسم البيفي لاقتراح انتقالات الحالة.
حلقة التغذية الراجعة: بعد كل تنفيذ، يقدم المقيّم تغذية راجعة ( $Y_t$ ). يستخدم EMHA هذه التغذية الراجعة لتحديث دالة القيمة للانتقالات، مما يوجه اختيار المسار المستقبلي لتعظيم معدل نجاح الهجوم (ASR) ضمن ميزانية محددة. كما يستخدم بحثاً تطورياً موجهاً بالأرشيف (مشابه لـ MAP-Elites) للحفاظ على تنوع استراتيجيات الهجوم.

المساهمات الرئيسية

ساحة OpenART: ساحة واسعة النطلة ومفتوحة النهايات للاختبار الأحمر للوكلاء، تنقل وحدة تقييم السلامة من المطالبات المعزولة إلى البيئات القابلة للتنفيذ والمتطورة. توفر أساساً مشتركاً لدراسة سلامة الوكلاء في ظل ظروف واقعية ومرتبطة بالحالة.
التمثيل المحايد للهدف: تمثيل مبتكر للسيناريو ومحولات تشغيل خفيفة الوزن تحافظ على دلالات المهمة ومعايير التقييم عبر مختلف الوكلاء والنماذج والواجهات المتباينة.
خوارزمية EMHA: صياغة لتطور البيئة كمسألة تحسين الصندوق الأسود، مُنفذة بسياسة خالية من المعاملات ومدفوعة بالتغذية الراجعة، والتي تنمذج انتقالات الحالة المنسقة كتنقل عبر الرسم البياني الفائق.
تقييم شامل: دراسة منهجية عبر 75 تكويناً من (الوكيل-النموذل) تكشف كيف يحدد تعقيد البيئة وتنفيذ الوكيل نتائج السلامة بشكل مشترك.

النتائج التجريبية

أُجري التقييم عبر 75 تكويناً من (الوكيل-النموذل) باستخدام 10,000 سيناريو تم التحقق منها.

معدل نجاح الهجوم (ASR): حقق EMHA معدل نجاح صارم (Strict ASR) مجمع قدره 85.0%. يُعتبر الهجوم الصارم ناجحاً فقط إذا حدد كل من المقيّم الحتمي وحكم LLM (المتمثل في GLM-5.2) شرط الهجوم.
تأثير التعقيد: ترتبط ميزة تطور البيئة الكاملة مقابل تطور التعليمات فقط ارتباطاً وثيقاً بتعقيد السيناريو. في البيئات البسيطة، تبلغ الزيادة 1.8–2.7%، ولكن في أكثر البيئات تعقيداً، تزد-اد لتصل إلى 17.2–17.6%. وهذا يثبت أن سير العمل طويل الأمد يضخم تأثير تطور الحالة المستمرة.
دور تنفيذ الوكيل: بينما يفسر هوية النموذج التأسيسي 73.6% من تباين ASR، فإن إدراج هوية الوكيل المستهدف يفسر 7.6% إضافية من التباين بما يتجاوز ضوابط النموذج والقدرات. يشير هذا إلى أن تنفيذ وقت التشغيل يلعب دوراً هاماً في سلامة الوكيل.
دراسات الاستئصال (Ablation Studies):
- تقييد المتجه: حقق تطور مساحة العمل وحده 92.5% ASR، متفوقاً على تطور التعليمات فقط بنسبة 10.9%.
- آليات البحث: أدى إزالة الآليات الأرشيفية أو آليات إعادة توزيع الاعتمادات إلى تقليل ASR بنسبة 3.9% و2.6% على التوالي، مما يؤكد أهميتها في تحسين الاستراتيجيات.
ديناميكيات الانتشار: كشف تحليل 10,000 مسار أن إخفاقات السلامة غالباً ما تظهر بعد وسيط مسافة انتشار قدرها 37 إجراءً مستهدفاً. يبلغ وسيط زمن التأخير بين استهلاك حالة متطورة وإنتاج مخرج غير آمن 41% من سير العمل، مما يشير إلى أن التقييمات الثابتة تفقد الثغرات التي لا تظهر إلا بعد فترات تنفيذ طويلة.

الأهمية والادعاءات

يزعم البحث أن OpenART يؤسس قاعدة قابلة للتوسع لدراسة سلامة الوكلاء في البيئات المعقدة والمتطورة. تكمن الأهمية الأساسية في إثبات أن سلامة الوكيل لا يمكن توصيفها بالكامل من خلال التقييمات القصيرة والثابتة أو المتمحورة حول النموذج.

تشمل النتائج الرئيسية التي سلط المؤلفون الضوء عليها ما يلي:

تطور البيئة كعامل حاسم: إخفاقات السلامة هي خصائص لرحلة التفاعل. مع نمو تعقيد المهمة، فإن القدرة على تطوير البيئة تكشف عن ثغرات أكثر بكثير من الاختبارات الثابتة.
التنفيذ أمر جوهري: يتم تحديد السلامة بشكل مشترك من خلال تعقيد البيئة وتنفيذ الوكيل (وقت التشغيل) المحدد، وليس فقط النموذج التأسيسي الأساسي.
الثغرات المتكررة: حددت الدراسة ثلاثة أنماط فشل متكررة في الوكلاء الحاليين:
1. الافتراضات القديمة: يفشل الوكلاء في إبطال الافتراضات التي تشكلت سابقاً عندما تتغير البيئة (مثل انزياح المرجع في الخطة، أو إعادة ربط القدرات).
2. قرارات السلامة المنتشرة: يؤجل الوكلاء أحكام السلامة إلى المكونات اللاحقة بدلاً من إعادة حسابها مع تغير السياق.
3. المخاطر التركيبية: ينشأ السلوك غير الآمن من التفاعل بين تغييرات متعددة حميدة في حد ذاتها عبر مسارات عمل طويلة.

يخلص المؤلفون إلى أن تقييمات السلامة المستقبلية يجب أن تأخذ في الاعتبار التفاعلات طويلة الأمد بين الوكلاء وبيئاتهم المتطورة لتقييم المخاطر وتخفيفها بدقة.