🤖 AI

ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox

تقدم الورقة البحثية ComplexMCP، وهو معيار مرجعي صارم مبني على بروتوكول سياق النموذج (Model Context Protocol) يضم أكثر من 300 أداة مترابطة ومحاكاة بيئية ديناميكية، والذي يكشف أن وكلاء النماذج اللغوية الكبيرة الحاليين يقل أداؤهم بشكل كبير عن البشر في سير العمل المعقد بسبب اختناقات مثل تشبع استرجاع الأدوات، والثقة المفرطة، والهزيمة الاستراتيجية.

المؤلفون الأصليون: Yuanyang Li, Xue Yang, Longyue Wang, Weihua Luo, Hongyang Chen

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuanyang Li, Xue Yang, Longyue Wang, Weihua Luo, Hongyang Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف مساعداً آلياً ذكياً جداً ومطلعاً لمساعدتك في إدارة عمل تجاري معقد. أنت تعطيه قائمة من المهام، مثل "اشترِ بعض الأسهم، واحجز رحلة طيران، وأرسل رسالة إلى صديق".

في الماضي، كان الباحثون يختبرون هذه الروبوتات عبر إعطائها مهام بسيطة ومعزولة، مثل "احسب 2+2" أو "ابحث عن حالة الطقس". وكانت الروبوتات بارعة في ذلك. لكن المهام في العالم الحقيقي فوضوية؛ فهي تعتمد على بعضها البعض (لا يمكنك حجز رحلة طيران قبل معرفة من سيسافر)، والأنظمة قد تتعطل (قد يتأخر الإنترنت)، والبيئة تتغير أثناء عملك (قد يكون صديقك قد حظرك، أو قد تحتوي عربة التسوق الخاصة بك بالفعل على عناصر).

المشكلة: فجوة "الميل الأخير"
يرى مؤلفو هذا البحث، ComplexMCP، أنه بينما تبرع وكلاء الذكاء الاصطناعي في المهام السهلة، فإنهم يفشلون في "الميل الأخير"—أي الخطوات النهائية الصعبة لإنجاز العمل الفعلي في العالم الحقيقي. إنهم يشبهون السائق الذي يمكنه ركن السيارة في مكان مخصص للركن ببراعة في ساحة فارغة، ولكنه يصطدم عندما يحاول التنقل في شارع مزدحم بالسيارات وبالحفر.

الحل: "مدينة محاكية" للذكاء الاصطناعي
لاختبار مدى قدرة الروبوتات على التعامل مع هذه الفوضى، قام الفريق ببناء ComplexMCP. فكر في هذا ليس كمجرد اختبار بسيط، بل كـ لعبة فيديو لمدينة ضخمة محاكية تضم 7 مناطق مختلفة (مثل مدينة لوسائل التواصل الاجتماعي، وسوق للأوراق المالية، ومتجر عبر الإنترنت، ووكالة سفر).

الأدوات: داخل هذه المدينة، توجد أكثر من 300 "أداة" مختلفة (أزرار، روافع، وواجهات برمجة تطبيقات - APIs) يمكن للذكاء الاصطناعي استخدامها.
الفوضى: والأهم من ذلك، أن هذه الأدوات مترابطة. لا يمكنك مجرد الضغط على زر؛ فقد تحتاج إلى إصلاح الشبكة أولاً، أو التحقق من رصيدك، أو التحقق من هوية المستخدم قبل أن تعمل الأداة.
آلية "البذرة" (Seed): لجعل الاختبار عادلاً ولكن واقعياً، يستخدمون "بذرة" (مثل مولد الأرقام العشوائية). هذا يضمن أنه في كل مرة يشغلون فيها الاختبار، تبدو المدينة مختلفة قليلاً (مستخدمون مختلفون، أسعار مختلفة، سرعات شبكة مختلفة)، لكن القواعد تظل كما هي. هذا يمنع الذكاء الاصطناعي من مجرد حفظ الإجابات.

الاختبار الكبير: الروبوت مقابل الإنسان
وضع الباحثون نماذج ذكاء اصطناعي رفيعة المستوى (مثل GPT-5، وGemini، وClaude) في هذه المدينة وأعطوهم 4ت 47 مهمة معقدة. كما جعلوا بشرًا حقيقيين يقومون بنفس المهام باستخدام نفس الأدوات تماماً.

النتائج: مواجهة صريحة للواقع
كانت النتائج مفاجئة ومثيرة للقلق:

البشر نجحوا بنسبة 94% تقريباً من المرات.
أفضل ذكاء اصطناعي (Gemini-3-Flash) نجح بنسبة 55% تقريباً فقط.
حتى النماذج الأكثر تقدماً واجهت صعوبة في تجاوز نسبة نجاح 60%.

لماذا تفشل الروبوتات؟
حدد البحث ثلاثة أسباب رئيسية تجعل هؤلاء الوكلاء الأذكياء يتعثرون في العالم الحقيقي:

"الإفراط في الأدوات" (تشبع الاسترجاع): تخيل أمين مكتبة عليه العثور على كتاب محدد في مكتبة تضم 300,000 كتاب. إذا طلبت منه العثود إلى كتاب دون إعطائه فهرساً، فسيشعر بالارتباك. وبالمثل، عندما يتعين على الذكاء الاصطناعي الاختيار من بين مئات الأدوات، فإنه غالباً ما ينسى الأداة الصحيحة أو يرتبك بسبب الحجم الهائل للخيارات.
تحيز "اللوحة النظيفة" (الثقة المفرطة): هذا هو الخطأ الأكثر شيوعاً. يفترض الذكاء الاصطناعي أن العالم فارغ وجديد، مثل مستوى جديد في لعبة. في الواقع، قد تحتوي "عربة التسوق" بالفعل على عناصر، أو قد تكون "الشبكة" معطلة. يتخطى الذكاء الاصطناعي مرحلة التحقق من الحالة الحالية ويحاول التصرف مباشرة، مما يؤدي إلى أخطاء (مثل محاولة شراء شيء تملكه بالفعل). إنه يشبه محاولة إضافة عنصر جديد إلى حقيبة سفر ممتلئة دون التحقق مما إذا كان هناك متسع.
الهزيمة الاستراتيجية: عندما يصطدم الذكاء الاصطناعي بخطأ صغير (مثل خلل مؤقت في الشبكة)، فبدلاً من محاولة إصلاحه (مثل استخدام أداة "مسرع الشبكة")، فإنه غالباً ما يستسلم. يستخدم مهاراته اللغوية الراقية ليقول بأدب: "لا أستطيع فعل هذا"، بدلاً من محاولة اتباع مسار مختلف لحل المشكلة. إنه يشبه السائق الذي يرى حفرة في الطريق فيقرر فوراً العودة بالسيارة بدلاً من مجرد القيادة حولها.

ماذا عن "الاسترجاع" (RAG)؟
اختبر الباحثون أيضاً ما إذا كان إعطاء الذكاء الاصطناعي "محرك بحث" للعثور على الأداة المناسبة (بدلاً من عرض جميع الأدوات الـ 300 أمامه دفعة واحدة) سيساعده. وبينما وفر ذلك بعض الذاكرة، إلا أنه جعل الذكاء الاصطناعي أسوأ في هذه المهام المعقدة. لماذا؟ لأن محرك البحث لم يستطع العثون على الأدوات "الخفية" المطلوبة للخطوة التالية. إنه يشبه سؤال أمين مكتبة عن "كتب عن الطبخ"، لكن الكتاب الذي تحتاجه فعلياً بعنوان "كيفية خبز كعكة"، ولم يفكر أمين المكتبة في اقتراحه لأن الرابط لم يكن واضحاً.

الخلاصة
يخلص البحث إلى أنه بينما يزداد الذكاء الاصطناعي ذكاءً، إلا أنه لا يزال غير مستعد ليكون عاملاً مستقلاً بالكامل في بيئات العالم الحقيقي المعقدة والفوضوية. فهو يفتقر إلى القدرة على إدراك الحالة الحالية للعالم، والتعافي من الأخطاء الصغيرة، والتنقل عبر سلاسل الاعتماديات المعقدة. أصبح ComplexMCP الآن هو "اختبار القيادة" الجديد للذكاء الاصطناعي، المصمم لاكتشاف نقاط الضعف هذه حتى يتمكن الجيل القادم من الروبوتات من تعلم القيادة عبر المدينة دون الاصطدام.

ملخص تقني: ComplexMCP

بيان المشكلة

تُظهر وكلاء النماذج اللغوية الكبيرة (LLM) الحالية كفاءة في استدعاء واجهات برمجة التطبيقات (APIs) المعزولة، لكنها تعاني بشكل كبير من الوصول إلى "الميل الأخير" في أتمتة البرمجيات التجارية. ففي السيناريوهات الواقعية للمؤسسات والمستهلكين، نادراً ما تكون الأدوات مستقلة؛ بل هي أدوات مترابطة للغاية، وذات طبيعة ذرية، وعرضة للضجيج البيئي (مثل زمن انتقال الشبكة، وعدم اتساق الحالة، والأخطاء العابرة). تفشل الاختبارات المرجعية الحالية في رصد هذا التعقيد؛ فمجموعات البيانات مثل ToolBench تعتمد على واجهات RESTful مستقلة دون بيئات تنفيذ واقعية، بينما تفتقر مجموعات أخرى مثل $\tau$ -Bench أو BFCL إلى النطاق الواسع، أو تعتمد على مطابقة أشجار الإعراب المجردة (AST) دون استدعاء حقيقي، أو تستخدم بيئات محددة مسبقاً بدقة تفتقر إلى الغموض والعشوائية الموجودة في العالم الحقيقي. وبناءً على ذلك، هناك فجوة حرجة في تقييم قدرة الوكيل على التنقل بمرونة عبر أنظمة الأدوات واسعة النطاق والمترابطة مع إظهار القدرة على الصمود أمام الأخطاء.

المنهجية

قدم المؤلفون ComplexMCP، وهو إطار تقييم صارم مبني على بروتوكول سياق النموذج (Model Context Protocol - MCP) لمحاكاة نظام أدوات ديناميكي، وحالي الحالة (stateful)، وعشوائي.

1. بنية النظام

يدمج ComplexMCP 315 أداة متميزة موزعة على 15 خادم MCP، مصنفة إلى نموذجين:

الخوادم ذات الحالة المستمرة (7 تطبيقات): وهي تحافظ على حالات بيئية مستمرة ( $S$ ) طوال فترة تشغيل الوكيل. وتشمل هذه الخوادم: LightOS (تنسيق النظام)، LightTalk (منصة اجتماعية)، LightShop (تجارة إلكترونية)، LightWeather (أرصاد جوية)، LightFlight (طيران)، LightStock (تداول مالي)، وLightNews (إعلام). وتظهر هذه الأدوات ترابطات قوية؛ فعلى سبيل المثال، قد يتطلب إرسال رسالة حل معرف المستخدم (User ID)، والتحقق من حالة الشبكة، ورفع حظر جهات الاتصال.
الخوادم عديمة الحالة (8 تطبيقات): وهي تتعامل مع عمليات وظيفية مستقلة (مثل الرياضيات، التشفير، الكيمياء، ومعالجة النصوص) دون حفظ الحالة بين الاستدعاءات.

2. الديناميكيات المدفوعة بالبذرة (Seed-Driven Dynamics)

لضمان كل من قابلية التكرار والتنوع البيئي، يستخدم ComplexMCP بنية مدفوعة بالبذرة. حيث تتحكم بذرة عشوائية واحدة ( $\sigma$ ) بشكل حتمي في:

تهيئة البيئة: يتم أخذ عينة من قاعدة معرفة اصطناعية (ملفات تعريف المستخدمين، سجلات المعاملات، إلخ) بناءً على البذرة، مما يخلق بيئات فريدة ولكن متسقة هيكلياً.
اضطرابات التنفيذ: تتحكم البذرة في الأحداث العشوائية أثناء التنفيذ، مثل فشل واجهة برمجة التطبيقات أو زمن انتقال الشبكة، مما يحاكي عدم القدرة على التنبؤ في العالم الحقيقي.

3. إطار التقييم

يستخدم الاختبار المرجعي نظام تقييم حتمي قائم على القواعد بدلاً من تسجيل النقاط الذاتي القائم على "النموذج كحكم" (LLM-as-a-judge).

المقاييس: يقارن النظام حالة البيئة النهائية ( $env_{new}$ ) مقابل حالة الهدف الحقيقية ( $env_{gt}$ ) المستمدة من مجموعة تعليمات منسقة يدوياً.
المؤشرات الرئيسية:
- معدل الإنجاز ( $R_c$ ): نسبة عناصر الحالة التي تم تعديلها بشكل صحيح إلى إجمالي التغييرات المطلوبة.
- معدل السلوك الخاطئ ( $R_b$ ): نسبة الآثار الجانبية غير المقصودة (تعديل عناصر الحالة التي يجب أن تظل دون تغيير).
معايير النجاح: يُعتبر المسار صحيحاً فقط إذا كان $R_c = 1$ و $R_b = 0$ .

4. الإعداد التجريبي

قام المؤلفون بتقييم 16 نموذجاً لغوياً كبيراً تجارياً من أحدث الطرازات (بما في ذلك GPT-4o، وGPT-5، وسلسلة Gemini، وسلسلة Claude، وLlama-3، وQwen-3-Max، وDeepSeek-V3، إلخ) عبر 47 مهمة منسقة يدوياً. تتطلب هذه المهام تنسيق العديد من الأدوات دون تلميحات صريحة، مما يجبر الوكلاء على الاعتماد على الاستدلال الداخلي. كما درست الدراسة المقارنة بين التلقين بـ "السياق الكامل" (Full-Context) واستراتيجيات التوليد المعزز بالاسترجاع (RAG) (القياسي والمتكرر) لتقييم المقايضة بين الكفاءة والسلامة المنطقية.

النتائج الرئيسية

يكشف التقييم عن فجوة أداء صارخة بين النماذج الحالية الرائدة والأداء البشري:

معدلات النجاح: حقق أعلى نموذج أداءً، وهو Gemini-3-Flash، معدل نجاح بلغ 55.31%، بينما سجل GPT-5.1 نسبة 19.14%. وفي المقابل، حقق المتطوعون البشريون معدل نجاح بنسبة 93.61%.
عنق زجاجة الرموز (Tokens): يتسبب نموذج ReAct ذو "السياق الكامل" في تكاليف ضخمة للرموز. ففي متوسط مهمة تتطلب 11 جولة من استخدام الأدوات، يتم إعادة تقديم مطالب النظام الأولية (التي تحتوي على ~30,000 رمز من أوصاف الأدوات) 12 مرة، مما يؤدي إلى ~360,000 رمز مدخل لكل مهمة. وهذا يخلق تكاليف اقتصادية وزمن استجابة كبيرة.
محدودية RAG: رغم أن تقنية RAG المتكررة حسنت الكفاءة من خلال تقليل عدد الرموز، إلا أنها فشلت في مضاهاة أداء طرق "السياق الكامل". ويعزو المؤلفون ذلك إلى عدم قدرة الاسترجاع الدلالي على التقاط الاعتمادات الضمنية للأدوات الضرورية لسير العمل المعقد متعدد الخطوات.

أنماط الفشل المحددة

حدد التحليل التفصيلي للمسارات ثلاث عقبات أساسية:

تشبع استرجاع الأدوات: مع توسع مساحة العمل (على سبيل المثال، >300 أداة)، تعاني العديد من النماذج من "الحمل المعرفي الزائد"، مما يؤدي إلى انخفاض معدلات النجاح. وبينما تخفف بعض النماذج (مثل Gemini-3-Flash وClaude-Opus-4) من ذلك عبر معالجة السياق الطويل، تعاني نماذج أخرى (مثل GPT-4o وDeepSeek-V3) بشكل كبير.
تحيز "اللوح النظيف" (الإفراط في الثقة): تفترض النماذج بشكل متكرر أن البيئة في حالة افتراضية أو فارغة، متجاوزة خطوات التحقق الحرجة (مثل التحقق من محتويات عربة التسوق الحالية أو حالة الشبكة). يؤدي هذا إلى عواقب غير مقصودة، مثل شراء عناصر مكررة أو الفشل في حل الصراعات الموجودة مسبقاً.
الهزيمة الاستراتيجية: عند مواجهة أخطاء عابرة (مثل مهلات الشبكة)، غالباً ما تنهي النماذج المهام قبل الأوان بدلاً من محاولة التعافي (مثل إعادة المحاولة أو استخدام أدوات التخفيف مثل acc_network). كان هذا السلوك منتشراً بشكل ملحوظ في GPT-5، الذي مال إلى "الاستسلام المهذب" بدلاً من البحث عن حلول بديلة.

الأهمية والادعاءات

يضع البحث ComplexMCP كمنصة اختبار حاسمة للجيل القادم من الأنظمة المستقلة المرنة. وتتمثل مساهماته الرئيسية في:

الواقعية: هو أول اختبار مرجعي يدمج في آن واحد مجموعة أدوات واسعة النطلة مع بيئات ديناميكية، وحالية الحالة، وعشوائية تحت بنية موحدة تدعم بروتوكول MCP.
القيمة التشخيصية: من خلال تحديد أنماط الفشل المحددة مثل تحيز "اللوح النظيف" والهزيمة الاستراتيجية، يوفر العمل خارطة طريق واضحة لتحسين مرونة الوكيل، والانتقال من مجرد استدعاء الأدوات إلى الإدراك البيئي والتعافي الحقيقي.
التقييد (Standardization): من خلال الاستفادة من بروتوكول سياق النموذج، يعزز ComplexMCP التقييم المعياري والقابل للتكرار والمتوافق مع واجهات استخدام الأدوات، مما يعالج التجزئة في أبحاث الوكلاء الحالية.

يخلص المؤلفون إلى أنه على الرغم من أن الوكلاء الحاليين يظهرون بوادر واعدة، إلا أنهم لا يزالون غير كافين لسير العمل المترابط، ويمثل ComplexMCP خطوة ضرورية نحو تطوير وكلاء قادرين على التعامل مع تعقيدات أتمتة البرمجيات في العالم الحقيقي.