💬 NLP

LiveMCPBench: Can Agents Navigate an Ocean of MCP Tools?

تقدم هذه الورقة LiveMCPBench، وهو معيار مرجعي واسع النطاق وقابل لإعادة الإنتاج يضم 70 خادماً و527 أداة لتقييم وكلاء النماذج اللغوية الكبيرة في مهام بروتوكول سياق النموذج (MCP) متعددة الخوادم في العالم الحقيقي، كاشفةً أن أخطاء الاسترجاع هي العائق الأساسي وأن التكوين النشط للأدوات يؤثر بشكل كبير على معدلات النجاح.

المؤلفون الأصليون: Guozhao Mo, Wenliang Zhong, Jiawei Chen, Qianhao Yuan, Xuanang Chen, Yaojie Lu, Hongyu Lin, Ben He, Xianpei Han, Le Sun

نُشر 2026-02-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Guozhao Mo, Wenliang Zhong, Jiawei Chen, Qianhao Yuan, Xuanang Chen, Yaojie Lu, Hongyu Lin, Ben He, Xianpei Han, Le Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً عبقرياً وذكياً للغاية (عميل ذكاء اصطناعي - AI Agent) يرغب في مساعدتك في حياتك اليومية. وللقيام بذلك، يحتاج المساعد إلى استخدام مكتبة ضخمة من الأدوات — مثل صندوق أدوات عملاق يحتوي على آلاف الأجهزة المختلفة، من متنبئات الطقس ومؤشرات الأسهم إلى مديري الملفات ومخططي السفر.

تقدم هذه الورقة طريقة جديدة لاختبار مدى قدرة مساعدي الذكاء الاصطناعي هذه على استخدام هذا الصندوق العملاق من الأدوات بالفعل. إليك التفاصيل بكلمات بسيطة:

1. المشكلة: صندوق الأدوات "الوهمي" مقابل العالم الحقيقي

في السابق، كان الباحثون يختبرون مساعدي الذكاء الاصطناعي باستخدام صناديق أدوات "وهمية" أو صغيرة جداً.

الطريقة القديمة: تخيل أنك تعطي طالباً اختباراً حيث تقدم له الآلة الحاسبة التي يحتاجها بالضبط لحل مسألة رياضية. هو فقط يضغط على الزر. الأمر سهل، لكنه لا يخبرك ما إذا كان بإمكانه حقاً العثور على الآلة الحاسبة في درج فوضوي مليء بـ 10,000 عنصر آخر.
الواقع: في العالم الحقيقي، يتعين على مساعدي الذكاء الاصطناعي (الذين يستخدمون ما يسمى بـ MCP، أو بروتوكول سياق النموذج) البحث عبر آلاف الخوادم والأدوات للعثوار على الأداة المناسبة، وغالباً ما يدمجون عدة أدوات معاً لحل مشكلة معقدة. الاختبارات القديمة لم تتحقق مما إذا كان بإمكان الذكاء الاصطناعي العثور على الأدوات فعلياً أو الربط بينها.

2. الحل: LiveMCPBench (اختبار "المحيط")

قام المؤلفون ببناء LiveMCPBench، وهي بيئة اختبار ضخمة وواقعية.

المحيط: بدلاً من الدرج الصغير، أنشأوا "محيطاً" من الأدوات. لقد جمعوا 70 خادماً مختلفاً تحتوي على 527 أداة حقيقية.
المهام: أنشأوا 95 مهمة من الحياة الواقعية اليومية، مثل "تحقق من تذاكر القطار من بكين إلى شنغهاي ليوم الاثنين القادم" أو "لخص أخبار اليوم واحفظها بتنسيق PDF". هذه المهام تتغير بمرور الوقت (ديناميكية)، تماماً مثل العالم الحقيقي.
صندوق "التوصيل والتشغيل": لضمان قدرة أي شخص على تشغيل هذا الاختبار دون الحاجة إلى عشرات كلمات المرور والمفاتيح المختلفة، قاموا بتعبئة كل هذه الأدوات في صندوق واحد جاهز للاستخدام (حاوية Docker). إنه يشبه إعطاء الجميع حقيبة سفر جاهزة ومملوءة حتى يتمكنوا جميعاً من بدء السباق في نفس الوقت.

3. التقييم: "القاضي الذكي"

كيف تضع درجات للذكاء الاصطناعي عندما تكون هناك طرق عديدة لحل المشكلة؟

الطريقة القديمة: التحقق مما إذا كان الذكاء الاصطناعي قد استخدم نفس الخطوات التي اتبعها الإنسان تماماً. (هذا نهج جامد للغاية!)
الطريقة الجديدة (LiveMCPEval): يستخدمون ذكاءً اصطناعياً آخر كـ "قاضٍ". ينظر هذا القاضي إلى النتيجة النهائية ويتساءل: "هل حصل الوكيل بالفعل على المعلومات الصحيحة؟ هل حلوا المشكلة؟" الأمر يشبه المعلم الذي يصحح مقالاً بناءً على جودة الحجة، وليس فقط بالتحقق مما إذا كان الطالب قد استخدم نفس الكلمات الموجودة في الكتاب المدرسي.

4. النتائج: من اجتاز الاختبار؟

قاموا باختبار 12 نموذجاً من أذكى نماذج الذكاء الاصطناي المتاحة حالياً.

الفائز: كان Claude-Sonnet-4 هو البطل الواضح، حيث حل حوالي 79% من المهام.
البقية: حلت معظم النماذج الرائدة الأخرى ما بين 30% و50% فقط من المهام.
السر الخفي: الفائزون لم يكتفوا بالتخمين؛ بل كانوا نشطين. لقد حاولوا دمج الأدوات، وطلبوا مزيداً من المعلومات عندما تعثروا، ولم يستسلموا بسهولة. أما النماذج التي فشلت، فقد كانت تميل إلى أن تكون سلبية أو كسولة للغاية.

5. الاكتشاف الكبير: عنق الزجاجة في "البحث"

الاكتشاف الأكثر أهمية لم يكن يتعلق بمدى ذكاء الذكاء الاصطناعي، بل بمدى جودة قدرته على البحث.

التشبيه: تخيل أميناً للمكتبة يعرف كل شيء في العالم ولكنه سيء جداً في العثور على الكتب على الرفوف.
النتيجة: حدث ما يقرب من نصف حالات الفشل لأن الذكاء الاصطناعي لم يستطع العثور على الأداة الصحيحة في المقام الأول. لم تكن المشكلة في عدم قدرة الذكاء الاصطناعي على استخدام الأداة، بل في عدم قدرته على إيجادها في "محيط" يضم أكثر من 500 خيار.
الاستنتاج: لجعل وكلاء الذكاء الاصطناعي أفضل، نحتاج إلى التوقف عن القلق كثيراً بشأن جعل الذكاء الاصطناعي "أذكى" في التفكير، والبدء في التركيز على جعله أفضل في الاسترجاع (إيجاد) الأدوات الصحيحة.

ملخص

هذه الورقة تشبه اختبار قيادة جديداً وأكثر صعوبة للذكاء الاصطناعي. بدلاً من ترك الذكاء الاصطناعي يقود على طريق مستقيم وخالٍ مع وجود نظام تحديد مواقع (GPS) يخبره بالضبط أين ينعطف، فقد ألقوا به في مدينة مزدحمة بدون خريطة. لقد وجدوا أنه بينما يكون بعض الذكاء الاصطناعي سائقين رائعين، فإن معظمهم سيئون جداً في قراءة لافتات الشوارع (إيجاد الأدوات الصحيحة). مستقبل الذكاء الاصطناعي لا يقتكم فقط في أن يكون أذكى؛ بل في أن يكون أفضل في التنقل وسط فوضى العالم الحقيقي.

إليك ملخص تقني مفصل لورقة البحث "LiveMCPBench: هل تستطيع الوكلاء التنقل في محيط من أدوات MCP؟"

1. بيان المشكلة

برز بروتوكول سياق النموذج (Model Context Protocol - MCP) كبنية تحتية حاسمة لربط النماذج اللغوية الكبيرة (LLMs) بالأدوات الخارجية، حيث توسع ليشمل أكثر من 10,000 خادم. ومع ذلك، تفشل معايير التقييم الحالية في عكس التحديات الواقعية في ثلاثة مجالات رئيسية:

النطاق والتنوع: تعتمد المعايير الحالية (مثل MCPBench وToolBench) عادةً على مجموعات صغيرة وثابتة من الأدوات (غالباً أقل من 10 خوادم) أو واجهات برمجة تطبيقات (APIs) محاكية غير مستقرة أو لم تعد تعمل.
الاسترجاع والتركيب: غالباً ما تقوم التقييمات الحالية بـ "حقن" الأدوات مباشرة في سياق النموذج، متجاوزةً التحدي الحاسم المتمثل في استرجاع الأداة الصحيحة من مجموعة ضخمة وتركيب أدوات متعددة لحل مهام معقدة.
البيئات الديناميكية: تعمل معظم المعاييد في بيئات ثابتة، مما يفشل في تقييم قدرة الوكلاء على التعامل مع مصادر البيانات الديناميكية (مثل الأخبار العاجلة أو أسعار الأسهم) حيث تتطور سياقات المهام.

هناك نقص في وجود معيار واسع النطاق، وقابل للتكرار، ودينامي لتشخيص مدى قدرة الوكلاء على التنقل في "محيط" من أدوات MCP.

2. المنهجية

يقترح المؤلفون LiveMCPBench، وهو إطار عمل شامل يتكون من أربعة مكونات رئيسية:

أ. LiveMCPTool (مجموعة الأدوات)

لضمان قابلية التكرار وتجنب تشتت مفاتيح واجهة برمجة التطبيقات (API keys)، قام المؤلفون بتنسيق مجموعة أدوات جاهزة للنشر:

النطاق: 70 خادم MCP تحتوي على 527 أداة.
الاختيار: تم تجميعها من سوق الأدوات، مع تصفيتها لإزالة الخوادم التي تتطلب مفاتيح API مملوكة لجهات خارجية، والتحقق من عملها بشكل مستقل.
التصنيف: تم تنظيم الأدوات في خمس فئات وظيفية: الاكتشاف، التصور (Visualization)، الوصول إلى الملفات، الموقع، والمتنوع.
النشر: تم تغليفها في بيئة Docker للاستخدام بنظام "التوصيل والتشغيل" (plug-and-play)، مما يضمن إعداداً تجريبياً مستقراً ومتسقاً.

ب. بناء المهام (مهام LiveMCPBench)

النطاق: 95 مهمة يومية متعددة الخطوات عبر ستة مجالات: المكتب، نمط الحياة، الترفيه، التمويل، السفر، والتسوق.
الخصائص: المهام بطبيعتها ديناميكية (تتطلب بيانات في الوقت الفعلي) وطويلة الأمد (تتطلب تركيب أدوات متعددة).
الإنشاء: عملية تتكون من مرحلتين تشمل مقترحي المهام والمتحققين لضمان الأصالة، والتنوع، والتعقيد التركيبي.

ج. وكيل مساعد MCP (النموذج الأساسي)

وكيل يعتمد على منهجية ReACT مصمم للعمل ضمن هذه البيئة واسعة النطاق:

الصياغة: تم نمذجته كعملية قرار ماركوف جزئية الملاحظة (POMDK).
الإجراءات:
1. التوجيه (Route): استرجاع أفضل $k$ من الأدوات المرشحة (الافتراضي $k=5$ ) بناءً على التشابه الدلالي مع أوصاف الخادم والأداة.
2. التنفيذ (Execute): استدعاء الأداة المختارة مع المعاملات الخاصة بها.
3. الاستجابة (Response): إنهاء العملية وتقديم النتيجة.
القدرة على التكيف: يقرر الوكيل ديناميكياً ما إذا كان سيقوم بالاسترجاع، أو التنفيذ، أو تركيب الأدوات بناءً على التغذية الراجعة، بدلاً من اتباع مسار ثابت.

د. إطار التقييم LiveMCPEval

إطار عمل مبتكر يعتمد على النموذج اللغوي كحكم (LLM-as-a-Judge) مصمم للتعامل مع المهام الديناميكية ومسارات الحل المتعددة الصالحة:

النقاط الرئيسية: بدلاً من مطابقة المسار بدقة، يتحقق النظام مما إذا كان الوكيل قد استوفى مجموعة من "النقاط الرئيسية" (المهام الفرعية الحرجة أو الشروط) المستمدة من المهمة.
القابلية للتوسع: يدعم التقييم التلقائي للبيانات الديناميكية (مثل تغير الطقس) دون الحاجة إلى إعادة ترميز يدوي مكلف.
الموثوقية: تم التحقق من صحته مقابل التعليقات البشرية، حيث أظهر معدلات توافق عالية (تصل إلى 81% مع DeepSeek-V3).

3. المساهمات الرئيسية

معيار LiveMCPBench: أول معيار واسع النطاق (95 مهمة، 70 خادماً، 527 أداة) مصمم خصيصاً لاختبار قدرات الاسترجاع والتركيب في أنظمة MCP متنوعة ودينامية.
مجموعة أدوات قابلة للتكرار (LiveMCPTool): مجموعة منسقة من أدوات MCP خالية من التبعيات ومغلفة للنشر الفوري، مما يحل مشكلة "تشتت مفاتيح API" الشائعة في المعايير السابقة.
إطار تقييم قوي (LiveMCPEval): نظام تقييم مؤتمت يعتمد على النماذج اللغوية الكبيرة، يتعامل مع السياقات الديناميكية ومسارات الحل المتعددة، وتم التحقق من صحته من خلال دراسات التوافق البشري.
التشخيص التجريبي: تحليل واسع النطاق لـ 12 نموذجاً من أحدث النماذج اللغوية الكبيرة، مما حدد اختناقات محددة في بنيات الوكلاء الحالية.

4. النتائج التجريبية

قام المؤلفون بتقييم 12 نموذجاً ريادياً (بما في ذلك Claude-4، GPT-5، DeepSeek-V3، Qwen3، إلخ) باستخدام إطار عمل وكيل مساعد MCP.

فجوة الأداء: هناك تفاوت كبير في الأداء.
- الأفضل أداءً: حقق Claude-Sonnet-4 معدل نجاح في المهام بنسبة 78.95%.
- الأداء المتوسط: تراوحت معظم النماذج الأخرى (GPT-5، DeepSeek، Qwen) بين 30% و50%.
الارتباط مع تركيب الأدوات: يرتبط تركيب الأدوات النشط بقوة بالنجاح. النماذج التي تسترجع وتجمع عدة أدوات بشكل استباقي (على سبيل المثال، استخدم Claude-Sonnet-4 حوالي 2.7 أداة لكل مهمة) تفوقت على النماذج المحافظة التي اعتمدت على حلول الأداة الواحدة.
عنق زجاجة الاسترجاع: كشف تحليل الأخطاء أن ما يقرب من 50% من جميع حالات الفشل كانت بسبب أخطاء الاسترجاع (الفشل في العثور على الأداة الصحيحة). وهذا يثبت أن الاسترجاع هو العائق الأساسي في استخدام MCP واسع النطاق، وليس تنفيذ الأداة أو الاستنتاج.
الكفاءة مقابل التكلفة: بينما يحسن الاستكشاف الهجوم للأدوات من النجاح، فإنه يزيد بشكل كبير من استهلاك الرموز (Tokens). يشير تحليل حدود باريتو إلى وجود مقايضة حيث توفر نماذج مثل GPT-5-Mini كفاءة أفضل في التكلفة، بينما توفر نماذج Claude أداءً مطلقاً أعلى بتكلفة أعلى.

5. الأهمية والتوجهات المستقبلية

الصلة بالواقع: من خلال الابتعاد عن واجهات برمجة التطبيقات الثابتة والمحاكية إلى بيئة MCP دينامية وواسعة النطاق، يوفر LiveMCPBench مقياساً أكثر دقة لمدى جاهزية الوكيل للنشر في العالم الحقيقي.
التركيز البحثي: تحول النتائج التركيز البحثي من مجرد تحسين قدرات الاستنتاج إلى تعزيز قوة الاسترجاع والتركيب الدينامي للأدوات.
العلم المفتوح: قام المؤلفون بنشر الكود والبيانات ومجموعة LiveMCPTool الكاملة، مما يسمح للمجتمع بتكرار النتائج والبناء على هذه البنية التحتية.
العمل المستقبلي: تسلط الورقة الضوء على الحاجة إلى أنظمة تعمل على تحسين دقة الاسترجاع بشكل مشترك (لتقليل معدل الفشل البالغ 50%) وتطوير آليات أكثر قوة لمعالجة الأخطاء عند استدعاء الأدوات.

في الختام، يوضح LiveMCPBench أنه بينما أصبحت النماذج اللغوية الكبيرة قادرة على استخدام الأدوات المعقدة، فإن القدرة على التنقل والاسترجاع من منظومة أدوات واسعة ودينامية تظل هي العقبة الحاسمة التي تمنع النشر الموثوق والواسع النطاق للوكلاء.