LiveMCP-101: Stress Testing and Diagnosing MCP-enabled Agents on Challenging Queries
تقدم هذه الورقة البحثية LiveMCP-101، وهو معيار يتكون من 101 استعلاماً من واقع العالم الحقيقي صُمم لاختبار قدرات الوكلاء الممكنين بواسطة بروتوكول MCP عبر إطار تقييم متوازي، مما يكشف أن حتى النماذج اللغوية الكبيرة الرائدة تواجه صعوبة في تنسيق الأدوات متعدد الخطوات والمعقدة، وتحدد سبعة أنماط فشل محددة لتوجيه التحسينات المستقبلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة LiveMCP-101 باستخدام لغة بسيطة وتشبيهات إبداعية.
الصورة الكبيرة: "تجربة القيادة" الحية
تخيل أنك تختبر سيارة جديدة ذاتية القيادة. معظم الاختبارات السابقة كانت تتم في لعبة فيديو أو في موقف سيارات مغلق حيث لا تتغير فيه إشارات المرور ويكون الطريق دائمًا فارغًا. كان بإمكان السيارة حفظ المسار والظهور بشكل مثالي.
لكن في العالم الحقيقي، تتغير إشارات المرور، ويخرج المشاة فجأة، وتتغير ظروف الطريق في كل ثانية.
تقدم هذه الورقة البحثية LiveMCP-101، وهي بمثابة اختبار حركة مرور حي وحقيقي لوكلاء الذكاء الاصطناي. بدلاً من مطالبة الذكاء الاصطناعي بحل مسألة رياضية من كتاب مدرسي، يطلب منه الباحثون استخدام "سكين سويسري" من الأدوات الرقمية (مثل التحقق من أسعار الرحلات الجوية، أو البحث في GitHub عن كود برمجي، أو البحث عن حالة الطقس) لحل مشكلات معقدة ومتعددة الخطوات تتغير أثناء عمل الذكاء الاصطناعي عليها.
المشكلة: "الخريطة الثابتة" مقابل "نظام GPS الحي"
- الطريقة القديمة (الأدوات الثابتة): تخيل أن وكيل ذكاء اصطناعي أُعطي خريطة مطبوعة لمدينة ما. هو يعرف مكان المقهى بالضبط لأن الخريطة تقول ذلك. ولكن إذا انتقل المقهى من مكانه بالأمس، فسيضيع الذكاء الاصطناعي. هكذا تعمل معظم أدوات الذكاء الاصطناعي الحالية؛ فهي تعتمد على تعليمات ثابتة.
- الطريقة الجديدة (MCP): تستخدم الورقة ما يسمى بـ بروتوكول سياق النموذج (Model Context Protocol - MCP). فكر في هذا كأنه نظام GPS حي. الذكاء الاصطناعي ليس لديه خريطة مطبوعة مسبقًا؛ بل عليه أن يسأل نظام الـ GPS: "ما هي الأدوات المتاحة الآن؟" ثم يكتشف كيفية استخدامها. المشكلة هي أن بيانات "نظام الـ GPS الحي" تتغير كل ثانية. قد يرتفع سعر رحلة طيران، أو يتغير عنوان خبر إخباري، بينما يفكر الذكاء الاصطناعي.
الحل: "السباق المتوازي"
كيف تقيم ذكاءً اصطناعيًا في اختبار تتغير إجاباته أثناء تأدية الاختبار؟
قام الباحثون ببناء نظام السباق المتوازي (Parallel Race):
- العداء المرجعي: روبوت فائق الذكاء، موجه بشريًا، يركض نفس المهمة تمامًا في نفس وقت اختبار الذكال الاصطناي. هو يتبع خطة صارمة ومعتمدة مسبقًا للوصول إلى الإجابة "الصحيحة" لتلك اللحظة تحديدًا.
- عداء الاختبار: الذكاء الاصطناعي الذي يتم اختباره يحاول اكتشاف الخطة بمفرده.
- الحَكَم: عند خط النهاية، يقوم حَكم (ذكاء اصطناعي آخر) بمقارنة نتيجة "عداء الاختبار" مع نتيجة "العداء المرجعي".
هذا يضمن عدم معاقبة الذكاء الاصطناي بسبب تغير الطقس أو تغير سعر سهم؛ بل يُعاقب فقط إذا فشل في التعامل مع التغييرات بشكل صحيح.
النتائج: حتى "الأطفال الأذكياء" يعانون
اختبر الباحثون 18 نموذجًا مختلفًا من نماذج الذكاء الاصطناعي (بما في ذلك الأذكى مثل GPT-5 وClaude).
- الدرجة: حتى أفضل نماذج الذكاء الاصطناعي لم تنجح إلا في حوالي 58% من المهام.
- التشبيه: تخيل إعطاء مجموعة من طلاب الدكتوراه رحلة بحث عن الكنز معقدة، حيث يتعين عليهم الاتصال بخمسة أشخاص مختلفين، والتحقق من ثلاثة مواقع إلكترونية مختلفة، وكتابة تقرير، كل ذلك بينما تتغير الأدلة أمامهم. حتى الطلاب الأكثر ذكاءً فشلوا أكثر من 40% من المرات.
"الخطايا السبع المميتة" (أنماط الفشل)
حللت الورقة البحثية لماذا فشل الذكاء الاصطناي ووجدت سبعة أخطاء شائعة، مقسمة إلى ثلاث فئات رئيسية:
1. فشل التخطيط (السائق التائه)
- تجاهل الخريطة: يتجاهل الذكاء الاصطناي جزءًا من التعليمات تمامًا (مثلاً: "ابحث عن الفيديو الثاني الأكثر شعبية" ولكنه يجد الأول).
- الثقة المفرطة: يعتقد الذكاء الاصطناي أنه يعرف الإجابة من ذاكرته الخاصة ويرفض استخدام الأدوات، مما يؤدي إلى الهلوسة (اختلاق معلومات).
- الكلام دون فعل: يكتب الذكاء الاصطناعي خطة مثالية في "أفكاره" لكنه لا يقوم أبدًا بالضغط على الأزرار لتنفيذها.
- الأداة الخاطئة: يختار الذكاء الاصطناي الأداة الصحيحة لكنه يستخدم أداة أخرى (مثلاً: استخدام أداة "بحث" بينما يحتاج إلى "آلة حاسبة").
2. أخطاء المعاملات (مشكلة "الخطأ المطبعي")
- أخطاء الصيغة (Syntax Errors): يتحدث الذكاء الاصطناي لغة الأداة بشكل سيء. يقول "1" (كلمة) بينما تحتاج الأداة إلى
1(رقم). ترفض الأداة الطلب فورًا. - أخطاء الدلالة (Semantic Errors): يتحدث الذكاء الاصطناي اللغة بشكل صحيح ولكن يفهم المعنى بشكل خاطئ. يطلب "الطقس في نيويورك" بينما كان يقصد المستخدم "مدينة نيويورك"، أو يطلب تاريخًا غير موجود.
3. معالجة المخرجات (مشكلة "الميل الأخير")
- أخطاء التحليل (Parsing Errors): تعطي الأداة الذكاء الاصطناي البيانات الصحيحة (مثل ملف JSON يحتوي على أرقام)، لكن الذكاء الاصطناي يفشل في قراءتها بشكل صحيح. قد يحسب المتوسط بشكل خاطئ أو يفقد رقمًا رئيسيًا، مما يفسد التقرير النهائي.
الخلاصة
تخلص الورقة إلى أنه بينما يتحسن الذكاء الاصطناي في التحدث إلى الأدوات، إلا أنه لا يزال غير موثوق به بما يكفي للوظائف المعقدة في العالم الحقيقي حيث تتغير الأشياء في الوقت الفعلي.
- النماذج مغلقة المصدر (مثل GPT-5) أفضل في التخطيط، لكنها لا تزال تعاني في "الميل الأخير" المتعلق بقراءة البيانات بشكل صحيح.
- النماذج مفتوحة المصدر غالبًا ما تعجز وتدخل في حلقات مفرغة، مما يهدر الوقت والرموز (tokens) دون إحراز أي تقدم.
باختًا: لقد بنينا صالة ألعاب رياضية صارمة للغاية في العالم الحقيقي (LiveMCP-101) لاختبار الذكاء الاصطناي. تُظهر النتائج أن حتى رياضيي الذكاء الاصطناي الأقوياء يتعثرون حاليًا في أربطة أحذيتهم عندما يُطلب منهم الركض في ماراثون مع خريطة حية ومتغيرة. لا يزال هناك طريق طويل قبل أن نتمكن من الوثوق بهم للعمل بشكل مستقل في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.