🤖 AI

MASEval: Extending Multi-Agent Evaluation from Models to Systems

تقدم MASEval مكتبةً غير مرتبطة بإطار عمل محدد تنقل تقييم الوكلاء المتعددين من نهج متمحور حول النموذج إلى نهج متمحور حول النظام، وتثبت من خلال تجارب مكثفة أن قرارات التنفيذ المتعلقة بالبنية الطوبولوجية والتنسيق تؤثر على الأداء بشكل كبير بقدر تأثير اختيار النموذج نفسه.

المؤلفون الأصليون: Cornelius Emde, Alexander Rubinstein, Anmol Goel, Ahmed Heakl, Sangdoo Yun, Seong Joon Oh, Martin Gubri

نُشر 2026-03-11

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Cornelius Emde, Alexander Rubinstein, Anmol Goel, Ahmed Heakl, Sangdoo Yun, Seong Joon Oh, Martin Gubri

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء خدمة توصيل مثالية لمدينة ما. لديك أسطول من السائقين الأذكياء للغاية (نماذج الذكاء الاصطناوي) الذين يعرفون كيفية التنقل، وقراءة الخرائط، والتحدث مع العملاء.

لفترة طويلة، كان الباحثون والشركات مهووسين فقط بسؤال: "أي سائق هو الأسرع؟" كانوا يختبرون السائق (أ)، والسائق (ب)، والسائق (ج) على نفس المسار ويعلنون فوز أحدهم.

المشكلة:
تجادل هذه الورقة البحثية بأن هذا النهج يفتقد الجزء الأكبر من اللغز. الأمر يشبه قولك "السائق (أ) هو الأفضل"، بينما في الواقع، كان السائق (أ) يقود سيارة رياضية أنيقة مزودة بنظام GPS، بينما كان السائق (ب) عالقاً في عربة متهالكة بدون خريطة.

الـ "سيارة" والـ "GPS" هما الأطر البرمجية (مثل LangGraph أو smolagents وغيرها). تقول الورقة إن نوع المركبة التي تضع فيها السائق يهم بقدر موهبة السائق نفسه. إذا اخترت مركبة سيئة، فحتى أفضل سائق سيفشل.

مرحبًا بـ MASEval: "مضمار الاختبار العالمي"

قام المؤلفون ببناء أداة جديدة تسمى MASEval. فكر فيها كـ مضمار اختبار عالمي لا يهتم بنوع السيارة أو السائق الذي تملكه.

إليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. مرآب "أحضر ما تملك"

معظم أدوات الاختبار تشبه وكالة سيارات محددة لا تسمح لك إلا باختبار علاماتها التجارية فقط. إذا أردت اختبار سيارة "فورد"، فلا يمكنك ذلك؛ بل يجب عليك شراء "تويوتا" أولاً.

MASEval يشبه مرآباً ضخماً ومحايداً. يمكنك إحضار سائقك الخاص (نموذج الذكاء الاصطناعي)، وسيارتك الخاصة (الإطار البرمجي)، ومسارك الخاص (المعيار المرجعي).
إنه يضعهم جميعاً على نفس المضمار ويقيس النظام بأكمله، وليس السائق فقط.

2. "الصندوق الأسود" مقابل "قمرة القيادة الشفافة"

كانت أدوات الاختبار القديمة تشبه الصناديق السوداء. كانت تعطيك نتيجة: "السائق (أ) أنهى السباق في 10 دقائق". لكنها لم تخبرك لماذا. هل تاه السائق؟ أم تعطلت السيارة؟ أم أن نظام الـ GPS أعطى توجيهات خاطئة؟

MASEval يشبه قمرة قيادة شفافة بها كاميرا فيديو في كل جزء من السيارة.
إنه يسجل كل محادثة بين السائق والراكب، وكل مرة يتعثر فيها المحرك، وكل منعطف خاطئ. هذا يسمح للباحثين برؤية أين فشل النظام بالضبط: هل كان الخطأ من السائق، أم أن محرك السيارة (الإطار البرمجي) كان هو المشكلة؟

3. الاكتشاف الكبير: السيارة تهم أكثر مما تعتقد

أجرى المؤلفون تجربة ضخمة. أخذوا ثلاثة "سائقين" مختلفين (نماذج ذكاء اصطناعي) وثلاث "سيارات" مختلفة (أطر برمجية) وخلطوا بينهم في كل التشكيلات الممكنة.

النتيجة الصادمة:
وجدوا أن اختيار السيارة الصحيحة (الإطار البرمجي) كان بنفس أهمية اختيار السائق المناسب (النموذج).

في بعض الحالات، كان أداء "سائق جيد" يقود "سيارة سيئة" أسوأ من أداء "سائق متوسط" في "سيارة رائعة".
أحد الأمثلة المحددة: علق سائق من الطراز الرفيع في حلقة مفرغة لأن نظام الـ GPS في السيارة كان يطلب الشيء نفسه مراراً وتكراراً. لم يكن السائق غبياً؛ بل كانت تعليمات السيارة مربكة!

لماذا يجب أن تهتم؟

بالنسبة لـ "الممارسين" (أصحاب الأعمال):
إذا كنت تبني نظام ذكاء اصطناعي لشركتك، فهذه الورقة تخبرك: لا تكتفِ بالبحث عن نموذج الذكاء الاصطناعي الأكثر تكلفة فحسب. أنت بحاجة إلى البحث عن أفضل نظام لتشغيله فيه. اختيار الإطار البرمجي الخاطئ قد يهدر أموالك ويفسد نتائجك، حتى لو كنت تملك أذكى ذكاء اصطناعي متاح.

بالنسبة لـ "الباحثين" (الميكانيكيين):
إنها تمنحهم وسيلة للتوقف عن التخمين. بدلاً من القول "النموذج (X) أفضل"، يمكنهم أخيراً القول "النموذج (X) يعمل بشكل رائع في الإطار (A)، لكنه يفشل في الإطار (B) بسبب طريقة تعامله مع الأخطاء". وهذا يساعدهم على بناء أنظمة ذكاء اصطناعي أفضل وأكثر موثوقية.

الخلاصة

MASEval هي أداة جديدة توقفنا عن الحكم على السمكة بناءً على قدرتها على تسلق شجرة. إنها تدرك أنه في عالم وكلاء الذكاء الاصطناعي، الفريق (النظام) هو الأهم من اللاعب النجم (النموذج).

إنها مجموعة أدوات مفتوحة المصدر (مجانية للاستخدام) تساعد الجميع على بناء فرق ذكاء اصطناعي أفضل وأكثر موثوقية من خلال اختبار الفريق بأكمله، وليس القائد فقط.

ملخص تقني لورقة بحثية: "MASEval: توسيع نطاق تقييم الوكلاء المتعددين من النماذج إلى الأنظمة"

1. بيان المشكلة

أدى الاعتماد السريع للأنظمة القائمة على الوكلاء (Agentic Systems) والمستندة إلى النماذج اللغوية الكبيرة (LLM) إلى انتشار الأطر البرمجية (مثل LangGraph، وAutoGen، وsmolagents، وCAMEL). ومع ذلك، تعاني ممارسات التقييم الحالية من تحيز مركزي للنموذج (Model-centric bias):

تداخل الأداء: تعرض المعايير الحالية (مثل GAIA وAgentBench) النتائج عادةً بصيغة "النموذج X يحقق Y%"، مما يفترض ضمناً وجود هيكل وكيل ثابت. هذا يخلط بين القدرة الجوهرية للنموذج وبين تنفيذ الإطار البرمجي (Framework) الخاص به، ومنطق التنسيق (Orchestration)، ومعالجة الأخطاء.
فجوة التقييم: لا توجد طريقة منهجية لمقارنة قرارات التصميم على مستوى النظام (مثل الطوبولوجيا، واستراتيجيات التنسيق، وتنسيقات استدعاء الأدوات) عبر مختلف الأطر البرمجية.
التجزئة: يواجه الباحثون والممارسون واجهات مجزأة؛ حيث يتطلب تقييم نظام عبر معايير متعددة إعادة تنفيذ كبيرة للشيفرة البرمجية (Boilerplate)، كما تفتقر مكتبات التقييم الحالية إلى البنية التحتية للتتبع لكل وكيل (Per-agent tracing) والمقارنة عبر الأطر المختلفة.

السؤال الجوهري: هل يؤثر اختيار الإطار البرمجي على أداء نظام الوكلاء المتعددين بنفس قدر تأثير اختيار النموذج الأساسي؟

2. المنهجية: إطار عمل MASEval

قدم المؤلفون MASEval، وهو مكتبة تقييم مستقلة عن الأطر البرمجية، صُممت للتعامل مع النظام بأكمله (الوكلاء، الإطار البرمجي، ومنطق التنسيق) كوحدة تحليل واحدة.

مبادئ التصميم

بُني MASEval على خمسة مبادئ أساسية لضمان المرونة والاستقلالية:

النظام كوحدة للتحليل: تقييم النظام الكامل لمقارنة الخيارات المعمارية، وليس فقط قدرات النموذج.
أحضر ما تملك (BYO): لا يتم تفضيل أي إطار برمجي أو مزود نماذج أو خلفية تسجيل (Logging backend)؛ حيث يفرض النواة فصلاً صارماً ولا يستورد أي كود خاص بإطار معين.
البنية التحتية، لا التنفيذ: يوفر التنسيق، والتتبع، وإدارة دورة الحياة، بينما يترك تعريف الأدوات وسلوك الوكيل للمستخدم.
فصل الاهتمامات: فصل تعريف المهام، والبيئة (الأدوات/الحالة)، ومنطق الوكيل، ومقاييس التقييم.
التقييم القائم على التتبع أولاً: تسجل جميع المكونات سجلات (Traces) مشتركة منظمة حسب المكون، مما يسمح بفحص أنماط التنسيق وقابلية المراقبة الجزئية.

بنية النظام

يستخدم MASEval بنية نموذجية ذات حدود تبعية صارمة:

وقت التشغيل الأساسي (Core Runtime): يدير دورة حياة المعيار (الإعداد، التنفيذ، الجمع، التقييم، التقرير) ويدير التتبع.
المهايئات (Adapters): أغلفة رقيقة (مثل AgentAdapter وModelAdapter) تسمح بدمج أي إطار عمل (smolagents، LangGraph، LlamaIndex) أو مزود نماذج دون تعديل النواة.
دورة حياة المعيار:
1. الإعداد: إنشاء البيئة، والأدوات، ومحاكيات المستخدم، والوكلاء.
2. التنفيذ: تشغيل الوكلاء مع تنسيق أدوار (Turn orchestration) قابل للتخصيص.
3. الجمع: جمع سجلات التتبع لكل وكيل والبيانات الوصفية للنظام (حالة Git، إصدارات البيئة).
4. التقييم: حساب المقاييس من السجلات الكاملة (بما في ذلك الخطوات الوسيطة).
5. التقرير: تخزين النتائج المهيكلة.

الميزات الرئيسية

تتبع الوكلاء المتعددين: يحافظ على تاريخ رسائل مستقل لكل وكيل لتصحيح أخطاء التنسيق.
الاختبار التكيفي: يستخدم AdaptiveTaskQueue (بناءً على نظرية الاستجابة للمفردة - IRT) لاختيار المهام الأكثر إفادة، مما يقلل تكاليف التقييم بنسبة تصل إلى 99% للنماذج الرائدة.
قابلية التكرار: يلتقط تلقائياً حالة Git وتكوينات البيئة.

3. المساهمات الرئيسية

أول مكتبة تقييم على مستوى النظام: MASEval هي أول مكتبة تمكن المقارنة المستقلة عن الأطر البرمجية على مستوى النظام عبر أي إطار عمل للوكلاء وأي معيار.
واجهة موحدة: تقلل من عبء التكامل لمستهلكي المعايك بنسبة 83-91% ومن جهد التنفيذ لمنتجيها بنسبة 35-57%.
التحقق التجريبي: أجرى أول مقارنة منهجية عبر الأطر باستخدام 3 معايير، و3 أطر برمجية، و3 نماذج (27 تكويناً).
إطلاق مفتوح المصدر: تم إصداره بموجب رخصة MIT مع مهايئات لأطر العمل والمعايير الرئيسية (MACS، CONVERSE، MultiAgentBench، $\tau^2$ -Bench).

4. النتائج التجريبية

أجرى المؤلفون تجربة عاملية كاملة (Full Factorial Experiment) لمقارنة smolagents وLangGraph وLlamaIndex باستخدام GPT-5-mini وGemini-3.0-Flash وClaude-Haiku-4.5 عبر مجالات مثل السفر، والرهن العقاري، والأمن.

النتائج الرئيسية:

اختيار الإطار البرمجي مهم: ضمن فئة القدرة الواحدة، يؤثر اختيار الإطار البرمجي على الأداء بشكل مماثل لاختيار النموذج.
- الدليل الإحصائي: عبر ستة مجالات، كان نطاق متوسط الأداء عبر النماذج هو 14.2 نقطة مئوية (pp)، بينما كان النطاق عبر الأطر البرمجية 12.4 نقطة مئوية.
- مثال محدد: في مهمة MACS للسفر، سجل نموذج Haiku 4.5 نتيجة 90.4 باستخدام smolagents ولكن سجل 59.5 فقط مع LlamaIndex—أي بفارق 30.9 نقطة مئوية ناتج فقط عن الإطار البرمجي.
التفاعلات بين الإطار والنموذج: لا يوجد إطار برمي واحد يهيمن على جميع النماذج.
- دراسة حالة: فرض smolagents استدعاء أداة في كل خطوة. عانى GPT-5-mini من هذا الأمر، حيث أخطأ في تفسير رسائل الخطأ وحاول إعادة استدعاء الأدوات حتى 23 مرة، مما أدى إلى استهلاك توكنات (Tokens) أعلى بـ 10 أضعاف مقارنة بالنماذج الأخرى. كان نمط الفشل هذا مرتبطاً بالتفاعل بين توجهات هذا النموذج واتفاقيات الإطار البرمجي.
الاستنتاج: إن تحسين النموذج وحده مع تجاهل الإطار البرمجي هو أمر غير مثالي. التقييم على مستوى النظام ضروري لتحديد هذه التفاعلات.

5. الأهمية والأثر

تحول في النموذج الفكري: يتحدى البحث الوضع الراهن "المركزي للنموذج"، ويجادل بأن حامل التنسيق (Orchestration harness) لا يقل أهمية عن النموذج اللغوي الكبير نفسه بالنسبة لأنظمة الوكلاء.
الفائدة العملية: يوفر للممارسين توجيهاً قائماً على البيانات بشأن اختيار الأطر البرمجية، والانتقال من التنفيذ العشوائي إلى تصميم الأنظمة المنهجي.
السلامة وقابلية التكرار: من خلال توحيد بنية التقييم التحتية، يمكن لـ MASEval لمجتمع السلامة تحديد أنماط الفشل ومقارنة استراتيجيات التخفيف عبر الأطر البرمجية بشكل قابل للتكرار.
الاتجاهات المستقبلية: تشير الورقة إلى أنه مع توسع أنظمة الوكلاء المتعددين، سيكون فهم حدود عبء التتبع ومرونة المهايئات للهياكل الجديدة أمراً بالغ الأهمية.

باختصار، يعمل MASEval على سد الفجوة بين أطر عمل الوكلاء والمعايير، مثبتاً أن قرارات التنفيذ (اختيار الإطار البرمجي) هي محرك أساسي للأداء في أنظمة الوكلاء المتعددين، مما يستوجب التحول نحو تقييم شامل على مستوى النظام.