🤖 AI

The Necessity of a Unified Framework for LLM-Based Agent Evaluation

تجادل هذه الورقة بأن الافتقار الحالي إلى المعايير في تقييم الوكلاء القائمين على النماذج اللغوية الكبيرة، والناجم عن عوامل مربكة مثل تباين الأوامر والبيئات، يستلزم وجود إطار عمل موحد لضمان تقييم عادل وقابل للتكرار وصارم لأداء النماذج.

المؤلفون الأصليون: Pengyu Zhu, Li Sun, Philip S. Yu, Sen Su

نُشر 2026-05-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Pengyu Zhu, Li Sun, Philip S. Yu, Sen Su

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: "اختبار التذوق الأعمى"

تخيل أنك تريد معرفة أي طباخ هو الأفضل في إعداد طبق معين. تقوم بإجراء اختبار تذوق أعمى. ولكن، هناك خدعة:

الطباخ (أ) مُنح فرنًا احترافيًا عالي الجدوى، ومكونات فاخرة، ومساعد طباخ لتقطيع الخضروات.
الطباخ (ب) مُنح محمصة خبز صدئة، ومكونات مجمدة، ولا يوجد لديه أي مساعدة على الإطلاق.

إذا صنع الطباخ (أ) وجبة لذيذة وصنع الطباخ (ب) وجبة محترقة، فقد تعتقد أن الطباخ (أ) هو الطباخ الأفضل. لكن في الواقع، لم يكن الفرق في النتيجة بسبب مهارات الطباخين فحسب؛ بل كان بسبب المطابخ التي كانوا يعملون فيها.

هذه هي بالضبط المشكلة التي تحددها الورقة البحثية فيما يتعلق بـ وكلاء النماذج اللغوية الكبيرة (LLM Agents).

حالياً، عندما يختبر الباحثون وكلاء الذكاء الاصطناٍ (الذكاء الذي يمكنه استخدام الأدوات، والتخطيط، واتخاذ القرارات)، فإنهم يحيطون كل ذكاء اصطناعي بـ "مطبخ" مختلف (يسمى Harness أو "إطار عمل"). قد يحصل أحد نماذج الذكاء الاصطناعي على مطالبة (Prompt) متطورة، ونظام ذاكرة ذكي، وواجهة أدوات صارمة. بينما قد يحصل نموذج آخر على مطالبة بسيطة وواجهة فوضوية. وعندما تظهر النتائج، لا نعرف ما إذا كان الذكاء الاصطناعي هو الأذكى، أم أنه حصل فقط على "مطبخ" أفضل.

حل الورقة البحثية: "مضمار سباق" موحد

يجادل المؤلفون بأنه لكي نقارن بين نماذج الذكاء الاصطناعي بشكل عادل، نحتاج إلى إطار عمل موحد. فكر في هذا كبناء مضمار سباق واحد ومعياري لجميع السيارات (نماذج الذكاء الاصطناعي) لتسير عليه.

السيارة (نموذج الذكاء الاصطناعي): هذا ما نريد اختباره. هل هي سريعة؟ هل هي فعالة؟
المضمار (الإطار والبيئة): يتضمن سطح الطريق، والطقس، ونوع الوقود، وقواعد السباق.

تقول الورقة: اجعل المضمار متطابقاً تماماً للجميع.
إذا قمنا بتغيير المضمار (المطالبات، أدوات الذاكرة، طريقة تحدث الذكاء الاصطناٍ مع الإنترنت) لكل اختبار، فلن نتمكن من معرفة ما إذا كان الوقت الأسرع بسبب سيارة أفضل أم لأن الطريق كان أكثر سلاسة.

ما الذي يحتاج إلى إصلاح؟ (أجزاء "المضمار")

تقسم الورقة البحثية "المطبخ" أو "المضمار" إلى خمسة أجزاء محددة يجب توحيدها حتى لا تفسد النتائج:

قواعد الطريق (الاستدلال - Inference): أحياناً يتم حظر أحد نماذج الذكاء الاصطناعي بواسطة مرشح سلامة بينما لا يتم حظر الآخر، لمجرد أنهما يستخدمان مزودي خدمة إنترنت مختلفين. يجب أن يضمن الاختبار أن القواعد هي نفسها للجميع.
كتيب التعليمات (المطالبة - Prompting): بعض اختبارات الذكاء الاصطناعي تعطي النموذج تعليمات مكونة من 200 كلمة، بينما تعطي اختبارات أخرى دليلاً مكوناً من 2000 كلمة يخبر الذكاء الاصطناٍ بالضبط كيف يفكر. تقول الورقة إن المهمة يمكن أن تكون مختلفة، ولكن طريقة تقديم التعليمات يجب أن تكون واحدة.
الدفتر (الذاكرة - Memory): يحصل بعض وكلاء الذكاء الاصطناعي على دفتر ملاحظات منظم بدقة لتذكر الأحداث الماضية. بينما يحصل آخرون على كومة فوضوية من الأوراق حيث يتم رمي المعلومات القديمة عشوائياً. يجب أن يضمن الاختبار أن كل ذكاء اصطناٍ يحصل على نفس النوع من الدفاتر.
حزام الأدوات (استدعاء الأدوات - Tool Invocation): يتم تعليم بعض نماذج الذكاء الاصطناعي استخدام الأدوات بتنسيق صارم للغاية؛ بينما يُسمح لأخرى بأن تكون غير دقيقة. إذا فشل أحد النماذج لأنه أخطأ في فاصلة في استدعاء الأداة، بينما نجح آخر لأن الاختبار كان متساهلاً، فهذه ليست مقارنة عادلة.
العالم (البيئة - Environment): هذا جزء كبير. إذا تم اختبار الذكاء الاصطناٍ على موقع إلكتروني "حي"، فقد يتغير الموقع غداً. إذا فشل الذكاء الاصطناٍ لأن الموقع تغير، فهذا ليس خطأ الذكاء الاصطناٍ. تجادل الورقة بضرورة استخدام لقطات "مجمدة" للعالم حتى لا تتغير البيئة أثناء الاختبار.

ما الذي لا يهدف إليه هذا الإطار؟

يؤكد المؤلفون بحذر على ما لا يهدف إليه هذا الإطار:

هو ليس محاولة لإيقاف الابتكار في منتجات الذكاء الاصطناٍ في العالم الحقيقي. يجب أن تظل الشركات مثل Anthropic أو OpenAI حرة في بناء "مطابخ" مذهلة ومعقدة ومبتكرة لمنتجاتها.
هو ليس محاولة لجعل كل نماذج الذكاء الاصطناٍ تبدو متشابهة.
هو فقط من أجل الاختبار العلمي (الامتحان).

فكر في الأمر مثل سباقات الفورمولا 1:

المحرك (نموذج الذكاء الاصطناٍ): هذا ما يريد المصنعون تحسينه.
اللوائح (إطار العمل الموحد): تضع الهيئة المنظمة للسباق (FIA) قواعد صارمة بشأن حجم الإطارات والوقود وأبعاد الشاسيه.
لماذا؟ لكي نعرف عندما تكون إحدى السيارات أسرع من الأخرى، أن ذلك بسبب المحرك، وليس لأن أحد الفرق استخدم إطارات أفضل أو وقوداً مختلفاً.

الخطة المقترحة

تقترح الورقة نظاماً من ثلاثة أجزاء لإصلاح الأمر:

ركيزة محكومة (Controlled Substrate): "مشغل" قياسي يحافظ على ثبات المطالبات والذاكرة والأدوات لكل اختبار.
طريقة تسجيل نقاط معيارية: بدلاً من مجرد قول "نجح/فشل"، نحتاج إلى قياس كيف أدى الذكاء الاصطناٍ المهمة (هل استغرق خطوات كثيرة؟ هل استهلك ذاكرة كبيرة؟).
التحكم في الإصدارات (Version Control): بما أن التكنولوجيا تتحرك بسرعة، يجب أن يكون لهذا "الكتاب المرجعي" إصدارات (مثل v1.0، v2.0). إذا تغيرت القواعد، فلا نقارن النتائج من الإصدار القديم بالجديد، تماماً كما لا نقارن زمن دورة سيارة في عام 2020 بعام 2024 دون تعديل وفقاً للقواعد الجديدة.

الملخص

تدعي الورقة أننا نقارن حالياً "التفاح بالبرتقال" لأن كل اختبار للذكاء الاصطناٍ يستخدم إعدادات مختلفة. لمعرفة أي ذكاء اصطناٍ هو "الأذكى" حقاً، نحتاج إلى وضعهم جميعاً في الغرفة ذاتها تماماً، وإعطائهم نفس الأدوات تماماً، ومراقبتهم وهم يحلون نفس المشكلات. عندها فقط يمكننا القول: "هذا الذكاء الاصطناٍ أفضل"، بدلاً من قول: "هذا الذكاء الاصطناٍ حصل على إعدادات أفضل".

ملخص تقني: ضرورة وجود إطار عمل موحد لتقييم القدرات الوكيلة للنماذج اللغوية الكبيرة (LLM)

بيان المشكلة

انتقل تقييم القدرات الوكيلية للنماذج اللغوية الكبيرة (LLM) بشكل متزايد نحو معايير الاختبار القابلة للتنفيذ، حيث يتم تغليف النماذج في أطر عمل وكيلية (مطالبات، ذاكرة، واجهات أدوات، ومحللات). وتحدد الورقة مشكلة تحديد الهوية الحرجة: فعندما تحقق نموذجان مختلفان من الـ LLM درجات مختلفة في معايير اختبار الوكلاء، لا يمكن عزو هذا التباين بشكل موثوق إلى القدرات الوكيلية الجوهرية للنماذج. بدلاً من ذلك، تتأثر الدرجات بعوامل مشوشة غير متعلقة بالنموذج نفسه، بما في ذلك:

توافق إطار العمل (Harness Compatibility): الاختلافات في هيكلة المطالبات (Scaffolding)، واستراتيجيات التخطيط (مثل ReAct مقابل Chain-of-Thought)، وتنسيق الذاكرة.
تباين الاستدلال (Inference Variability): قيود الرقابة على المحتوى الخاصة بالمزودين، وقيود واجهة برمجة التطبيقات (API)، وسلوكيات فك الترميز الخاصة بالمحركات (مثل vLLM مقابل Transformers).
التباين في استدعاء الأدوات (Tool Invocation Discrepancies): عدم توافق تعريفات المخططات (Schema)، ومعالجة أنواع المعاملات، وصرامة المحلل (مثل تحليل JSON القائم على Regex مقابل استدعاء الوظائف الأصلي).
انحراف البيئة (Environment Drift): إن استخدام بيئات حية وديناميكية (مثل البحث عبر الويب) يُدخل ضوضاء غير قابلة لإعادة الإنتاج، حيث يعتمد حل المهام على حالة الإنترنت في وقت التقييم بدلاً من قدرة النموذج.

ويجادل المؤلفون بأنه بدون معالجة هذه العوامل المشوشة، فإن درجات معايير الاختبار ستخلط بين قدرة النموذج والخيارات الهندسية المتخذة في البنية التحتية المحيطة به، مما يجعل المقارنات بين نماذج الـ LLM المختلفة غير صالحة علمياً.

المنهجية وإطار العمل المقترح

تقترح الورقة إطار عمل تقييم موحد يرتكز على مبدأ "التحكم في المتغيرات"، على غرار اختبار نفق الرياح في الديناميكا الهوائية أو اختبار أداء وحدة معالجة الرسومات (GPU) في الأجهزة. لا يسعى إطار العمل إلى توحيد جميع منتجات الوكلاء أو تجميد الابتكار في الأنظمة المنشورة؛ بل يهدف إلى إنشاء ركيزة تجريبية محكومة لتقييم مكون الـ LLM تحديداً.

يتكون إطار العمل من مكونين أساسيين:

1. ركيزة التنفيذ المحكومة (Controlled Execution Substrate)

يعمل هذا المكون على توحيد الطبقات غير المتعلقة بالـ LLM المحيطة بالنموذج لضمان بقائها ثابتة عبر عمليات التقييم. وهو يفرض ما يلي:

آليات إطار عمل ثابتة: بيئة تشغيل موحدة لبناء المطالبات، وتسلسل الذاكرة، وإرسال الأدوات. تقترح الورقة اعتماد أطر عمل عامة موجودة (مثل smolagents) كمرجع للتنفيذ لضمان التوحيد في تمثيل الذاكرة، ومعالجة الأخطاء، وحلقات التخطيط.
بيئات حتمية: استبدال البيئات الحية والديناميكية ببيئات تعتمد على لقطات زمنية مثبتة الإصدار (مثل أخذ لقطة لمحتوى الويب أو استخدام قواعد بيانات محاكية) للقضاء على انحراف البيئة.
عقود مدخلات/مخرجات موحدة: ضمان اتساق تعريفات الأدوات، وأنواع المعاملات، وقواعد التحليل عبر جميع معايير الاختبار التي تعمل على الركيزة.

2. منهجية التقييم المنهجية

يعمل هذا المكون على توحيد كيفية قياس سلوك الوكيل والإبلاغ عنه:

مقاييس معيارية: الانتقال من الدرجات العددية الفردة إلى نظام إبلاغ متعدد الأبعاد يغطي صحة المسار (Trajectory Correctness)، وتغييرات حالة البيئة، واستخدام الموارد (تكلفة الرموز/Tokens، وزمن الاستجابة).
تحليل جبهة باريتو (Pareto Frontier Analysis): تقييم النماذج بناءً على هيمنتها عبر معايير الصحة، والكفاءة، والتكلفة، بدلاً من درجة واحدة مجمعة.
تصنيف مشترك للفشل: وضع تصنيف موحد لإخفاقات الوكيل (مثل "معلومات خاطئة"، "تنسيق غير صالح") لتمكين تحليل الفشل القابل للمقارنة عبر مختلف معايير الاختبار.
حوكمة الإصدارات: تنفيذ نظام إصدارات (مشابه لـ MLPerf أو vLLM) حيث يتم وسم الدرجات بإصدار إطار العمل المحدد. وهذا يسمح للمواصفات بالتطور مع التكنولوجيا دون إبطال البيانات التاريخية، مما يمنع جمود المفاهيم الحالية.

المساهمات الرئيسية

تشخيص التباين المشوش: تصنف الورقة بشكل منهجي مصادر ضوضاء التقييم التي تتجاوز الـ LLM، بما في ذلك تكوين الاستدلال، وهيكلة المطالبات، وإدارة الذاكرة، ودلالات استدعاء الأدوات، وديناميكيات البيئة. وتقدم أمثلة ملموسة (مثل كيف يؤدي المحلل الصارم مقابل المحلل المتساهل إلى تغيير درجات استخدام الأدوات) لتوضيح حجم هذه التأثيرات.
التمييز بين التقييم والنشر: يوضح المؤلفون أن إطار العمل الموحد مخصص لـ المقارنة المحكومة للقدرات، وهو يختلف عن تصميم منتجات الوكيل المنشورة (مثل Claude Code أو Codex)، حيث يكون الابتكار في إطار العمل مرغوباً فيه.
المواصفات التشغيلية: تحدد الورقة المتطلبات الهيكلية لتكون معايير الاختبار "متوافقة مع الركيزة"، حيث تحدد ثلاثية مجموعات التعليمات ( $I$ )، ومجموعات الأدوات ( $T$ )، ومجموعات البيئة ( $E$ ) التي يجب أن تستوفي قيوداً هيكلية محددة (مثل معايير النجاح القابلة للأتمتة، والبيئات المثبتة بالإصدار).
نموذج الحوكمة: تقترح نموذج حوكمة قائم على الإصدار لإدارة التوتر بين الحاجة إلى استقرار التقييم والوتيرة السريعة لابتكار وكلاء الـ LLM.

النتائج والأدلة

لا تقدم الورقة نتائج تجريبية جديدة تقارن نماذج محددة. بدلاً من ذلك، تُستمد "نتائجها" من:

الملاحظات التجريبية: الاستشهاد بـ Holistic Agent Leaderboard [10]، الذي أظهر أن نفس نموذج الـ LLM يحقق درجات مختلفة تماماً عند تقييمه تحت أطر عمل مختلفة في نفس معيار الاختبار.
دراسات الحالة:
- هيكلة المطالبات: مقارنة مطالبة BFCL المكونة من ~200 كلمة مع هيكل smolagents المكون من ~2,000 كلمة، مما يظهر كيف يقوم الأخير بتشفير منطق التخطيط وإعادة التخطيط الصريح الذي يرفع الأداء بشكل اصطناعي.
- تمثيل الذاكرة: المقارنة بين خطوات الذاكرة المهيكلة (smolagents) وسجلات الدردشة المسطحة (τ-bench، BFCL)، مما يوضح كيف يؤثر وسم الأخطاء وتصنيف الخطوات على قدرات الاسترداد.
- انحراف البيئة: تحليل ثلاثة مسارات من BrowseComp و BFCL V4 حيث تسببت نتائج البحث عبر الويب الحية (المقتطفات القديمة، حظر البوتات، تغير مؤشرات البحث) في تصنيف مسارات الاستدلال الصحيحة كإخفاقات، مما يثبت أن الدرجات تعكس حالة البيئة بقدر ما تعكس قدرة النموذج.

الأهمية والادعاءات

تدعي الورقة أن الحالة الراهنة لتقييم وكلاء الـ LLM تمثل "حاجزاً هيكلياً" أمام التقدم القابل للتفسير علمياً. وتكمن أهميتها في:

تمكين العزو العادل: من خلال تثبيت إطار العمل والبيئة، يسمح الإطار للباحثين بعزو فروق الأداء حصرياً إلى الـ LLM، وفصل قدرة النموذج عن الجهد الهندسي.
قابلية إعادة الإنتاج: تعالج الورقة الطبيعة "غير القابلة لإعادة الإنتاج" لمعايير اختبار الوكلاء الحالية بسبب انحراف البيئة الحية، مما يضمن أن الدرجات هي خصائص للنموذج وليس للحظة الاختبار.
توحيد المجتمع: تدعو إلى التحول من مجموعات الأدوات المصممة خصيصاً لكل معيار اختبار إلى بنية تحتية مشتركة ومُصدرة، على غرار كيفية توحيد MLPerf لمعايب أداء وحدات معالجة الرسومات.

يضع المؤلفون هذا العمل ليس كقيد على الابتكار في تصميم الوكلاء، بل كشرط مسبق ضروري لقياس القدرات الوكيلية للنماذج الأساسية التي تشغل تلك التصاميم بدقة.