💬 NLP

Evo-Bench: Can Language Models Improve Agent Harness?

تقدم هذه الورقة "إيفو-بنش" (Evo-Bench)، وهو أول معيار مصمم لعزل وتقييم القدرة الجوهرية للنماذج اللغوية على تطوير أطر تشغيلها ذاتياً، مما يكشف عن مكاسب كبيرة في الأداء وهياكل استدلال قابلة للنقل، مع تسليط الضوء على التحديات الخاصة بمجالات معينة في المهام التي تتطلب سير عمل دقيق للغاية.

المؤلفون الأصليون: Lisheng Huang, Chen Yang, Hao Zhou, Huatong Song, Zongchao Chen, Ran Le, Yang Song, Wayne Xin Zhao, Tao Zhang

نُشر 2026-08-11

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Lisheng Huang, Chen Yang, Hao Zhou, Huatong Song, Zongchao Chen, Ran Le, Yang Song, Wayne Xin Zhao, Tao Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قمت للتو ببناء عقل روبوت فائق الذكاء. يمكنه القراءة، والكتابة، وحل الألغاز بشكل أفضل من أي شخص تقريبًا. لكن هناك عقبة: هذا العقل يشبه طباخًا عبقريًا ولكنه أخرق. لديه جميع المكونات (المعرفة) ولكن ليس لديه وصفة (تعليمات) حول كيفية طهي الوجبة فعليًا. في عالم الذكاء الاصطناائي، تسمى هذه "الوصفة" حمالة الوكيل (agent harness). وهي مجموعة القواعد والأدوات وسير العمل التي تخبر الذكاء الاصطناعي بكيفية استخدام عقله لإنجاز المهام—مثل كيفية البحث في الويب، أو تحرير جدول بيانات، أو كتابة تقرير.

لفترة طويلة، كان البشر هم من يكتبون هذه الوصفات، ويقومون بتعديلها بعناية لجعل الذكاء الاصطناعي يعمل بشكل أفضل. ولكن ماذا لو استطاع الذكاء الاصطناعي كتابة وصفاته الخاصة؟ ماذا لو، بدلًا من أن نخبره نحن بكيفية إصلاح أخطائه، استطاع الذكاء الاصطناعي النظر في إخفاقاته، ومعرفة ما الذي سار بشكل خاطئ، ثم إعادة كتابة تعليماته الخاصة ليصبح أكثر ذكاءً؟ هذا هو السؤال الكبير الذي يطرحه العلماء: هل يمكن للذكاء الاصطناعي حقًا أن يعلم نفسه كيف يكون عاملًا أفضل، أم أنه يحتاج فقط إلى إنسان يمسك بيده؟ تغوص هذه الورقة البحثية مباشرة في هذا الغموض، وتختبر ما إذا كان بإمكان الذكاء الاصطناعي تطوير "نظام تشغيله" الخاص ليصبح سيد مصيره.

تجربة التحسين الذاتي الكبرى للذكاء الاصطناعي

تعرفوا على Evo-Bench، أول "صالة ألعاب رياضية" (gym) صُممت خصيصًا لاختبار ما إذا كان بإمكان الذكاء الاصطناعي ترقية برمجياته الخاصة. فكر في الأمر كأنه لعبة فيديو حيث لا تكتفي الشخصية برفع مستواها من خلال اكتساب نقاط الخبرة فحسب؛ بل يُسمح للشخصية بدلاً من ذلك بإعادة كتابة كودها البرمجي لتصبح أقوى. قام الباحثون بإعداد بيئة محكومة تحتوي على ثلاثة أنواع مختلفة من "المهام": البحث (إيجاد المعلومات على الويب)، والمكتب (إدارة المستندات وجداول البيانات المعقدة)، والعامة (التعامل مع مزيج من المهام الصعبة والمفتوحة).

في هذه التجربة، أعطوا نماذج ذكاء اصطناعي متنوعة مجموعة بسيطة وأساسية من التعليمات ("الحمالة البذرية" أو seed harness) وميزانية صارمة من الوقت وقدرة الحاسوب. كانت مهمة الذكاء الاصطناعي هي العمل كمهندس مستقل: ينظر إلى مكان فشله، ويخمن السبب، ثم يعيد كتابة الكود الخاص به لإصلاحه. لم يتركوه يخمن فحسب؛ بل جعلوه يثبت تحسيناته من خلال مجموعة مهام "تحقق" قبل السماح له بمواجهة مجموعة "تقييم" نهائية وسرية. وقد ضمن ذلك أن الذكاء الاصطناعي لم يكن مجرد يحفظ الإجابات، بل يتعلم بالفعل كيفية بناء أدوات أفضل.

النتائج: مزيج من العبقرية والخلل

كانت النتائج رحلة مليئة بالارتفاعات والانخفاضات. أظهرت نماذج الذكاء الاصطناي الأعلى أداءً، مثل GPT-5.6 Sol و Claude Opus 4.8، أنها تستطيع بالفعل تعلم كيفية تحسين نفسها. لقد تمكنوا من تعزيز أدائهم بمقدار هائل قدره 16.6 نقطة عن نقطة البداية، مقتربين جدًا من مستوى الأنظمة التي يقضي البشر سنوات في هندستها يدويًا.

ومع ذلك، فإن القصة ليست مجرد "الذكاء الاصطناعي ينتصر". وجدت الورقة أن قدرة الذكاء الاصطناعي على التحسين الذاتي تعتمد بشكل كبير على ما يحاول القيام به:

مهام البحث: كان الذكاء الاصطناعي نجمًا خارقًا هنا. فقد عرف كيفية التنقل في الويب وتنظيف البيانات الفوضوية بشكل جيد لدرجة أنه كاد يضاهي الخبراء البشريين.
المهام العامة: في هذه التحديات الواسعة والإبداعية، تجاوز الذكاء الاصطناعي الأنظمة التي هندسها البشر. فقد ابتكر طرقًا جديدة للتفكير لم تخطر ببال البشر.
مهام المكتب: كانت هذه نقطة ضعف الذكاء الاصطناعي. عندما تتطلب الوظيفة سير عمل محددًا وصارمًا للغاية (مثل التعامل مع جداول البيانات المعقدة)، واجه الذكاء الاصطناعي صعوبة. لم يستطع تحديد الخطوات الدقيقة المطللة، وغالبًا ما كان يعلق أو يرتكب أخطاءً صغيرة ومتكررة.

فخ "التشبع المبكر"

أحد الاكتشافات الأكثر إثارة للاهتمام هو ظاهرة سماها المؤلفون "التشبع المبكر". تخيل طالبًا يؤدي اختبارًا. يدرس بجد، ويحصل على درجة جيدة من المحاولة الأولى، ثم يقرر مواصلة الدراسة. ولكن بدلًا من أن يصبح أفضل، يبدأ في الإفراط في التفكير ويتسبب بالخطأ في جعل إجاباته أسوأ. تشير الورقة إلى أن العديد من نماذج الذكاء الاصطناعي تصل إلى "نقطة مثالية" بسرعة، فتجد حلاً رائعًا، ولكنها تستمر في العبث به في الجولات اللاحقة، مما يؤدي بالخطأ إلى إفساد ما كان يعمل بشكل جيد. لقد نفد وقتهم أو صبرهم قبل أن يتمكنوا من إيجاد نظام مثالي حقًا.

تكلفة العبقرية

نظرت الورقة أيضًا في ثمن هذا التحسين الذاتي. اتضح أن الحصول على أفضل النتائج أمر مكلف. فقد كلف نموذج الذكاء الاصطناعي الأعلى أداءً أكثر من 500 دولار لتشغيله خلال التجربة، بينما حققت نماذج أخرى نتائج جيدة بأقل من 40 دولارًا. يشير هذا إلى وجود "حد باريتو" (Pareto frontier)—وهو منحنى مقايضة حيث يتعين عليك إنفاق الكثير من المال للحصول على تلك النقاط القليلة الأخيرة من المثالية.

الخلا-صة

إذًا، هل يمكن لنماذج اللغة تحسين حمالات الوكيل الخاصة بها؟ نعم، ولكن بحدود. تُظهر الورقة أن الذكاء الاصطناعي أصبح جيدًا حقًا في إعادة اختراع نفسه للمهام المفتوحة والمهام التي تعتمد على البحث، بل ويتفوق أحيانًا على المهندسين البشريين. ولكن بالنسبة للمهام التي تتطلب إجراءات محددة وصارمة، فإنه لا يزال بحاجة إلى يد بشرية لتوجيهه. تستنتج الورقة أنه بينما نرى الشرارات الأولى للتطور الذاتي الحقيقي للذكاء الاصطناعي، إلا أننا لم نصل إلى هناك تمامًا بعد. الذكال الاصطناعي يشبه متدربًا عبقريًا يمكنه ابتكار تقنية طبخ جديدة، ولكنه لا يزال بحاجة إلى رئيس طهاة ليخبره بالضبط كيف يقطع البصل. يوفر لنا هذا المعيار الجديد، Evo-Bench، خريطة واضحة لمكان وقوف الذكاء الاصطناعي اليوم وإلى أين يجب أن يتجه غدًا.

ملخص تقني: إيفو-بنش (Evo-Bench) – هل يمكن للنماذج اللغوية تحسين أدوات التشغيل (Harness)؟

بيان المشكلة

بينما تقدم النماذج اللغوية الكبيرة (LLMs) تقدماً في الوكلاء المستقلين، تظل التقييمات الحالية محصورة إلى حد كبير في حل المهام الثابتة ضمن "أدوات تشغيل" (harnesses) ثابتة مصممة بشرياً (وهي هياكل برمجية تدير عمليات الاستدلال، واستخدام الأدوات، والذاكرة). إن الأفق الحرج المتمثل في تطور أداة التشغيل (harness evolution): وهو قدرة الوكيل على تحسين أداة التشغيل الخاصة به ذاتياً، يواجه تحديات منهجية. ومع ذلك، فإن قياس هذه القدرة بشكل منهجي يعوقه ثلاثة تحديات محددة:

حساسية أداة التشغيل: غالباً ما تفشل الاختبارات المعيارية في عزل التحسينات الناتجة عن أداة التشغيل عن قوة النموذج الأساسي، مما يجعل من الصعب تحديد ما إذا كانت مكاسب الأداء ناتجة عن كود أفضل أم نموذج أكثر ذكاءً.
التعميم عبر التقسيمات (Cross-Split Generalization): تخاطر التقييمات الحالية بالإفراط في التخصيص للمهام (overfitting)، حيث لا تُظهر تقسيمات التحقق والتقييم استجابة متوافقة مع تغييرات أداة التشغيل.
التطور طويل الأمد: يظل رصد القدرة على الحفاظ على عملية صقل تكرارية متعددة الجولات (تشخيص الإخفاقات، صياغة الفرضيات، وتحديث الكود) أمراً صعباً.

تفتقر الأدبيات الحالية إلى بيئة محكومة لتقييم القدرة الجوهرية للنماذج التأسيسية للعمل كمهندسي أدوات تشغيل على مدى فترات طويلة عبر مجالات متباينة.

المنهجية: إيفو-بنش (Evo-Bench)

لمعالجة هذه التحديات، قدم المؤلفون إيفو-بنش (Evo-Bench)، وهو أول اختبار معياري مصمم لتقييم قدرات تطور أداة التشغيل الجوهرية لدى النماذج. يستخدم الإطار عملية بناء موجهة بأداة التشغيل وبروتوكول تقييم محكوم.

1. إطار بناء الاختبار المعياري

يتبع بناء "إيفو-بنش" عملية مكونة من مرحلتين لضمان أن المهام حساسة حقاً لتحسينات أداة التشغيل:

المرحلة الأولى: توليد أداة تشغيل مساعدة: جمع المؤلفون مجموعة مهام مساعدة (320 مهمة) منفصلة عن الاختبارات النهائية. قاموا بتشغيل تجارب تطور مستقلة على هذه المهام باستخدام أربعة نماذج رائدة (GLM-5.2، وClaude-Opus-4.8، وClaude-Sonnet-5، وGPT-5.6-Sol) لتوليد مجموعة متنوعة من 12 أداة تشغيل متطورة ممثلة ( $H_{aux}$ ).
المرحلة الثانية: اختيار المهام الموجه بأداة التشغيل: تم تقييم المهام المرشحة من خمسة اختبارات معيارية قائمة (BrowseComp، HLE، GDPval، APEX-Agents، Claw-Eval) مقابل $H_{aux}$ . تم ترشيح المهام بناءً على حساسية أداة التشغيل ($Sens(x)$)، والمعرفة بأنها معامل ارتباط بيرسون بين درجة المهمة والجودة الإجمالية لأدوات التشغيل. تم اختيار المهام التي تمتلك حساسية إيجابية وصعوبة مناسبة فقط.
التقسيم الطبقي: تم تقسيم مجموعة البيانات النهائية إلى مجموعة تحقق مرئية ( $D_{val}$ ، 160 مهمة) ومجموعة تقييم منفصلة ( $D_{eval}$ ، 448 مهمة) باستخدام تقسيم طبقي واعٍ بالحساسية لضمان الاتساق التوزيعي ومنع الإفراط في التخصيص.

2. بروتوكول التقييم

المجالات: يغطي الاختبار المعياري ثلاثة مجالات: البحث (التنقل في الويب)، المكتب (معالجة المستندات)، والعام (مهام الوكيل المتنوعة).
العملية: يقوم نموذج سياسة ( $\pi$ ) ثابت بتنفيذ المهام باستخدام أداة تشغيل سياسة ( $H_t$ ) قابلة للتعديل. يقوم المطور ( $E$ )، الذي يعمل عبر "تطوير أداة التشغيل" الثابت، بفحص أنماط الفشل، وصياغة الفرضيات، وتعديل $H_t$ بشكل تكراري.
القيود: العملية مقيدة بميزانية موارد (تكرارات، وقت، خطوات). يمكن للمطور الوصول فقط إلى $D_{val}$ أثناء العملية؛ بينما تُحفظ $D_{eval}$ للتقييم النهائي لأداة التشغيل المجمدة ( $H_T$ ).
المقاييس:
- الدرجة الإجمالية: الأداء على $D_{eval}$ المحجوزة.
- درجة التحقق في أي وقت (Anytime Validation Score): متوسط أفضل أداء تحقق في مرحلة التحقق حتى تلك اللحظة عبر ميزانية التطور، مما يقيس كفاءة العملية التطورية.

المساهمات الرئيسية

إيفو-بنش (Evo-Bench): اختبار معياري جديد يقيم القدرة الجوهرية للنماذج اللغوية الكبيرة على تحسين أكواد برمجية تنفيذية (أدوات التشغيل) عبر مجالات البحث، والمكتب، والمجال العام، متجاوزاً مجرد حل المهام الثابتة.
إطار البناء الموجه بأداة التشغيل: منهجية تستخدم تطور المهام المساعدة لتحديد المهام الحساسة لأداة التشغيل وتستخدم التقسيم الطبقي الواعي بالحساسية لضمان تعميم قوي عبر المجموعات.
التحليل المنهجي لتطور أداة التشغيل: تقييم شامل لتسع نماذج رائدة ومفتوحة الأوزان، وتوصيف مكاسب الأداء، والاضطرابات الزمنية (مثل التشبع المبكر)، وقابلية نقل الهياكل المتطورة.

النتائج التجريبية

قيم المؤلفون تسعة نماذج (بما في ذلك GPT-5.6-Sol، وClaude Opus 4.8، وGLM-5.2، وQwen3.7-Max، وغيرها) مقابل بذرة أداة تشغيل CodeAct وأداة تشغيل "اصطناعية" مصممة بشرياً.

مكاسب الأداء: حققت النماذج العليا مكاسب مطلقة هائلة. حقق GPT-5.6-Sol وClaude Opus 4.8 تحسناً في الدرجة الإجمالية بمقدار 16.6 و16.1 نقطة على التوالي، ليصلا إلى 46.3 و45.8. تقترب هذه الدرجات بشكل وثيق من خط الأساس المصمم بشرياً والبالغ 47.5.
التباين النوعي حسب المجال:
- البحث: كان التطور فعالاً للغاية؛ حيث حقق Claude Opus 4.8 زيادة قدرها +34.8 نقطة، مقترباً من خط الأساس البشري. نجحت النماذج في تركيب منطق التنقل في الويب المفقود.
- العام: تجاوزت أدوات التطوير العليا (مثل GPT-5.6-Sol وQwen3.7-Max) خط الأساس المصمم بشرياً، مما يثبت أن هياكل الاستدلال الذاتي يمكن أن تتفوق على التصاميم اليدوية في هذا المجال.
- المكتب: واجهت النماذج صعوبة كبيرة، حيث أظهرت تحسينات طفيفة أو تراجعات بسيطة. يعزو المؤلفون ذلك إلى صعوبة اكتشاف سير عمل معالجة محدد للغاية مطلوب لمهام المكتب.
الاضطرابات الزمنية: كشف التحليل عن تشبع مبكر، حيث تكتشف النماذج بسرعة هياكل عالية الجودة ولكنها غالباً ما تُدخل تعديلات ضارة في الجولات اللاحقة، مما يؤدي إلى توقف مبكر أو انخفاض في الأداء.
قابلية النقل: أظهرت أدوات التشغيل المتطورة تعميماً قوياً عبر السياسات المختلفة. عند تطبيقها على نماذج سياسة مختلفة (Qwen، DeepSeek، GLM)، عززت أدوات التشغيل المُركبة الأداء باستمرار، مما يشير إلى أنها تعمل كهياكل استدلال قابلة للنقل بدلاً من الإفراط في التخصيص لعيوب نموذج واحد.
كفاءة التكلفة: أظهر تحليل جبهة باريتو (Pareto frontier) مقايضة لوغاريتمية حادة بين التكلفة والأداء. بينما تطلبت النتائج العليا موارد ضخمة (أكثر من 500 دولار لـ GPT-5.6-Sol)، حققت نماذج مثل GLM-5.2 وQwen3.7-Max نتائج قوية بأقل من 40 دولاراً.

الأهمية والادعاءات

يزعم البحث أن "إيفو-بنش" يوفر إطاراً صارماً ومحكوماً لفصل قدرة تطوير أداة التشغيل الحقيقية عن قوة النموذج الأساسي والضوضاء العشوائية. تشير النتائج إلى أنه بينما تمتلك النماذج الرائدة الحالية القدرة على العمل كمهندسين بحثيين مستقلين — خاصة في مجالات البحث والمجال العام — إلا أنها لا تزال تفتقر إلى التحسين العميق على مستوى النظام والاستمرارية التي يتمتع بها المهندسون البشر، خاصة في مهام العمل المكتبي المعقدة.

يضع المؤلفون "إيفو-بنش" كمنصة أساسية لتحفيز الأبحان المستقبلية في معماريات الوكلاء ذاتية التطور. ويجادلون بأنه من خلال تعزيز القدرة على تجريد أنماط الفشل السببية وتنفيذ إعادة هيكلة معمارية واسعة النطاق، فإن النماذج المستقبلية لديها القدرة على التفوق باستمرار على الخبراء البشر في هندسة أدوات التشغيل. لا يدعي البحث أنه حل مشكلة التحسين الذاتي، بل يقدم أول مقياس منهجي لقياس وتقييم هذه القدرة التطورية المحددة.