$\texttt{YC-Bench}$: Benchmarking AI Agents for Long-Term Planning and Consistent Execution

إليك ملخص تقني مفصل لورقة البحث بعنوان "YC-Bench: تقييم وكلاء الذكاء الاصطราว لعمليات التخطيط طويل الأمد والتنفيذ المتسق".

1. بيان المشكلة

مع تزايد قدرات وكلاء النماذج اللغوية الكبيرة (LLM)، لا تزال هناك فجوة حرجة في قدرتهم على الحفاظ على التماسك الاستراتيجي عبر آفاق زمنية طويلة. وبينما يمكن للوكلاء التعامل مع المهام قصيرة المدى، إلا أنهم غالبًا ما يفشلون عندما يُطلب منهم:

• التخطيط تحت ظروف عدم اليقين عبر مئات الدورات.
• التعلم من التغذية الراجعة المتأخرة (مثل العواقب المالية التي تظهر بعد أشهر).
• التكيف عندما تتراكم الأخطاء المبكرة لتتحول إلى إخفاقات كارثية (الإفلاس).
• الاحتفاظ بالحقائق الجوهرية عبر عمليات قطع نافذة السياق (Context Window Truncation).

تفتقر الاختبارات المعيارية الحالية (مثل Vending-Bench) غالبًا إلى حلقات التغذية الراجعة المباشرة والملموسة أو الخصوم المعروفين. فهي تفشل في محاكة تعقيد إدارة الأعمال في العالم الحقيقي، حيث تكون المخاطر محسوبة، والنتائج متأخرة، والخصوم مخفيين.

2. المنهجية: YC-Bench

قدم المؤلفون YC-Bench، وهو اختبار معياري قائم على المحاكاة مصمم لتقييم قدرة الوكيل على إدارة شركة ناشئة محاكية على مدار أفق زمني مدته عام واحد (يمتد عبر مئات الدورات).

الآليات الأساسية

• الصورية (Formalism): يتم نمذجة البيئة كعملية قرار ماركوف جزئية الملاحظة (POMDP). يبدأ الوكيل بمبلغ 200,000 دولار ويجب عليه تعظيم الأموال النهائية.
• دور الوكيل: يعمل كمدير تنفيذي (CEO) عبر واجهة سطر أوامر (CLI)، حيث يجب على الوكيل:
  • قبول المهام: اختيار العقود من سوق عبر أربعة مجالات (التدريب، الاستدلال، البحث، وهندسة البيانات).
    تعداد المهام لموظفين ثابتين بـ 8 موظفين لديهم ملفات مهارات متفاوتة ومخفية (الإنتاجية لكل مجال).
  • إدارة الشؤون المالية: التعامل مع الرواتب الشهرية المتكررة التي تنمو مع إتمام المهام وزيادات الرواتب.
• الديناميكيات العدائية:
  • الخصوم المخفيون: حوالي 35% من العملاء هم خصوم عدائيون. يقدمون مكافآت عالية لكنهم يضخمون متطلبات العمل سرًا، مما يجعل المواعيد النهائية مستحيلة الوفاء. حالة هؤلاء الخصوم لا تُكشف صراحةً أبدًا؛ ويجب على الوكيل استنتاجها من الفشل المتكرر.
  • نظام الثقة: بناء الثقة مع عملاء محددين يفتح المجال لمهام ذات مستويات أعلى ويقلل من أعباء العمل المستقبلية. تتدهور الثقة إذا قام الوكيل بتغيير العملاء بشكل متكرر للغاية.
• قيود الذاكرة:
  • يتم قطع تاريخ المحادثة ليقتصر على آخر 20 دورة.
  • المفكرة (Scratchpad): هي الآلية الوحيدة للذاكرة طويلة الأمد، وهي عبارة عن مفكرة مستمرة يتم حقنها في "المطالبة بالنظام" (System Prompt). يجب على الوكلاء اتخاذ قرار ذاتي بشأن المعلومات التي يجب تسجيلها (مثل "العملاء المدرجين في القائمة السوداء" أو "نقاط قوة الموظفين") للنجاة من قطع نافذة السياق.

3. المساهمات الرئيسية

1. تصميم مبتكر للاختبار المعياري: يقدم YC-Bench بيئة انتقال حتمية ولكن غير معروفة، تختبر التماسك طويل الأمد من خلال ديناميكيات مالية تراكمية، وعدم تماثل المعلومات المخفية، وكشف العملاء العدائيين.
2. تقييم شامل: تدرس الدراسة 12 نموذجًا رائدًا (سواء كانت مملوكة أو مفتوحة المص المصدر) عبر 3 بذور عشوائية (Seeds) لكل منها، بما في ذلك GPT-5.4 وClaude Opus 4.6 وGemini 3.1 والنماذج مفتوحة المصدر مثل GLM-5 وQwen3.5.
3. تحليل أوضاع الفشل: تحدد الورقة أوضاع فشل محددة ومتميزة للنماذج الرائدة، مثل "التوازي المفرط" (تعيين مهام متزامنة كثيرة) و"فجوة الاستدلال والتنفيذ" (استنباط استراتيجيات صحيحة ولكن الفشل في تنفيذها).
4. الإصدار مفتوح المصدر: تم إصدار الاختبار كأداة مفتوحة المصدر، قابلة للتكوين وإعادة الإنتاج لتسهيل الأبحاث المستقبلية.

4. النتائج التجريبية

كشف تقييم 12 نموذجًا عن فجوات كبيرة في الأداء:

• الربحية: 3 نماذج فقط من أصل 12 تجاوزت باستمرار رأس المال الأولي البالغ 200 ألف دولار.
  • أفضل أداء: حقق Claude Opus 4.6 أعلى متوسط أموال نهائية (1.27 مليون دولار).
  • المركز الثاني: حقق GLM-5 مبلغ 1.21 مليون دولار ولكن بتكلفة استدلال أقل بمقدار 11 ضعفًا، مما أظهر كفاءة فائقة في التكلفة.
  • الفشل: انتهى الأمر بـ 7 نماذج بأقل من رأس مالها الأولي، وأعلن بعضها الإفلاس في واحدة على الأقل من البذور العشوائية.
• المتنبئ الرئيسي بالنجاح: كان استخدام المفكرة (Scratchpad) هو أقوى مؤشر للنجاح. النماذج التي فشلت في تسجيل العملاء العدائيين أو القواعد الاستراتيجية في المفكرة كررت أخطاء مكلفة بعد قطع السياق.
• كشف العدائية: كان هذا هو وضع الفشل الرئيسي، حيث تسبب في 47% من حالات الإفلاس. قبلت النماذج المتفوقة المهام العدائية بمعدل ربع معدل النماذج التالية لها، وذلك من خلال استنتاج أنماط الفشل.
• كفاءة التكلفة: بينما حقق Opus 4.6 أعلى إيرادات خام، قدمت Kimi-K2.5 و GLM-5 أفضل عائد على الاستثمار (الإيرادات مقابل كل دولار من تكلفة API).

5. تحليل الأخطاء وأوضاع الفشل

حلل المؤلفون أربعة نماذج ممثلة لفهم سبب فشلها:

1. نقص التأمل (Gemini 3 Flash): نفذ حلقة مفرغة وجامدة دون تحديث استراتيجيته أو التحقق من جدوى المهام، حيث قبل 12 مهمة عدائية.
2. فجوة الاستدلال والتنفيذ (Claude Sonnet 4.6): استنبط استراتيجيات صحيحة (مثل "مهمة واحدة في كل مرة") في المفكرة، لكنه تجاهلها فورًا، مما أدى إلى الالتزام المفرط ونقص التوظيف.
3. الجمود الواعي (Grok 4.20): شخص المشكلات الحرجة بدقة (مثل "السيولة المتبقية شهر واحد فقط") في المفكرة، لكنه فشل في تغيير سلوكه، واستمر في قبول المهام من عملاء سيئين معروفين.
4. التماسك المستدام (Claude Opus 4.6): كان النموذج الوحيد الذي حافظ على تدفق متسق من الإدراك ← التسجيل ← الاسترجاع ← الفعل. قام بتحديث "القائمة السوداء" الخاصة به وتحسين الثقة بنشاط، رغم أنه خرق قواعده الخاصة أحيانًا.

6. الأهمية

• ما وراء الاستدلال قصير المدى: يثبت YC-Bench أن النماذج الرائدة الحالية لا تزال تعاني مع التخطيط طويل الأمد، حيث تنهار غالبًا في حلقات مكررة أو سلوكيات هلوسة عندما يمتد الأفق الزمني لما بعد التغذية الراجعة الفورية.
• عنق زجاجة الذاكرة: تسلط الدراسة الضوء على أنه بدون آليات ذاكرة صريحة ومستمرة (مثل المفكرة)، لا يمكن للوكلاء الحفاظ على التماسك الاستراتيجي في المهام طويلة الأمد.
• القابلية للتطبيق في العالم الحقيقي: تحاكي هذه المنهجية "العواقب التراكمية" لقرارات الأعمال الحقيقية، مما يكشف أن النماذج القادرة على الاستدلال عالي المستوى غالبًا ما تفشل في التنفيذ والاستمرارية المطلوبة للتشغيل الذاتي.
• التكلفة مقابل الأداء: تشير النتائج إلى أنه بالنسبة للوكلاء في بيئة الإنتاج، فإن النموذج "الأفضل" ليس بالضرية هو صاحب أعلى أداء خام، بل هو الذي يوازن بين الأداء وتكلفة الاستدلال (على سبيل المثال، تفوق GLM-5 على Opus 4.6 في كفاءة التكلفة).

في الختام، يثبت YC-Bench أن التماسك طويل الأمد هو فجوة قدرة متميزة في وكلاء الذكاء الاصطناعي الحاليين، مما يتطلب ليس فقط استدلالًا أفضل، بل أيضًا إدارة قوية للذاكرة والقدرة على إغلاق الحلقة بين التشخيص والعمل عبر فترات ممتدة.