ملخص تقني: DecisionBench

بيان المشكلة

تُستخدم وكلاء النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في مهام طويلة الأمد تتضمن استخدام الأدوات لعدة دقائق أو ساعات. وتتمثل إحدى أوجه عدم الكفاءة الحرجة في سير عمل الوكلاء الحالي هو الميل إلى حل المهام الفرعية محلياً باستخدام نموذج واحد، غالباً ما يكون مفرط التخصيص، بدلاً من التفويض إلى نماذج أقران أصغر حجماً أو مختلفة التخصص. وبينما يعد توجيه المهام الفرعية إلى الأقران وسيلة محتملة لتغيير حدود كفاءة "باريتو" (Pareto-frontier)، يفتقر الممارسون حالياً إلى معيار لقياس التفويض الناشئ (emergent delegation)—أي القدرة على اتخاذ قرار مستقل بشأن ما إذا كان سيتم التفويض، وإلى من، وما المعلومات التي يجب تقديمها عن الأقران. تركز المعايير الحالية (مثل GAIA، و$\tau$-bench، وBFCL) على قدرة الوكيل المنفرد، بينما تعتمد أبحاث الأنظمة متعددة الوكلاء غالباً على تعيينات أدوار مُبرمجة يدوياً بدلاً من السلوك الناشئ. علاوة على ذلك، تعامل معايير توجيه التكلفة (cost-aware routing) عملية التوجيه كسياسة خارجية متعلمة بدلاً من كونها سلوكاً جوهرياً للمنسق (orchestrator).

المنهجية: ركيزة DecisionBench

قدم المؤلفون DecisionBench، وهو ركيزة معيارية ثابتة مصممة لعزل وقياس التفويض الناشئ في سير عمل الوكلاء طويل الأمد. هذه الركيزة محايدة تجاه كيفية توليد أو تقديم معلومات الأقران، مما يسمح بتقييم طرق التنسيق المتنوعة.

المكونات الأساسية

1. مجموعة المهام: مجموعة ثابتة من المهام طويلة الأمد مستمدة من ثلاثة معايير راسخة: GAIA (الاستعلام عن استخدام الأدوات العام)، و$\tau$-bench (الحوار بين الأداة والوكيل والمستخدم)، وBFCL multi-turn (استدعاء الدوال). تم تقسيمها إلى مجموعة المرحلة الأولى (التوصيف/Profiling) ومجموعة المرحلة الثانية (التقييم) عبر عينة طبقية حتمية بنسبة 20/80.
2. مجمع نماذج الأقران: مجمع غير متجانس يتكون من 11 نموذجاً من 7 عائلات موردين (OpenAI، وAnthropic، وGoogle DeepMInd، وDeepSeek، وMoonshot، وQwen، وMiniMax)، مثبتة بتاريخ تجميد محدد (2026-04-29) لضمان قابلية التكرار.
3. واجهة التفويض: يعمل وكيل المنسق باستخدام أداة call_model(name, subtask, budget_usd) لتفويض المهام الفرعية. وتسمح أداة اختيارية read_profile(model) للمنسق باسترجاع أوصاف مهيكلة للأقران.
4. طبقة التوسيم (Annotation Layer): تصنيف مجمّد لـ 7 مهارات (مثل: الالتزام بمخطط استدعاء الأداة، تتبع حالة الحوار متعدد الخطوات، استرجاع المعلومات) ومُوسم خطوات (step tagger) حتمي وقائم على القواعد. تقوم هذه الطبقة بتعيين المهارات لخطوات المسار دون استخدام حكم النموذج اللغوي، مما يسمح بالتقييم على مستوى العملية لمعرفة ما إذا كان قد تم إرسال التفويض إلى قرين مناسب لمهارة المهمة الفرعية المحددة.
5. مجموعة المقاييس: ملف تعريف متعدد المحاور يغطي:
   • مقاييس النتيجة: جودة المهمة النهائية، التكلفة، والكمون (latency).
   • مقاييس العملية: معدل التفويض، دقة التوجيه عند $k$ (مدى تكرار اختيار الوكيل لأفضل $k$ من الأقران لمهمة مهارية معينة)، التفضيل الذاتي للمورد (vendor self-preference)، وسقف التفويض الافتراضي المضاد (counterfactual-delegation ceiling).

التدخلات المرجعية

لتوصيف الركيزة، قام المؤلفون بإنشاء خمس حالات مرجعية:

• الأعمى (Blind): لا توجد معلومات عن الأقران؛ يتم التفويض بناءً على المعارف المسبقة فقط.
• المدرك-C1/C2/C3 (Aware-C1/C2/C3): أوصاف مسبقة للأقران تم إنشاؤها عبر (C1) معايير منسقة، أو (C2) إحصائيات حتمية من آثار المرحلة الأولى، أو (C3) ملخصات من نماذج لغوية أخرى (LLM-judge) خارج المجموعة، مقترنة بالوصول إلى read_profile عند الطلب.
• المدرك-الأداة-فقط (Aware-Tool-Only): مطابقة لـ C2 ولكن مع حجب الوصف المسبق، لعزل تأثير قناة التسليم (الأداة عند الطلب مقابل النص الثابت).

المساهمات الرئيسية

1. ركيزة المعيار: إطار عمل قابل لإعادة الاستخدام يتكون من مجموعة مهام ثابتة، مجمع أقران، واجهة تفويض، طبقة توسيم، ومجموعة مقاييس متعددة المحاور مخصصة للتفويض الناشئ.
2. مجموعة التدخلات المرجعية: مجموعة من الخطوط المرجعية (C1، C2، C3، وتجريد قناة التسليم) لتهيئة المقارنات لطرق التنسيق المستقبلية.
3. التوصيف التجريبي: مسح شامل عبر 11 نموذجاً، 3 معايير، و5 حالات ($N=23,375$ حالة مهمة) يكشف أن مقاييس العملية تكشف عن إشارات التنسيق التي تغفل عنها مقاييس النتيجة فقط.
4. إطلاق المخرجات: تم إطلاق الركيزة، طبقة التوسيم، 33 بطاقة تعريف، خط أنابيب التحليل، و220 أرشيف تشغيل لتمكين البحث القابل للتكرار.

النتائج الرئيسية

أسفر المسح التجريبي عن ثلاث نتائج رئيسية:

1. الجودة ثابتة عبر جميع الحالات: متوسط جودة المهمة النهائية لا يختلف إحصائياً عبر حالات الإدراك الأربعة ($|\beta| \le 0.010, p \ge 0.21$). الاعتماد فقط على مقاييس الجودة سيؤدي تماماً إلى تفويت إشارة التنسيق.
2. قناة التسليم تهيمن على المحتوى: تتباين **دقة التوج بشكل كبير.
   • الوصول إلى الأداة عند الطلب (aware-tool-only) ضاعف دقة التوجيه عند 1 (precision-at-1) لأكثر من مرتين مقارنة بالأساس الأعمى (14.2% $\to$ 29.5%) مع الحفاظ على تكافؤ الجودة وتكلفة متوسطة أقل.
   • الأوصاف المسبقة لم تحقق حتى نصف هذه المكاسب (C2: 20.8%، C3: 15.5%، C1: 7.5%).
   • يشير هذا إلى أن آلية تسليم المعلومات (الأداة عند الطلب مقابل النص الثابت) أكثر أهمية من المحتوى المحدد لوصف القرين.
3. وجود فجوة كبيرة غير مستغلة: يضع سقف التفويض الافتراضي المضاد (بافتراض التفويض المثالي بخطوة واحدة لأفضل قرين في المرحلة الأولى) الأداء المثالي أعلى بـ 15 إلى 31 نقطة مئوية من الأداء المقاس في كل مجموعة. وهذا يحدد فجوة كبيرة لأساليب التنسيق المستقبلية لسدها.
4. التفضيل الذاتي للمورد: تظهر الوكلاء تحيزاً من نوع "النموذج اللغوي كمحكم" (LLM-as-judge)، حيث تفوض للنماذج من نفس عائلة المورد بمعدلات أعلى بـ 1.5 إلى 3.7 ضعفاً من الاحتمال العشوائي.

الأهمية والادعاءات

يزعم البحث أن DecisionBench ينقل نموذج التقييم من تحليل "النتيجة فقط" (الجودة) إلى "تحليل مستوى العملية" (الدقة، سلوك التوجيه). تكمن الأهمية الأساسية في إثبات أن:

• مقاييس العملية ضرورية: يمكن لطريقة التنسيق أن تحسن دقة التوجيه وكفاءة التكلفة بشكل كبير دون أن تترجم فوراً إلى جودة مهام أعلى في الإعدادات الحالية.
• آليات التسليم مهمة: "كيفية" تقديم معلومات القرين (الأدوات عند الطلب) هي محرك أقوى لجودة التفويض من "ماذا" (محتوى الوصف).
• هناك مجال كبير للتحسين: الفجوة بين الأداء الحالي والسقف الافتراضي المضاد تشير إلى أن طرق التنسيق الحالية بعيدة عن المثالية، خاصة للوكلاء متوسطي القدرة.

يظل المؤلفون متواضعين، مشيرين إلى أن مكاسب الدقة لم تترجم بعد إلى تحسينات في الجودة، وربما يعود ذلك إلى انخفاض معدلات التفويض، أو نقص الإشارة في أوصاف الأقران، أو ازدحام الانتباه بسبب النصوص المسبقة. ويفترضون أن سد هذه الفجوة يتطلب التفويض بشكل متكرر أكثر، أو التفويض متعدد الخطوات، أو تغذية راجعة أغنى في منتصف المهمة—وهي سيناريوهات صُممت DecisionBench لتقييمها.