ملخص تقني: TraceGraph – مشاعد اتخاذ القرار المشتركة لتشخيص وتحسين مسارات الوكلاء

1. بيان المشكلة

تُسجل اختبارات قياس الوكلاء (Agent benchmarks) الحالية مسارات تفاعل غنية ومتداخلة (أفكار، استدعاءات أدوات، تغذية راجعة من البيئة). ومع ذلك، فإن ممارسات التقييم عادة ما تختزل هذه العمليات المعقدة في مقياس عددي واحد (مثل معدل النجاح/الفشل أو درجة المكافأة). وبينما تقوم هذه الدرجات بتصنيف الأنظمة، إلا أنها تحجب ديناميكيات العملية الأساسية: فهي تفشل في الكشف عن كيفية تنقل النماذج عبر فضاءات المهام، أو أين تتباعد الاستراتيجيات، أو ما إذا كانت تتجنب مناطق الفشل أو تتعافى منها.

التحدي الجوهي يكمن في غياب نظام إحداثيات مشترك لمقارنة المسارات عبر نماذج مختلفة. حالات الوكلاء طويلة، متفرعة، ومرتبطة باختبارات محددة، حيث تمزج بين خيارات الأدوات، وإشارات الملفات، والأدلة الجزئية. وبدون هذا التوافق، يصعب تحديد ما إذا كان النموذج (أ) قد وصل إلى حالة مماثلة للنموذج (ب)، أو تجنب نفس منطقة الفشل، أو تعافى عبر مسار مختلف. غالبًا ما تفحص الطرق الحالية المسارات الفردية بمعزل عن بعضها البعض أو تعتمد على درجات إجمالية تخفي تنوع العمليات.

2. المنهجية: إطار عمل TraceGraph

TraceGraph هو إطار عمل قائم على الرسوم البيانية (Graph-based) يحول مخرجات الوكلاء المجمعة إلى مشهد قرار مشترك. يعمل الإطار عبر ثلاث مراحل، حيث يبني خريطة مستقلة عن النموذج لفضاء المهمة قبل تحليل سلوكيات نماذج محددة.

المرحلة 1: بناء المشهد المشترك

يستقبل إطار العمل خطوات (الحدث-الملاحظة) من نماذج ومهام متعددة.

• الترميز (Encoding): يتم ترميز كل خطوة $i$ كمجموعة متفرقة من المفاتيح المرصودة $K_i$، بما في ذلك أنواع الأدوات/الإجراءات، فئات الأوامر، أنماط الملاحظة (مثل آثار الخطأ/traceback)، إشارات الملفات، والمراحل الزمنية. بالنسبة لمهام البحث، تُضاف مفاتيح محددة لنطاقات الروابط (URL domains) وحداثة الاستعلام.
• التشابه وبناء الرسم البياني: يتم حساب التشابه الزوجي باستخدام تداخل جارد (Jaccard overlap) الموزون بـ IDF فوق مجموعات المفاتيح. المفاتيح النادرة والمعلوماتية (مثل أنماط الـ traceback المحددة) تزن أكثر من المفاتيح العامة.
• الطوبولوجيا (Topology): يتم بناء رسم بياني من نوع (mutual-$k$NN) فوق جميع الخطوات المجمعة. يتم تفكيك هذا الرسم إلى مكونات ثنائية الاتصال (BCCs) ونقاط الارتكاز (articulation points) (البوابات).
  • المكونات ثنائية الاتصال (BCCs): تجمع الخطوات ذات التشابه الكثيف، مما يمثل حالات الوكيل المشتركة الخشنة.
  • نقاط الارتكاز: تمثل نقاط التحول في الاستراتيجية أو المرحلة حيث يمكن للمسار أن يتفرع إلى استمرارات مختلفة نوعيًا.
• الاستقلالية عن النموذج: يتم استبعاد هوية النموذج من التوقيع ومن بناء الرسم البياني. يتم تعريف المشهد حصريًا من خلال فضاء الحالة المرصودة.

المرحلة 2: التراكبات المستندة إلى النتائج

بمجرد تثبيت هيكل الرسم البياني، يقوم إطار العمل بوضع بيانات النتائج لتحديد "الأنوية المنتجة" و"مناطق الفخاخ".

• انتشار المكافأة (Reward Diffusion): لكل كتلة BCC، يتم تعيين مكافأة مُلطفة بطريقة (Laplace-smoothed) بناءً على النتائج النهائية للمسارات التي زارت تلك الكتلة. ثم يتم نشر هذه المكافأة عبر الرسم البياني المختصر للكتلة لتنعيم الضوضاء المحلية.
• تعريف المناطق:
  • اللب المنتج ($C_t$): الشريحة العليا الموجبة من حقل المكافأة المنتشر.
  • مناطق الفخ ($B_t$): الشريحة الدنيا السالبة من حقل المكافأة المنتشر.
• هذه التراكبات وصفية، حيث تحدد مكان تركيز حركة المرور ذات النتائج العالية والمنخفضة، بدلاً من التنبؤ بالنتائج للتشغيلات غير المرئية.

المرحلة 3: تلخيص أحداث المسار

يتم تلخيص مسار كل نموذج عبر ثلاثة أحداث منفصلة محددة بناءً على تراكبات اللب/الفخ:

1. الوصول ($A_r$): هل تقاطع المسار مع اللب المنتج؟
2. التعرض للفخ ($E_r$): هل تقاطع المسار مع منطقة فخ؟
3. الإصلاح ($R_r$): هل زار المسار فخًا ثم وصل لاحقًا إلى لب منتج؟

التحليل: ملفات العرض والطلب

ينتج TraceGraph ملفين وصفيين:

• عرض النموذج (Model Supply): متوسط مهام النموذج بالنسبة لمتوسط النماذج الأخرى فيما يتعلق بالأحداث. يكشف هذا عن "أسلوب التنقل" للنموذج (مثلاً: وصول عالٍ/إصلاح عالٍ مقابل تنقل محافظ/ضحل).
• طلب الاختبار ($\text{Benchmark Demand}$): التباين الموزون بالمكافأة بين حركة المرور عالية النتائج ومنخفضة النتائج. يكشف هذا عما يكافئُه اختبار معين (مثلاً: تجنب الفخاخ مقابل التعافي).

3. المساهمات الرئيسية

1. إطار عمل TraceGraph: طريقة لبناء رسوم بيانية للمهام مستقلة عن النماذج من المسارات المجمعة، مع وضع تراكبات المناطق المستندة إلى النتائج لإنشاء مشهد قرار مشترك.
2. ملفات العمليات الموجزة: إثبات أنه عبر خمسة تقسيمات للاختبارات (7,329 سجلًا، 427 مهمة، 5 نماذج)، فإن أحداث الوصول، والتعرض للفخ، والإصلاح تفصل بين أساليب تنقل النماذج ومتطلبات الاختبارات التي تختزلها الدرجات الإجمالية.
3. خط أنابيب التعافي الموجه بـ TraceGraph: تطبيق عملي على SWE-bench حيث تعمل مناطق الفخ المستمدة من الرسم البياني كمحفزات وقت التشغيل. عندما يدخل وكيل حي في منطقة فخ تاريخية، يتم تفعيل سياسة تعافٍ خفيفة الوزن.

4. النتائج التجريبية

الرؤى التشخيصية

• تنوع النماذج: غالبًا ما تخفي الدرجات الإجمالية الاختلافات في العمليات. على سبيل المثال، في مشهد مشترك، يُظهر DeepSeek-V3.2 أسلوب "وصول عالٍ، إصلاح عالٍ"، بينما يُظهر Qwen3-Next أسلوب "وصول منخفض، إصلاح منخفض" (تنقل محافظ وضحل).
• تباين الاختبارات: تفرض الاختبارات متطلبات عمليات مختلفة:
  • $\tau^2$-bench، MCPBench، TerminalBench: هي اختبارات تتجنب الفخاخ بقوة (ترتبط النتائج العالية بتجنب المناطق ذات النتائج المنخفضة).
  • SWE-bench: هو اختبار يتطلب الإصلاح بقوة (ترتبط النتائج العالية بالتعافي من حالات تشبه الفخ بعد الفشل الأولي).
  • البحث (Search): يكافئ الوصول إلى أدلة منتجة مع حدوث تعافٍ عرضي.

تجربة التعافي (SWE-bench)

قام المؤلفون بإنشاء خط أنابيب فرع-البادئة (prefix-fork) المدرك للفخ على حالات SWE-bench Verified (إجمالي 500 حالة).

• الآلية: يتم تفعيل كاشف عند مطابقة مسار حي لتوقيع فخ معيّن. عند التفعيل، يستمر الوكيل من نفس الحالة تحت ثلاث سياسات:
  1. الأساسي (Baseline): استمرار قياسي ($T=0.6$).
  2. الحار (Hot): زيادة تنوع أخذ العينات ($T=0.9$).
  3. الملاحظة (Note): ملاحظة تشخيصية متحفظة ومستندة إلى الأدلة تُلحق بالسياق (بدون تصحيحات ذهبية).
• النتائج:
  • على المجموعة الفرعية التي تم تفعيلها لكل مزود ($n=616$)، رفعت أفضل سياسة مجمعة (Hot) معدل الحل من 40.4% إلى 43.5% (+3.1 نقطة مئوية، $p=0.016$).
  • على المجموعة الفرعية المشتركة التفعيل ($n=288$)، رفعت سياسة Hot المعدل من 41.0% إلى 44.8% (+3.8 نقطة مئوية، $p=0.045$).
  • خصوصية المزود: اختلف مكون التعافي النشط حسب المزود. استفاد Qwen3.6-35B-A3B بشكل أكبر من "ملاحظة التشخيص"، بينما استفاد GLM-5.1 و DeepSeek-V4-Pro بشكل أكبر من رفع درجة الحرارة (Temperature bump).

5. الأهمية والادعاءات

يضع البحث TraceGraph ليس كدرجة عددية جديدة أو متنبئ أعمى بالنجاح، بل كـ مفردات عملية لتقييم الوكلاء.

• القوة الوصفية: يكشف ما الذي يختبره الاختبار بالفعل (مثل التجنب مقابل التعافي) وأين تتباعد النماذج على مشهد مشترك.
• التوجيه القابل للتنفيذ: يوضح أن الفخاخ المستمدة من الرسم البياني يمكن أن توجه التدخلات اللاحقة. من خلال تحديد مناطق الفشل التاريخية، يتيح الإطار سياسات تعافٍ مستهدفة تحسن معدلات حل المهام دون الحاجة إلى معلومات مثالية (Oracle) أو إعادة تدريب كاملة.
• التواضع: يؤكد المؤلفون أن خط أنابيب التعافي هو تدخل محلي على مجموعة فرعية محددة من SWE-bench وليس آلية تعافٍ عالمية للوكلاء. الإطار هو أداة تحليلية لشرح تركيز حركة المرور، وليس متحكمًا في جميع سلوكيات الوكلاء.

باخت-صار، ينقل TraceGraph التركيز من "كم عدد المهام التي حلها الوكيل؟" إلى "كيف تنقل الوكيل عبر مشهد المهمة، وأين تعثر أو تعافى؟"، مما يوفر أساسًا هيكليًا لفهم وتحسين مسارات الوكلاء.