ملخص تقني: AGENTLENS: الكشف عن مشكلة "النجاح بالحظ" في تقييم وكلاء البرمجيات (SWE-Agent)

1. بيان المشكلة

يهيمن على التقييم الحالي لوكلاء هندسة البرمجيات (SWE) إشارة ثنائية: ما إذا كان الرقعة (patch) النهائية تجتاز مجموعة الاختبارات (مثل SWE-bench) أم لا. هذه الرؤية القائمة على "النتيجة فقط" تعامل الحل المنهجي والفعال والعملية العشوائية القائمة على التجربة والخطأ كشيء متساوٍ. يرى المؤلفون أن هذا التكافؤ خاطئ تجريبياً وغير كافٍ لتقييم سلوك الوكيل.

تحديداً، تحدد الورقة مشكلة "النجاح بالحظ" (Lucky Pass): وهي مجموعة فرعية من المسارات الناجحة التي تصل إلى رقعة صحيحة من خلال عمليات ضعيفة أو هشة أو غير فعالة. وتشمل هذه العمليات:

• دورات التراجع (Regression cycles): تكرار الفشل وإعادة المحاولة بتعديلات متشابهة.
• المحاولات العشوائية (Blind retries): تكرار الإجراءات دون معلومات جديدة.
• غياب التحقق (Missing verification): تطبيق الإصلاحات دون تشغيل الاختبارات.
• الاستكشاف المختل زمنياً (Temporally disordered exploration): القيام بخطوات التحقق قبل التنفيذ أو استكشاف ملفات غير ذات صلة بعد التحقق من الإصلاح.

تفترض الورقة أن معاملة جميع المسارات الناجحة كبيانات إشراف ذات قيمة متساوية (كما هو متبع في مجموعات بيانات مثل SWE-Gym) هو مؤشر تقريبي فج لجودة العرض التوضيحي. علاوة على ذلك، مع اقتراب النماذج من تحقيق معدلات نجاح عالية في المعايير المرجعية، يصبح جودة العملية محوراً ضرورياً لمقارنة النماذج وتقييم المخاطر، حيث إن الوكلاء الذين ينجحون عبر التجربة والخطأ قد يتصرفون بشكل غير متوقع في عمليات النشر المعقدة في العالم الحقيقي.

2. المنهجية: إطار عمل AGENTLENS

قدم المؤلفون AGENTLENS، وهو إطار عمل للتقييم على مستوى العملية لمسارات وكيل SWE. يعمل الإطار عبر أربع مراحل:

أ. من السجلات الخام إلى الحالات المصنفة

يتم تحليل سجلات الوكيل الخام إلى تسلسلات حالات مهيكلة. يتم تعيين تسمية مرحلة القصد (intent-stage label) لكل حالة من أربع مراحل معرفية:

1. الاستكشاف (E): قراءة الملفات، البحث، عرض الأدلة.
2. التنفيذ (I): تعديل أو إنشاء ملفات المصدر.
3. التحقق (V): تشغيل الاختبارات، فحص الأخطاء، إعادة قراءة الملفات المعدلة.
4. التنسيق (O): خطوات الحفظ والتدوين والاستنتاج.

الأهم من ذلك، يستخدم AGENTLENS مصنفاً لمرحلة القصد حساساً للسياق. بخلاف الأساليب الساذجة التي تصنف الإجراءات بناءً على هوية الأداة فقط (مثل افتراض أن grep هو دائماً استكشاف)، يستخدم هذا المصنف تاريخ المسار. على سبيل المثال، يتم تصنيف grep كاستكشاف قبل كتابة الرقعة، ولكن كتحقق إذا تم تنفيذه بعد خطوة تنفيذ للتحقق من تغيير محدد. هذا يحل الغموض في أوامر الطرفية (terminal commands)، وقد تم التحقق من ذلك باستخدام معامل Fleiss' $\kappa = 0.933$ عبر سبعة مدققين.

ب. بناء مرجع شجرة البادئة (PTA)

بدلاً من مقارنة مسار مرشح بمسار مرجعي واحد، يبني AGENTLENS مستقبل شجرة البادئة (Prefix Tree Acceptor - PTA) من $k \ge 2$ من المسارات الناجحة لنفس المهمة.

• الدمج: يتم دمج البوادئ المشتركة في عقد مشتركة.
• التفرع: تشكل الاستراتيجيات المتباعدة والناجحة فروعاً.
• النتيجة: الـ PTA هو رسم بيلي موجه غير حلقي (DAG) يشفر مساحة من استراتيجيات الحل "الجيدة والمعروفة" بدلاً من نموذج واحد. وهذا يسمح للنظام بالتعرف على المسارات البديلة الصالحة مع تحديد الانحرافات عن العمليات الناجحة المعروفة.

ج. تسجيل درجات المسارات المرشحة

يتم تسجيل درجة المسار المرشح مقابل PTA الخاص بالمهمة باستخدام أربع إشارات متكاملة، تُدمج في درجة جودة من 0 إلى 100:

1. المحاذاة الهيكلية ($\Phi_{struct}$): تقيس ما إذا كان المرشح يزور حالات PTA بالترتيب الصحيح تقريباً (الاستدعاء المرتب + الدقة غير المرتبة).
2. تغطية المجموعة ($\Phi_{cov}$): تقيس نسبة حالات PTA التي طابقها المرشح، بغض النظر عن الترتيب.
3. تماسك المسار ($\Phi_{coh}$): يلخص تسلسل مراحل القصد، ويكافئ التقدم للأمام (مثل $E \to I \to V$) ويعاقب التراجع والمحاولات العشوائية.
4. تشابه الملف الزمني ($\Phi_{temp}$): يقارن توزيع المراحل عبر أجزاء المسار (المبكرة، والمتوسطة، والمتأخرة) مقابل PTA باستخدام تباعد جينسن-شانون.

المجموع النهائي هو مجموع مرجح:
$$f(\tau_c, G) = 0.20 \cdot \Phi_{struct} + 0.15 \cdot \Phi_{cov} + 0.30 \cdot (100 \cdot \Phi_{coh}) + 0.35 \cdot (100 \cdot \Phi_{temp})$$
تحمل الإشارات السلوكية (التماسك والملف الزمني) 65% من الوزن، مما يعكس أن التغطية الهيكلية وجودة العملية غالباً ما تفشل في مسارات مختلفة.

د. التقارير والتصنيف الطبقي

تُصنف المسارات إلى طبقات بناءً على درجتها المركبة:

• مثالي ($\ge 70$): منهجي، منخفض الهدر، ومنظم جيداً.
• متماسك ($47 \le score < 70$): غير مثالي ولكنه متماسك.
• ناجح بالحظ ($< 47$): عمليات ضعيفة نجحت بالصدفة (مثل دورات التراجع، المحاولات العشوائية).
• فشل جزئي / خارج المسار: للمسارات الفاشلة.

يولد النظام أيضاً تقارير عدم الكفاءة المهيكلة، والتي تحدد موقع "الهدر" (حلقات التراجع، المحاولات العشوائية، الخطوات الزائدة، الاستكشاف غير الضروري، الأنماط الدورية) في خطوات محددة من المسار.

3. المساهمات الرئيسية

1. AGENTLENS-Bench: أول مجموعة بيانات مسارات لوكلاء SWE مصنفة حسب العملية. تحتوي على 1,815 مساراً من 47 مهمة من مهام SWE-bench Verified، وتتضمن درجات الجودة، وتوصيفات الهدر، وبيانات التباين، وPTAs الحقيقية.
2. اكتشاف "النجاح بالحظ": يوضح المؤلفون أن 10.7% من المسارات الناجحة هي "نجاحات بالحظ". وقد تم تفكيكها إلى خمس آليات متكررة:
   • الحد الأدنى وغير المتحقق منه (15.6%): قصير، بدون تحقق.
   • التقارب بالقوة الغاشمة (34.4%): هدر عالٍ، تماسك منخفض.
   • التنفيذ غير المكتمل (33.6%): إصلاحات جزئية نجحت بسبب فجوات في الاختبارات.
   • الاستكشاف المفرط (4.1%): طويل وغير مركز.
   • المتباعد ولكن الصالح (12.3%): نهج بديل صالح.
3. تسمية القصد الحساسة للسياق: مصنف تم التحقق من صحته يحل غموض الاستكشاف مقابل التحقق في أوامر الطرفية، محققاً اتفاقاً خاماً بنسبة 96.0%.
4. مراجع العملية القائمة على PTA: طريقة لدمج الحلول الناجحة المتعددة في مساحة مرجعية من الاستراتيجيات الصحيحة والمعروفة، مما يسمح بتقييم المسارات الجديدة مقابل سلوكيات صحيحة متنوعة.
5. أدوات مفتوحة المصدر: إصدار حزمة أدوات تطوير AGENTLENS وواجهة الويب، مما يدعم تتبع ATIF وOpenHands دون الحاجة لاستدعاءات نماذج اللغة الكبيرة (LLM) للتسجيل.

4. النتائج

تم تقييم الإطار على 2,614 مساراً من ثمانية نماذج خلفية (بما في ذلك GPT-4.1، GPT-4o، Claude Opus، وGemini 2.5 Pro) عبر 60 مهمة من SWE-bench Verified.

• توزيع المسارات الناجحة: من بين 1,136 مساراً ناجحاً، كان 20.2% "مثالياً"، و 69.1% "متماسكاً"، و 10.7% "بالحظ".
• تفاوت ترتيب النماذج: يغير التسجيل الواعي بالعملية ترتيب النماذج بشكل كبير مقارنة بمعدل النجاح وحده.
  • مثال: يحتل GPT-4o المركز الثامن من حيث معدل النجاح، ولكنه يحتل المركز الثالث من حيث درجة الجودة.
  • مثال: يحتل Claude Opus 4.6 المركز الثالث من حيث معدل النجاح، ولكنه يحتل المركز السادس من حيث درجة الجودة، مع معدل "نجاح بالحظ" قدره 18.7% (وهو الأعلى بين النماذج رفيعة المستوى).
  • تتراوح معدلات النجاح بالحظ عبر النماذج من 0.5% (Opus 4.5) إلى 23.2% (GPT-4.1).
• خصوصية التصنيف: هناك ارتباط معنوي بين نوع النموذج وفئة "النجاح بالحظ" ($\chi^2(28) = 102.47, p < 0.0001$). على سبيل المثال، ينتج Opus 4.6 بشكل غير متناسب نجاحات "الحد الأدنى وغير المتحقق منها"، بينما يهيمن GPT-4.1 على فئات "القوة الغاشمة" و"الاستكشاف المفرط".
• القدرة التمييزية: يفصل الدرجة المركبة بين المسارات الناجحة والفاشلة بمعامل AUROC قدره 0.766 ($p=0.0017$). لم تحقق أي إشارة منفردة دلالة إحصائية وحدها، مما يبرز ضرورة دمج الإشارات الهيكلية والسلوكية.
• الآثار المترتبة على التكلفة: تسبب "النجاحات بالحظ" تكاليف حوسبة أعلى بكثير. المسارات القائمة على "القوة الغاشمة" تكلف حوالي 25 ضعف توكنات (tokens) المسارات "الحد الأدنى"، والمسارات ذات "الاستكشاف المفرط" تكلف حوالي 40 ضعفاً، رغم تلقيها نفس تسميات النجاح/الفشل الثنائية.

5. الأهمية والادعاءات

تدعي الورقة أن AGENTLENS يوفر طبقة تقييم ضرورية تتجاوز النتائج الثنائية. تكمن أهميته في ثلاثة مجالات:

1. تنقية البيانات: تتحدى الورقة ممارسة تصفية بيانات التدريب بناءً على معدل النجاح فقط، موضحة أن المسارات "الناجحة" تختلف اختلافاً جذرياً في الجودة. استخدام المسارات "الناجحة بالحظ" منخفضة الجودة في الإشراف قد يعزز السلوكيات الهشة.
2. مقارنة النماذج: يوفر محوراً جديداً لمقارنة النماذج. مع اقتراب النماذج من تحقيق معدلات نجاح عالية، تصبح القدرة على حل المهام عبر عمليات متماسكة ومنخفضة الهدر عاملاً مميزاً. توضح الورقة أن الترتيب حسب درجة الجودة يمكن أن يغير مواقع النماذج بمقدار خمس مراكز.
3. مخاطر النشر: يسلط الضوء على أن الوكلاء الذين ينجحون عبر التجربة والخطأ قد يكونون غير قابلين للتنبؤ في البيئات التي تتضمن اختبارات مكلفة أو إجراءات غير قابلة للتراجع. من خلال كشف "النجاح بالحظ"، يساعد AGENTLENS الممارسين على تحديد النماذج التي تعتمد على الاستكشاف الهش بدلاً من الاستنتاج المنهجي.

يضع المؤلفون AGENTLENS ليس كبديل لفحوصات الصحة الوظيفية، بل كأداة تشخيصية مكملة لتحسين تقييم وتحليل وتدريب مهندسي البرمجيات الآليين. لقد أطلقوا مجموعة البيانات والأدوات لجعل التحليل الواعي بالعملية جزءاً قياسياً من مسار تقييم وكيل SWE.