ملخص تقني: توقفوا عن مقارنة وكلاء النماذج اللغوية الكبيرة (LLM Agents) دون الإفصاح عن هيكل التنفيذ (Harness)

1. بيان المشكلة

تؤدي ممارسات التقييم الحالية لوكلاء النماذج اللغوية الكبيرة (LLM agents) في المهام طويلة الأمد إلى خلط منهجي بين قدرة النموذج وأداء هيكل التنفيذ (execution harness). هيكل التنفيذ هو طبقة البنية التحتية المسؤلة عن بناء السياق، والوساطة في التفاعل مع الأدوات، والتحقق من المخرجات، والتنسيق (منطق إعادة المحاولة/التصعيد)، ومعايير التوقف.

تقوم لوحات المتصدرين القياسية (مثل SWE-bench وTerminal-Bench وAgentBench) بالإبلاغ عن درجة واحدة لكل زوج من {النموذج، المعيار القياسي}، مما ينسب النتيجة ضمنياً إلى النموذج وحده. تجادل هذه الورقة بأن الهيكل هو غالباً القيد الحاكم (binding constraint) على الأداء في المهام طويلة الأمد التي تتضمن نماذج رائدة متقاربة. وبناءً عليه، فإن بروتوكولات التقييم الحالية تخطئ في نسب التحسينات في الهيكل إلى تحسينات النموذج، مما يجعل المقارنات بين النماذح غير موثوقة وقد تكون مضللة. ينشأ هذا الخلط لأن:

1. الأدلة الرصدية: عند تثبيت نموذج ما وتغيير بنية الهيكل فقط، يمكن أن ينتج ذلك تحولات في الأداء (على سبيل المثال، 15 نقطة مئوية) تفوق التحسينات المبلغ عنها للنماذج (والتي تتراوح عادة بين 2 إلى 4 نقاط).
2. الواقع الهيكلي: يعمل الوكلاء كنظم ديناميكية مغلقة الحلقة، حيث يعمل الهيكل كـ "متحكم" (controller) والنموذج اللغوي كـ "سياسة عشوائية" (stochastic policy). تعتمد الموثوقية طويلة الأمد على خصائص المتحكم (الاستقرار، إدارة انحراف السياق، تأخر التحكم) بدلاً من مجرد القدرة الخام للسياسة.

2. المنهجية والإطار النظري

أطروحة القيد الحاكم

تصيغ الورقة أطروحة القيد الحاكم (Binding Constraint Thesis): في نظام المهام طويلة الأمد مع النماذج الرائدة المتقاربة، يكون التباين في درجات المعيار الناتج عن الهيكل ($HV$) غالباً مساوياً أو أكبر من التباين الناتج عن اختيار النموذج ($MV$).

يتم تفكيك إجمالي تباين الأداء كالتالي:
$$\text{Var}(B(M, H)) = \underbrace{\text{Var}_M[E_H[B(M, H)]]}_{MV} + \underbrace{\text{Var}_H[E_M[B(M, H)]]}_{HV} + \underbrace{\text{Var}(\text{interaction})}_{\text{Interaction}}$$
تؤكد الأطروحة أن $HV$ وحرقة التفاعل (interaction term) يهيمنان على $MV$ في التقييمات الحالية.

الصياغة من منظور نظرية التحكم

تعيد الورقة صياغة تنفيذ الوكيل من مجرد حلقة استدلال بسيطة إلى نظام ديناميكي مغلق الحلقة:

• النموذج اللغوي ($\pi_\theta$): سياسة عشوائية مفتوحة الحلقة تستقبل إسقاطاً للسياق $c(s_t)$ ولكن ليس لديها وصول مباشر إلى الحالة الكاملة $s_t$.
• الهيكل ($C_H$): المتحكم الذي يقوم بتحديث الحالة، وتصفية الملاحظات، وإدارة حلقة التغذية الراجعة.
• كميات الموثوقية: يحدد الهيكل ثلاث كميات هيكلية حرجة:
  1. الاستقرار (Stability): ما إذا كان النظام يحقق تقدماً غير متناقص نحو الهدف (مقياس يشبه مقياس ليابونوف).
  2. انحراف السياق ($\delta_t$): المعدل الذي تُفقد به المعلومات ذات الصلة بالمهمة من نافذة السياق.
  3. تأخر التحكم ($\tau$): التأخير بين اكتشاف الشذوذ ووصول إشارة تصحيحية إلى السياسة.

النهج التجريبي

تدعم الورقة أطروحتها من خلال خطين من الأدلة:

1. البيانات الرصدية: تحليل لوحات المتصدرين العامة (SWE-bench Pro، Terminal-Bench، HAL) والتي تظهر أن التغييرات في "الهيكل فقط" (مع تثبيت النموذج) تؤدي إلى تحولات في الأداء (مثلاً، عشرات النقاط) وتغييرات في التصنيف.
2. تجربة عاملية محكومة: تجربة شبكية (3×3) تغير ثلاثة نماذج رائدة (GPT-5.4، Kimi K2.6، GLM-5.1) مقابل ثلاثة تكوينات مختلفة للهيكل ($H_1$: الحد الأدنى/مفتوح الحلقة، $H_2$: محسن/حلقة مغلقة أساسية، $H_3$: كامل/حلقة مغلقة متقدمة) على مجموعة فرعية طبقية من SWE-bench Verified.

3. النتائج الرئيسية

الأدلة الرصدية

• SWE-bench Pro: تحت هيكل موحد، تمتد النماذج العليا عبر 4.9 نقطة. ومع ذلك، عند تثبيت النموذج (Claude Opus 4.5) والتحول من هيكل SEAL إلى Claude Code، تزداد الدرجة بمقدار 9.5 نقطة.
• انعكاسات التصنيف: إضافة وكيل بحث فرعي واحد (WarpGgrep) إلى نفس البنية أدى إلى قلب التصنيف بين MiniMax 2.5 و Claude Opus 4.6.
• فجوات الهياكل المختلفة: في SWE-bench Verified Mini، أظهر نفس النموذج (مثل Claude Sonnet 4.5) فجوة قدرها 34 نقطة بين هياكل مختلفة (SWE-Agent مقابل HAL Generalist).

نتائج التجربة العاملية المحكومة

• هيمنة التباين: كان التباين الناتج عن الهيكل ($HV$) أكبر بـ 7.80 مرة من التباين الناتج عن النموذج ($MV$).
  • متوسط $HV$: 18.48 نقطة مئوية مربعة.
  • متوسط $MV$: 2.37 نقطة مئوية مربعة.
• تحولات الأداء: تغيير الهيكل حرك الدرجات بمقدار 8.5 إلى 13.0 نقطة مئوية للنماذج الثابتة، بينما تغيير النموذج داخل هيكل ثابت حرك الدرجات بمقدار 2.5 إلى 5.0 نقطة فقط.
• عدم استقرار التصنيف: أدت 6 من أصل 9 مقارنات ممكنة بين (النموذج/الهيكل) إلى انعكاسات في التصنيف.
• تحليل الآليات:
  • المكاسب من $H_1 \to H_2$ كانت مدفوعة بتقليل ضوضاء التحكم (تنسيق أفضل، استرجاع، معالجة الأخطاء).
  • المكاسب من $H_2 \to H_3$ كانت مدفوعة بإغلاق حلقة التحقق والاسترداد (التحقق الذاتي، اكتشاف الشذوذ، التراجع عن العمليات).

4. الإطار المقترح: التقييم الواعي بالهيكل

تقترح الورقة نظام تقييم جديد يتطلب ثلاثة مكونات:

1. بطاقة الهيكل (الإفصاح المهيكل): يجب أن يتضمن كل تقديم للمعيار إفصاحاً منظماً وفق تصنيف ETCSOVG:

   • E (التنفيذ - Execution): وقت التشغيل، بيئة العزل (sandboxing)، مهلات الانتظار.
   • T (الأداة - Tool): قائمة الأدوات، المخطط (schema)، عقود الخطأ.
   • C (السياق - Context): سقف النافذة، الضغط، الاسترجاع، الذاكرة.
   • S (الجدولة - Scheduling): الحلقة، إعادة المحاولة، التصعيد، التراجع (rollback).
   • O (الملاحظة - Observability): السجلات، التتبعات (traces).
   • V (التحقق - Verification): الإعراب (parsing)، التحقق الذاتي، اكتشاف الشذوذ.
   • G (الحوكمة - Governance): الأذونات، الآثار الجانبية.

2. بروتوكول تفكيك التباين: يجب أن تستخدم التقييمات إما:

   • بروتوكول الهيكل المغلق (Locked-Harness Protocol): تطبيق هيكل واحد محدد لجميع النماذج لضمان تصنيف نظيف.
   • البروتوكول العاملي (Factorial Protocol): تغيير كل من النماذج والهياكل للإبلاغ عن $HV$ و $MV$ وحرقة التفاعل وعدد انعكاسات التصنيف.

3. مقاييس مستوى المسار (Trajectory-Level Metrics): لنسب تحولات الأداء إلى طبقات الهيكل المحددة، تقترح الورقة:

   • معدل الاسترداد (RR): احتمال العودة إلى حالة تدفع المهمة للأمام بعد حدوث شذوذ خلال $k$ من الخطوات (يقيس الاستقرار).
     పు الاحتفاظ بالسياق (Context Retention): نسبة الملفات/القيود ذات الصلة بالمهمة الموجودة في السياق (يقيس الانحراف).
   • تأخر التحكم ($\tau$): عدد الخطوات بين اكتشاف الشذوذ ووصول إشارة التصحيح.

5. الأهمية والادعاءات

تدعي الورقة أن درجات المعايير للوكلاء طويلي الأمد ليست صالحة للمقارنة بين النماذج ما لم يتم الإفصاح عن هيكل التنفيذ.

• الدقة العلمية: تقيس لوحات المتصدرين الحالية مزيجاً من النموذج والهيكل، مما يؤدي إلى خطأ في نسب المكاسب. هذا يشوه الحوافز البحثية، حيث يوجه الاستثمار نحو توسيع نطاق النماذج (scaling) بينما يقل الاستثمار في هندسة الهيكل، وهو المصدر الأكبر للتباين.
• الأثر العملي: قرارات النشر بناءً على التصنيفات الحالية معيبة لأنها لا تعزل مساهمة النموذج. "القيد الحاكم" غالباً ما يكون البنية التحتية، وليس أوزان النموذج.
• دعوة للعمل: يجب على المجال الانتقال من معاملة الهيكل كمتغير مخفي إلى معاملته كشرط تجريبي أساسي. وحتى يصبح الإفصاح عن مواصفات الهيكل روتيناً، يجب التعامل مع مقارنات لوحات المتصدرين كمعلومات ناقصة.

ترفض الورقة صراحةً فكرة أن "النماذج الأفضل ستحل هذه المشكلة"، مشيرة إلى أنه مع تحسن النماذج، تصبح الهياكل أكثر تعقيداً (على سبيل المثال، إعادة تصميم مكونات Claude Code بدلاً من إزالتها) لإدارة القدرات المتزايدة. الحل هو الإفصاح الهيكلي، وليس مجرد التقييس أو التوسع.