From Plan to Action: How Well Do Agents Follow the Plan?

إليك ملخص تقني مفصل لورقة البحث بعنوان "من الخطة إلى التنفيذ: ما مدى التزام الوكلاء بالخطة؟"

1. بيان المشكلة

تُستخدم الوكلاء القائمة على النماذج اللغوية الكبيرة (LLM) بشكل متزايد في مهام هندسة البرمجيات، مثل إصلاح مشكلات GitHub. عادةً ما يتم توجيه هؤلاء الوكلاء لاتباع خطة مهيكلة (على سبيل المثال: التنقل $\leftarrow$ إعادة الإنتاج $\leftarrow$ الرقعة $\leftarrow$ التحقق) لتفكيك المهام المعقدة. ومع ذلك، لا يزال من غير الواضح إلى أي مدى يلتزم الوكلاء فعليًا بهذه الخطط الموجهة أثناء التنفيذ.

تتمثل المشكلة الجوهرية في غياب التحليل المنهجي فيما يتعلق بـ الالتزام بالخطة (plan compliance). فبدون فهم ما إذا كان الوكيل يتبع خطة ما، يصبح من المستحيل تحديد ما إذا كان حل المهمة بنجاح ناتجًا عن استدلال استراتيجي صحيح أم عن عوامل أخرى مثل تلوث البيانات، أو الإفراط في التخصيص (overfitting) لمسارات الاختبارات المرجعية، أو سير العمل المحفوظ مسبقًا. علاوة على ذلك، فإن تأثير تغييرات الخطط (حذف الخطوات، أو إعادة ترتيبها، أو إضافة خطوات) على أداء الوكيل ليس مفهومًا بشكل جيد.

2. المنهجية

أجرى المؤلفون تقييمًا واسع النطاق ومنهجيًا ومؤتمتًا بالكامل للالتزام بالخطة باستخدام هيكل SWE-agent.

• البيانات والنماذج:
  • المسارات (Trajectories): تم توليد 16,991 مسارًا لحل حالات من SWE-bench Verified (500 حالة) و SWE-bench Pro (266 حالة لغة بايثون).
  • النماذج اللغوية الكبيرة (LLMs): تم اختبار أربعة نماذج متنوعة: GPT-5 mini، و DeepSeek-V3، و DeepSeek-R1، و Devstral-small.
• التصميم التجريبي:
  قيمت الدراسة الوكلاء تحت ثمانية إعدادات للخطط:
  1. الخطة القياسية: التنقل (N) $\leftarrow$ إعادة الإنتاج (R) $\leftarrow$ الرقعة (P) $\leftarrow$ التحقق (V).
  2. بلا خطة: يتم إزالة الخطة تمامًا من نظام التوجيه (system prompt).
  3. الخطط المختزلة: حذف مراحل محددة (بدون إعادة إنتاج، بدون تحقق).
  4. الخطط المعززة: إضافة مراحل ذات صلة (تنفيذ اختبار الانحدار، ملخص التغييرات).
  5. الخطة المعاد ترتيبها: وضع الرقعة قبل إعادة الإنتاج (N $\leftarrow$ P $\leftarrow$ R $\leftarrow$ V).
  6. الخطة المُذكّرة: يتم إعادة حقن الخطة القياسية في السياق كل خمس خطوات لمواجهة ضغط نافذة السياق (context window pressure).
• المقاييس (المساهمة الجديدة):
  قدم المؤلفون تحليلًا متمحورًا حول العملية باستخدام Graphectory (تمثيل رسومي للمسارات) و Langutory (تجريد الأفعال إلى تسلسل من مراحل الخطة). وقد عرفوا الالتزام بالخطة (PC) كمقياس يتكون من ثلاثة أبعاد:
  1. الالتزام بمرحلة الخطة ($PPC$): يقيس ما إذا كانت جميع المراحل المطلية تظهر في المسار.
  2. الالتزام بترتيب الخطة ($POC$): يقيس ما إذا كانت المراحل تظهر بالترتيب النسبي الصحيح (باستخدام منطق أطول سلسلة فرعية متزايدة).
  3. أمانة مرحلة الخطة ($PPF$): يعاقب على تضمين مراحل خارج أبجدية الخطة الموجهة.
  • الدرجة الإجمالية: $PC = (PPC \times POC \times PPF)^{1/3}$.

3. النتائج الرئيسية والاستنتاجات

السؤال البحثي الأول (RQ1): الالتزام بالخطة القياسية

• تباين الالتزام: لا يتبع الوكلاء الخطة القياسية بصرامة. ويختلف الالتزام بشكل كبير حسب النموذج.
  • Devstral-small يتبع الترتيب جيدًا ولكنه يضيف غالبًا مراحل خارج الخطة.
  • GPT-5 mini يتكيف بناءً على الصعوبة، وغالبًا ما يتخطى مرحلة إعادة الإنتاج في المهام السهلة.
  • نماذج DeepSeek غالبًا ما تحذف مراحل أو تنفذها خارج الترتيب.
• الارتباط بالنجاح: بشكل عام، يرتبط الالتزام العالي بالخطة بنجاح المهمة، رغم أن GPT-5 mini أظهر ارتباطًا سلبيًا (حيث أدت الاستراتيجيات المتكيفة إلى النجاح حتى عند الانحراف عن الخطة).

السؤال البحثي الثاني (RQ2): السلوك بدون خطة

• الاستراتيجيات الداخلية: حتى بدون تعليمات صريحة، يتبع الوكلاء استراتيجيات حل المشكلات الداخلية لديهم، والتي تتداخل جزئيًا مع الخطة القياسية (على سبيل المثال، لا يزال Devstral-small يتبع N $\leftarrow$ R $\leftarrow$ P $\leftarrow$ V).
• انخفاض الأداء: يؤدي إزالة الخطة باستمرار إلى تقليل معدل النجاح عبر جميع النماذج. تعمل الخطة القياسية كدليل يحسن الاستدلال المحلي، حتى لو لم يتبعها الوكيل بدقة.

الأسئلة البحثية الثالث والرابع والخامس (RQ3–RQ5): تأثير متغيرات الخطة

• الخطط السيئة مقابل "بلا خطة": غالبًا ما تكون الخطة الرديئة أو غير المكتملة (مثل إزالة مرحلة حرجة مثل إعادة الإنتاج) أكثر ضررًا على الأداء من عدم وجود خطة على الإطلاق. وهذا يشير إلى أن إجبار الوكيل على اتباع سير عمل معيب هو أسوأ من تركه يعتمد على استراتيجيته الداخلية.
• مخاطر التعزيز: إضافة مراحل "أفضل الممارسات" (مثل اختبار الانحدار) التي لا تتوافق مع الاستراتيجية الداخلية للنموذج يمكن أن يقلل من الأداء. قد يتشتت انتباه النماذج بسبب هذه الخطوات الإضافية.
• إعادة الترتيب: تعطي الوكلاء الأولوية لسير العمل الفعال على الترتيب المقرر. إذا كان النموذج يتخطى مرحلة إعادة الإنتاج بشكل طبيعي، فإن إجباره على القيام بذلك لاحقًا (خطة معاد ترتيبها) لا يؤدي باستمرار إلى تحسين الأداء.
• التذكيرات الدورية: يؤدي إعادة حقن الخطة كل بضع خطوات إلى تحسين الالتزام ومعدلات النجاح بشكل كبير من خلال التخفيف من "ضغط نافذة السياق" ومنع انحراف الوكيل عن المهمة.

السؤال البحثي السادس (RQ6): التعميم (SWE-bench Pro)

• في SWE-bench Pro الأكثر صعوبة والأقل تلوثًا، انخفض الالتزام بالخطة بنسبة 13% في المتوسط.
• أظهر الوكلاء سلوكيات مختلفة (مثل الاستسلام المبكر عن توليد اختبارات إعادة الإنتاج)، مما يشير إلى أن الخطة عالية المستوى القياسية أقل فعالية للمهام الأصعب والأقل تلوثًا.

السؤال البحثي السابع (RQ7): عدم الحتمية

• على الرغم من أن النماذج اللغوية الكبيرة غير حتمية، إلا أن تكرار التجارب أكد أن الاتجاهات الملحوظة في الالتزام بالخطة والأداء هي اتجاهات ثابتة وليست ناتجة عن العشوائية.

4. المساهمات الرئيسية

1. أول تحليل واسع النطاق: أول درسة منهجية تقيس مدى اتباع وكلاء البرمجة للخطط الموجهة عبر نماذج ومعايير متعددة.
2. مقاييس مبتكرة: تقديم الالتزام بالخطة (PC) ومقاييسه الفرعية ($PPC, POC, PPF$) لقياس الالتزام بالخطط رياضيًا، بشكل متميز عن تعقيد المسار العام.
3. تحديد الأسباب الجذرية: تحديد العوامل التي تؤدي إلى الانتهاكات، بما في ذلك نماذج الضبط الدقيق (fine-tuning)، وضغط نافذة السياق، وتلوث البيانات، والإفراط في التخصيص.
4. رؤية استراتيجية: إثبات أن توافق الخطة مع الاستراتيجية الداخلية للنموذج أمر بالغ الأهمية. الخطة التي تتعارض مع سير العمل الذي تعلمه النموذج يمكن أن تكون ضارة.

5. الأهمية والآثار المترتبة

تتحدى الورقة الافتراض القائل بأن مجرد تقديم خطة يضمن الالتزام بها أو يؤدي إلى أداء أفضل.

• الفجوة البحثية: غالبًا ما تقوم نماذج الضبط الدقيق الحالية بتشفير خطط مهام محددة مباشرة في النماذج، مما يؤدي إلى الإفراط في التخصيص. يجادل المؤلفون بضرية التحول نحو تعليم النماذج اتباع الخطط الموجهة بشكل تكيفي بدلاً من حفظ سير عمل محدد.
• نصيحة عملية:
  • التذكيرات تعمل: تعد التذكيرات الدورية بالخطة تدخلًا فعالًا ومنخفض التكلفة لتحسين النجاح في المهام طويلة الأمد.
  • الحذر من التعزيز: يجب التعامل مع إضافة مراحل إلى الخطة بحذر؛ فإذا لم يكن النموذج "مدربًا" على استخدامها، فقد ينخفض الأداء.
  • التقييم المتمحور حول العملية: إن تقييم الوكلاء بناءً على معدلات النجاح فقط ليس كافيًا؛ بل إن تحليل كيفية حلهم للمشكلات (الالتزام بالخطة) أمر حيوي لتشخيص حالات الفشل ومنع آثار تلوث البيانات.

في الختام، بينما تعتبر الخطط مفيدة، إلا أن فعاليتها مرتبطة ارتباطًا وثيقًا باستراتيجيات الاستدلال الداخلية للنموذج. يجب أن يركز تصميم الوكلاء في المستقبل على تحسين قدرة النموذج على الاستدلال والعمل بشكل تكيفي لاتباع التعليمات الديناميكية بدلاً من الاعتماد على سير عمل ثابت ومبرمج مسبقًا.