💬 NLP

Process-Centric Analysis of Agentic Software Systems

تقدم هذه الورقة Graphectory، وهو إطار عمل قائم على الرسوم البيانية لتحليل مسارات التنفيذ العشوائية للأنظمة البرمجية الوكيلية، والذي يكشف أن المطالبات الأكثر ثراءً والنماذج الأقوى تنتج أنماط استدلال أكثر تعقيداً مع تمكين المراقبة والتدخل في الوقت الفعلي، مما يحسن معدلات حل المشكلات والكفاءة بشكل كبير.

المؤلفون الأصليون: Shuyang Liu, Yang Chen, Rahul Krishna, Saurabh Sinha, Jatin Ganhotra, Reyhan Jabbarvand

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shuyang Liu, Yang Chen, Rahul Krishna, Saurabh Sinha, Jatin Ganhotra, Reyhan Jabbarvand

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف فريقاً من المتدربين العباقرة ولكن الجدد جداً لإصلاح خطأ برمجياً ضخماً ومعقداً في الكود المصدري لشركة ما.

في الطريقة القديمة المتبعة، والتي تسمى "التركيز على النتيجة" (Outcome-Centric)، ستنظر فقط إلى النتيجة النهائية. هل سلموك ملفاً مُصلحاً؟ نعم؟ رائع، يحصلون على نجمة ذهبية. لا؟ يتم طردهم. أنت لا تهتم كيف وصلوا إلى هناك. هل قضوا ثلاثة أيام في التحديق في الملف الخطأ؟ هل حذفوا الكود الخطأ ثم حاولوا إعادته؟ هل أصابهم الذعر وبدأوا بالركض في دوائر؟ إذا تم إصلاح الملف النهائي، فلن تعرف أبداً.

تقدم هذه الورقة طريقة جديدة لمراقبة هؤلاء "المتدربين من الذكاء الاصطعي" (يُطلق عليهم الأنظمة الوكيلية - Agentic Systems). تسمى هذه الطريقة "التحليل القائم على العملية" (Process-Centric Analysis). بدلاً من مجرد التحقق من الواجب المنزلي النهائي، قام المؤلفون ببناء أداة تسمى Graphectory لمشاهدة "الفيلم الكامل" لكيفية تفكير الذكاء الاصطناعي وتصرفه.

إليك شرح مبسط لأفكار الورقة باستخدام تشبيهات من الحياة اليومية:

1. المشكلة: "الصندوق الأسيود" للذكاء الاصطناعي

وكلاء الذكاء الاصطناعي الحاليون (مثل SWE-agent أو OpenHands) يشبهون الصناديق السحرية. تعطيهم مشكلة، فيعطونك حلاً. لكن داخل الصندوق، قد يكونون:

يتجولون بلا هدف: يبحثون في الأدراج الخطأ عن أداة.
يدورون في حلقات مفرغة: يحاولون نفس الإصلاح مراراً وتكراراً عندما لا ينجح الأمر.
يتخطون الخطوات: يصلحون الكود لكنهم ينسون اختباره.

إذا حالفهم الحظ وأصلحوا الخطأ، فنحن نحتفل. وإذا فشلوا، فنحن نقول فقط "لم ينجح الأمر". نحن نفوت الفرصة للتعلم من سبب معاناتهم.

2. الحل: Graphectory (جهاز تسجيل الرحلة)

ابتكر المؤلفون Graphectory. اعتبر هذا بمثابة جهاز تسجيل الرحلة (الصندوق الأسود) لعقل الذكاء الاصطناعي، ولكن بدلاً من تسجيل "تحطم" أو "هبوط آمن" فقط، فإنه يرسم مسار الرحلة بأكمله.

الخريطة: يقوم بتحويل قائمة إجراءات الذكاء الاصطناعي الخطية (الخطوة 1، الخطوة 2، الخطوة 3...) إلى خريطة ثلاثية الأبعاد.
الروابط: يرسم خطوطاً بين الإجراءات.
- خطوط الزمن: "لقد نظرت إلى الملف، ثم قمت بتعديله."
- خطوط الهيكل: "لقد نظرت إلى المجلد الرئيسي، ثم تعمقت في مجلد فرعي."
النتيجة: يمكنك أن ترى فوراً ما إذا كان الذكاء الاصطناعي يسلك طريقاً سريعاً ومباشراً نحو الحل، أم أنه عالق في ازدحام مروري من الحلقات المفرغة، والرجوع إلى الوراء، والمنعطفات الخاطئة.

3. "لغة" الرحلة: Langutory

النظر إلى خريطة ضخمة قد يكون مربكاً. لذا، ابتكر المؤلفون أيضاً Langutory.

التشبيه: تخيل أن رحلة الذك الذكاء الاصطناعي هي جملة طويلة. Langutory هو ملخص تلك الجملة.
بدلاً من قراءة 50 خطوة، يقول Langutory: "أمضى الوكيل 5 دقائق في النظر (التحديد المحلي)، ثم دقيقتين في الإصلاح (الترقيع)، ثم دقيقة واحدة في التحقق (التحقق من الصحة)."
هذا يسمح للباحثين باكتشاف ما إذا كان الذكاء الاصطناعي قد تخطى جزء "التحقق" أو قضى 90% من وقته في مجرد "النظر" دون القيام بأي إصلاح فعلي.

4. ماذا اكتشفوا (لحظات "وجدتها!")

راقب الفريق 4,000 رحلة من رحلات الذكاء الاصطناعي ووجدوا بعض الأشياء المفاجئة:

النجاح ليس دائماً فعالاً: حتى عندما أصلح الذكاء الاصطناي الخطأ، فغالباً ما سلك طريقاً طويلاً ومتعرجاً. كان الأمر أشبه بسائق وصل أخيراً إلى وجهته، لكنه قطع ثلاث ولايات وتُه في الطريق مرتين.
الذكاء الاصطناعي "الأذكى" يتوه أكثر: من المثير للدهشة أن نماذج الذكاء الاصطناعي "الأذكى" (التي تمتلك عقولاً أكبر) غالباً ما استكشفت أكثر وسلكت مسارات أطول. كانوا مثل المحققين الذين يقرؤون كل كتاب في المكتبة قبل العثور على الدليل. وبينما ساعدهم هذا أحياناً في حل المشكلات الأصعب، إلا أنه كان في كثير من الأحيان هدراً للوقت.
الفشل يبدو فوضوياً: عندما فشل الذكاء الاصطناعي، أظهرت الخريطة أنماطاً فوضوية: الكثير من الحلقات (الدوران في دوائر)، والذهاب والإياب بين الملفات، ومحاولة إصلاح أشياء ليست مكسورة.

5. القوة الخارقة: التدخل في الوقت الفعلي

الجزء الأروع في الورقة هو أنهم لم يكتفوا بمشاهدة الأفلام فحسب؛ بل بنوا مدرباً حياً.

كيف يعمل: بينما يعمل الذك- الاصطناعي، يراقبه نظام Graphectory في الوقت الفعلي.
التدخل: إذا رأى النظام الذكاء الاصطناعي يبدأ في الدوران في حلقات مفرغة أو يتخطى خطوة حاسمة (مثل الاختبار)، فإنه يوقف الذكاء الاصطناعي ويرسل رسالة تشخيصية: "مهلاً، لقد كنت تنظر إلى هذا الملف لمدة 10 دقائق دون تغيير أي شيء. قد تكون عالقاً. جرب تشغيل اختبار بدلاً من ذلك."
النتيجة: عندما استخدموا هذا "المدرب الحي"، أصلح الذكاء الاصطناعي أخطاءً أكثر (بنسبة تصل إلى 23% أكثر) وفعل ذلك بسرعة أكبر بكثير. كان الأمر بمثابة وجود نظام GPS يقول لك: "أنت تسير في دوائر، استدر الآن"، بدلاً من الانتظار حتى يصطدم السائق.

الملخص

تتعلق هذه الورقة بالانتقال من السؤال: "هل نجح الأمر؟" إلى السؤال: "كيف نجح الأمر؟"

من خلال تحويل عملية تفكير الذكاء الاصطناعي الفوضوية إلى خريطة واضحة (Graphectory) وملخص بسيط (Langutory)، يمكن للباحثين رصد العادات السيئة، وإصلاحها أثناء عمل الذكاء الاصطناعي، وبناء وكلاء برمجيات أكثر ذكاءً وكفاءة للمستقبل. إنه الفرق بين الحكم على الطاهي بناءً على مذاق الطبق النهائي فقط، مقابل مراقبته وهو يقطع ويطبخ ويتبل الطعام لترى أين يمكنه تحسين تقنياته.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التحليل المرتكز على العمليات للأنظمة البرمجية الوكيلة" (Process-Centric Analysis of Agentic Software Systems).

1. بيان المشكلة

تُستخدم الأنظمة البرمجية الوكيلة (Agentic software systems)، المدعومة بنماذج اللغات الكبيرة (LLMs)، بشكل متزايد للمهام المعقدة مثل هندسة البرمجيات. ومع ذلك، فإن طرق التقييم الحالية هي في الغالب مرتكزة على النتيجة (outcome-centric)، حيث تركز فقط على ما إذا كان الوكيل قد نجح في حل المهمة (مثل إصلاح خطأ برمي) أم لا. هذا النهج يعاني من قيود كبيرة:

نقص الرؤية: يفشل في شرح كيف قام الوكيل بالاستنتاج، أو التخطيط، أو التصرف.
إخفاء عدم الكفاءة: يحجب حالات عدم الكفاءة المتكررة، مثل الحلقات التكرارية، أو التراجع (backtracking)، أو الأخطاء الاستراتيجية، والتي قد تؤدي إلى النجاح عن طريق الصدفة بدلاً من الاستنتاج المنهجي.
مشاكل القابلية للتوسع: تعتمد المحاولات الحالية لتحليل مسارات الوكلاء على تصنيفات يدوية قائمة على خبرة البشر لأنماط الفشل، وهي تصنيفات منحازة، وغير مكتملة، ولا يمكن توسيعها لتشمل آلاف المسارات.
القيود الخطية: سجلات المسار الخام هي تسلسلات خطية تفشل في التقاط البنية الدلالية لتدفق التنفيذ، أو استراتيجيات حل المشكلات، أو العلاقات بين الإجراءات.

2. المنهجية

يقترح المؤلفون إطار عمل مبتكر لترميز وتحليل العلاقات الزمنية والدلالية في سير عمل الوكلاء بشكل منهجي.

أ. هياكل البيانات الأساسية

Graphectory (مخطط المسار): رسم بياني موجه حلقي ( $G = (V, TE \cup SE)$ ) يمثل مسار الوكيل.
- العقد ( $V$ ): تمثل إجراءات الوكيل المتميزة (مثل view أو str_replace أو submit). تحتوي كل عقدة على بيانات وصفية تشمل نوع الإجراء، المرحلة المنطقية، مستوى التنقل، والنتيجة.
- الحواف الزمنية ( $TE$ ): تربط الإجراءات بترتيب زمني.
- الحواف الهيكلية ( $SE$ ): تربط الإجراءات بناءً على علاقات "الاحتواء" ضمن مساحة المشكلة (على سبيل المثال: مجلد $\leftarrow$ ملف $\leftarrow$ كتلة برمجية). وهذا يلتقط عمق واتساع التنقل.
- المراحل: تُصنف العقد بمراحل منطقية هي: التحديد (Localization) (إيجاد الخطأ)، الترقيع (Patching) (إصلاح الكود)، التحقق (Validation) (الاختبار)، وعام (General).
Langutory (لغة المسار): تجريد قابل للقراءة البشرية لـ Graphectory.
- يقوم بإسقاط العقد على تسلسل من الرموز التي تمثل المراحل المنطقية (مثل $L, P, V$ ).
- يستخدم ترميز طول التشغيل (run-length encoding) لضغط المراحل المتتالية المتطابقة (مثل $L_5P_5LPV$ )، مما يوفر ملخصاً موجزاً لاستراتيجية الوكيل.

ب. المقاييس والتحليلات المرتكزة على العمليات

يحدد إطار العمل مقاييس كمية وتحليلات نوعية مستمدة من Graphectory:

المقاييس: عدد العقد (تنوع الإجراءات)، عدد الحواف الزمنية (طول المسار)، عدد الحلقات (التكرار/التراجع)، متوسط طول الحلقة، عدد الحواف الهيكلية (عمق الاستكشاف)، واتساع التنقل.
تحليل تدفق المراحل: يفحص تسلسلات انتقال المراحل لتحديد الاختصارات الاستراتيجية (تخطي التحقق) أو التراجع (العودة إلى مرحلة التحديد بعد الترقيع).
كشف الأنماط: يستخرج تلقائياً الأنماط المضادة (عدم الكفاءة) مثل "العرض المتكرر" (Repeated View)، "الخروج من العمق" (Zoom Out - التنقل للأعلى في الهيكل)، "التعمق الزائد" (Overly Deep Zoom)، و"تراجع التعديل" (Edit Reversion).
تحليل الاستراتيجية المشتركة: يستخدم خوارزميات النمط التسلسلي المعمم (GSP) لإيجاد المتواليات الاستراتيجية الفرعية الشائعة عبر مختلف الوكلاء والمشكلات.

ج. المراقبة والتدخل عبر الإنترنت (Online Monitoring)

يدعم النظام البناء الفوري لـ Graphectory و Langutory أثناء التنفيذ.

الاستدلالات (Heuristics): يراقب إشارات عدم الكفاءة (مثل الحلقات الكبيرة، عدم توافق الحواف الهيكلية/الزمنية، أو ركود المرحلة الطويل).
التدخل: عند اكتشاف مشكلات، يقوم النظام بتنبيه الوكيل برسائل تشخيصية. وفي حالات انتهاك الخطة الجسيمة (مثل الإرسال دون تحقق)، يمكنه التراجع (rollback) بالمسار إلى الحالة الس السابقة، مما يجبر الوكيل على إعادة المحاولة بتوجيه مصحح.

3. المساهمات الرئيسية

Graphectory و Langutory: تمثيلات هيكلية مبتكرة لمسارات الوكلاء تلتقط العلاقات الزمنية والدلالية معاً، متجاوزة السجلات الخطية.
مقاييس مرتكزة على العمليات: مجموعة من المقاييس الكمية لقياس تعقيد المسار، وكفاءته، والالتزام بالاستراتيجية.
خط تحليل آلي: نظام قادر على تحليل 4,000 مسار تلقائياً، وتحديد الاستراتيجيات الشائعة، وكشف أنماط عدم الكفاءة دون الحاجة لترميز يدوي.
آلية تدخل عبر الإنترنت: تقنية لاكتشاف وتصحيح مشكلات المسار في الوقت الفعلي، مما يحسن معدلات الحل بشكل كبير.
مجموعة بيانات شاملة: مجموعة بيانات عامة تضم 4,000 مسار من 8 أزواج من $\langle\text{الوكيل، النموذج}\rangle$ التي تحل 500 مشكلة من SWE-bench Verified.

4. النتائج التجريبية

قام المؤلفون بتقييم وكيلين (SWE-agent و OpenHands) باستخدام أربعة نماذج لغوية أساسية (DeepSeek-V3, DeepSeek-R1, Devstral-small, Claude Sonnet 4) على 500 مشكلة من SWE-bench Verified.

الارتباط بالنجاح والصعوبة:
- المشكلات غير المحلولة تظهر باستمرار Graphectories أكبر مع المزيد من الحواف الخلفية، والتكرارات، وأنماط عدم الكفاءة مقارنة بالمشكلات التي تم حلها.
- صعوبة المهمة: مع زيادة الصعوبة (بناءً على تقييم البشر)، يقوم الوكلاء باستكشاف أكثر توسعاً (عدد حواف هيكلية أعلى) ويظهرون تحولات استراتيجية أكثر.
- قوة النموذج: النماذج الأقوى (مثل Claude Sonnet 4) تولد Graphectories أكثر تعقيداً مع استكشاف أوسع وخطوات تحقق أكثر، مما يرتبط بمعدلات نجاح أعلى.
تحليل الاستراتيجية:
- عمليات التشغيل الناجحة تتبع عادةً تدفقاً متسقاً من $L \to P \to V$ .
- عمليات التشغيل غير الناجحة تظهر غالباً انتقالات فوضوية، مثل تخطي التحقق ( $L \to P \to \text{submit}$ ) أو التذبذب بين المراحل دون تقدم.
- النماذج الأقوى تظهر استراتيجيات أغنى وأكثر تكيفاً، بما في ذلك جمع سياق أعمق قبل عملية الترقيع.
أنماط عدم الكفاءة:
- حتى عمليات التشغيل الناجحة تحتوي على حالات عدم كفاءة (مثل العرض المتكرر، أو فشل التعديل).
- الأنماط المضادة الشائعة تشمل العرض المتكرر (إعادة فتح نفس الملف)، الخروج من العمق (العودة للأعلى في شجرة المجلدات)، و StrNotFound (فشل التعديل بسبب عدم تطابق النصوص).
- عمليات التشغيل غير المحلولة غالباً ما تراكم أنماطاً مضادة متعددة ضمن مسار واحد.
تأثير المراقبة والتدخل عبر الإنترنت:
- تطبيق المراقبة والتدخل عبر الإنترنت على الحالات الإشكالية أدى إلى زيادة في معدلات الحل تتراوح بين 6.9% إلى 23.5% عبر النماذج.
- قلل من السلوك التذبذبي بأكثر من 90% وقصر أطوال المسارات بشكل ملحوظ مع عبء تشغيلي شبه معدوم (أقل من 10 مللي ثانية).
- منع بفعالية الوكلاء من إرسال الترقيعات دون التحقق منها أو الوقوع في حلقات مفرغة.

5. الأهمية

ينقل هذا العمل نموذج التقييم للأنظمة الوكيلة بشكل جذري من التركيز على النتيجة إلى التركيز على العملية.

القوة التشخيصية: يوفر أول طريقة منهجية وقابلة للتوسع لفهم لماذا يفشل الوكلاء أو ينجحون، مما يكشف عن حالات عدم الكفاءة الخفية التي تغفلها مقاييس النتيجة.
رؤى قابلة للتنفيذ: توفر الأنماط المضادة المحددة (مثل فشل التعديل القائم على النصوص) أهدافاً ملموسة لتحسين أدوات الوكيل والتحفيز (prompting).
التحكم في الوقت الفعلي: تظهر قدرة التدخل عبر الإنترنت أن المراقبة المدركة للعملية يمكن أن تحسن أداء الوكيل فعلياً، مما يشير إلى مسار نحو أنظمة وكيلة ذاتية التصحيح.
أساس للأبحاث المستقبلية: من خلال توفير تمثيل هيكلي (Graphectory) ومجموعة بيانات واسعة النطاق، يفتح هذا البحث المجال للأبحاث المستقبلية في التنقل الرمزي، والتعديل القائم على أشجار الإعراب المجردة (AST)، وبنيات الوكلاء الأكثر قوة.