🤖 AI

Learning CLI Agents with Structured Action Credit under Selective Observation

تتناول هذه الورقة تحديات الملاحظة الانتقائية وتخصيص مكافأة الندرة في تعلم وكلاء واجهة السطر البرمجي (CLI) من خلال تقديم آلية الاستدلال $\sigma$ -Reveal، وطريقة التعلم المعزز لتخصيص ميزة الإجراء ( $\mathrm{A}^3$ )، ومجموعة بيانات ShellOps للتقييم القابل للتحقق.

المؤلفون الأصليون: Haoyang Su, Ying Wen

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haoyang Su, Ying Wen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف مساعداً ذكياً جداً ولكنه يعاني من ضعف في الرؤية لإدارة مكتبة ضخمة وفوضوية. يمكن لهذا المساعد قراءة الكتب، وتحريك الرفوف، وكتابة ملاحظات جديدة، لكنه لا يستطيع إلا رؤية زاوية صغيرة جداً من المكتبة في أي لحظة معينة. وعلاوة على ذلك، أنت لا تخبره إلا إذا حل اللغز بأكمله في النهاية، ولا تخبره إذا اختار الكتاب الصحيح في الخطوة الأولى أو كتب الملاحظة الصحيحة في الخطوة الثانية.

هذا هو التحدي الذي تعالجه هذه الورقة البحثية: تعليم "وكلاء واجهة السطر البرمجي" (CLI Agents) - وهي برامج حاسوبية تتحدث إلى الحاسوب عبر سطر الأوامر - كيفية العمل في أنظمة ملفات معقدة حيث لا يمكنهم رؤية كل شيء، وحيث لا يتلقون سوى إشارة "عمل جيد" أو "فشل" في النهاية فقط.

يقترح المؤلفون طريقة جديدة لتدريب هؤلاء الوكلاء باستخدام حيلتين رئيسيتين: σ-Reveal و A3.

المشكلتان الكبيرتان

مشكلة "العصابة على العينين" (الملاحظة الانتقائية):
المكتبة (نظام ملفات الحاسوب) تحتوي على آلاف الملفات. لا يمكن للوكيل قراءتها جميعاً في وقت واحد لأن ذاكرته محدودة (سعة الرموز/Tokens). إذا أظهرت له المكتبة بأكملها، فسيصاب بالتشتت. وإذا لم تظهر له شيئاً، فسيكون مجرد تخمين.

حل الورقة البحثية (σ-Reveal): فكر في هذا الأمر كأنه أمين مكتبة ذكي ينظر إلى سؤال الوكيل المحدد ويستخرج فقط الكتب والمجلدات ذات الصلة ليعرضها على الوكيل قبل أن يبدأ العمل. بدلاً من إلقاء المكتبة بأكملها على المكتب، يقول أمين المكتبة: "إليك الملفات الخمسة التي تحتاجها فعلياً لحل المهمة. تجاهل البقية". هذا يساعد الوكيل على التركيز على الأدلة الصحيحة دون أن يضيع.

مشكلة "الصندوق الأسود" للمكافأة (تحديد المسؤولية عن الإنجاز):
يتخذ الوكيل خطوات عديدة (أدوار) لحل مهمة ما. وفي النهاية، تقول له: "نجاح!" أو "فشل!". ولكن أي خطوة محددة هي التي صنعت الفارق؟ هل وجد الملف الصحيح في الخطوة 2؟ أم أنه كتب الأمر الخاطئ في الخطوة 4؟

حل الورقة البحثية (A3): هذه طريقة جديدة لمنح الائتمان/التقدير لأفعال الوكيل. بدلاً من مجرد قول "عمل جيد بشكل عام"، يقوم A3 بتفكيك الدرجة إلى ثلاث طبقات:
- درجة الحلقة (Episode Score): هل كانت هذه المحاولة بأكملها أفضل من المحاولات الأخرى لنفس المهمة؟
- درجة الدور (Turn Score): هل بدا هذا الأمر تحديداً مثل الأوامر التي نجحت في المحاولات الناجحة الأخرى؟ (تستخدم الورقة "بصمة" خاصة تسمى AST لمقارنة بنية الأوامر، مثل مقارنة هيكل الجملة بدلاً من مجرد كلماتها).
- درجة الشجرة (Tree Score): هل أدى هذا المسار المحدد من الأفعال إلى نتيجة أفضل من المسارات التي سلكها وكلاء آخرون؟
تشبيه: تخيل مدرباً يراقب فريق كرة قدم. بدلاً من مجرد قول "لقد فزنا"، يقول المدرب: "تمريرة رائعة في الدقيقة العاشرة (درجة الدور)، تلك الحركة كانت تماماً مثل الحركة التي سجلت هدفاً الأسبوع الماضي (درجة البنية)، وكان اختيار الهجوم من جهة اليسار هو الاستراتيجية الصحيحة مقارنة بالهجوم من جهة اليمين (درجة الشجرة)". هذا يساعد الوكيل على تعلم ما يجب تكراره بالضبط.

الملعب الجديد: ShellOps

لاختبار ذلك، بنى المؤلفون ميداناً تدريبياً جديداً يسمى ShellOps.

فكر في هذا الأمر كأنه صالة ألعاب رياضية لوكلاء الحاسوب.
يحتوي على أكثر من 1,600 مهمة تتراوح من "ابحث عن هذا الملف" البسيطة إلى "عدل هذه الملفات العشرين وقدم لي ملخصاً" المعقدة.
تم تصميمه ليكون قابلاً للتحقق: يمكن للحاسوب التحقق تلقائياً مما إذا كان الوكيل قد فعل الشيء الصحيح بالفعل (على سبيل المثال، هل تم تعديل الملف بشكل صحيح؟)، بدلاً من مجرد التخمين ما إذا كانت الإجابة تبدو جيدة.

ماذا حدث عندما جربوا ذلك؟

اختبر المؤلفون طريقتهم الجديدة (A3 + σ-Reveal) مقابل أفضل الوكلاء الآخرين باستخدام نموذج بـ 14 مليار معلمة (عقل متوسط الحجم ولكنه قوي).

النتائج: تفوقت طريقتهم بشكل كبير على الطرق الأخرى.
- في المهام الأكثر صعوبة (مهام "الهجين" التي تتطلب البحث عن المعلومات وتعديل الملفات معاً)، حقق وكيلهم حوالي 24.6% من الصحة، بينما حققت الطريقة التالية الأفضل بنسبة 11.3% فقط.
- كما كانت أرخص وأسرع في التدريب. تتطلب بعض الطرق الأخرى وجود "قاضٍ" ثانٍ (ذكاء اصطناعي آخر) لتقييم كل خطوة، وهو أمر بطيء ومكلف. أما طريقتهم، فتقوم بالتقييم رياضياً باستخدام بنية الكود نفسه، مما يحافظ على التكاليف منخفضة.

الخلاصة

تدعي الورقة أنه من خلال منح الوكلاء رؤية مركزة للملفات التي يحتاجونها (σ-Reveal) وتقرير تقييم مفصل حول أي الأفعال كانت جيدة (A3)، يمكننا تعليمهم كيف يكونون أفضل بكثير في التنقل وإصلاح أنظمة ملفات الحاسوب.

لم يدّعوا أن هذا يعمل للتشخيص الطبي، أو السيارات ذاتية القيادة، أو الكتابة الإبداعية. لقد ركزوا تحديداً على مهام سطر الأوامر: البحث عن السجلات (logs)، تعديل الكود، تجميع البيانات من جداول البيانات، وإصلاح مدخلات قواعد البيانات. في ذلك العالم المحدد، جعلت طريقتهم المتمثلة في "أمين المكتبة الذكي" و"المدرب المفصل" الوكلاء أكثر ذكاءً وموثوقية بشكل ملحوظ.

ملخص تقني: تعلم وكلاء واجهة السطر البرمجي (CLI) عبر تخصيص ائتمان الأفعال المهيكل تحت الملاحظة الانتقائية

بيان المشكلة

تمثل وكلاء واجهة السطر البرمجي (CLI) نموذجًا عمليًا للتفاعل بين الوكيل والحاسوب، حيث تعمل مباشرة داخل بيئات نظام الملفات عبر أوامر الصدفة (shell) بدلاً من واجهات برمجة الأدوات (APIs) المحددة مسبقًا. ومع ذلك، يواجه تدريب هؤلاء الوكلاء عقبتين مترابطتين:

الملاحظة الانتقائية: يجب على الوكلاء تحديد الأدلة ذات الصله بالمهمة ضمن قواعد بيانات برمجية وأنظمة ملفات ضخمة وعالية الأبعاد من ملاحظات جزئية. غالبًا ما تغطي الرؤية الأولية مجرد إسقاط محدود للبيئة، مما يجعل من الصعب اختيار الملفات أو المجلدات الصحيحة لاتخاذ إجراء.
ائتمان الفعل المتناثر: في التفاعلات متعددة الخطوات، غالبًا ما تكون مكافآت الطرفية (terminal rewards) متناثرة ومتأخرة، حيث تظهر فقط في نهاية الحلقة (episode). ويعد تخصيص الائتمان لأفعال محددة تشكل مسارًا طويلًا أمرًا صعبًا، خاصة عندما تكون مساحة الحالة كبيرة وكل ملاحظة فيها فريدة تقريبًا، مما يضعف الافتراضات التي تعتمد عليها طرق التعلم التعزيزي (RL) الحالية والتي تستند إلى تكرار الحالات لعمليات التطبيع (normalization).

تؤدي النهج الحالية، مثل الضبط الدقيق الخاضع للإشراف على مستوى المسار، غالبًا إلى حفظ أنماط الواجهة بدلاً من الفهم الحقيقي للمهمة. وعلى العكس من ذلك، تعاني طرق التعلم التعزيزي الحالية (مثل متغيرات تحسين السياسة النسبي للمجموعة - GRPO) من صعوبة في تخصيص الائتمان في إعدادات CLI بسبب غياب الحالات المتكررة وتعقيد رسم الخرائط من المكافآت الطرفية المتناثرة إلى هياكل أوامر الصدفة المحددة.

المنهجية

يقترح البحث إطار عمل موحد يعالج كلاً من الملاحظة وتخصيص الائتمان من خلال آليتين رئيسيتين: $\sigma$ -Reveal و تخصيًيم ميزة الفعل (A3).

1. $\sigma$ -Reveal: الملاحظة الانتقائية

لمعالجة عقبة الملاحظة الجزئية، قدم المؤلفون $\sigma$ -Reveal، وهي آلية استدلال تبني رؤية لمساحة العمل بميزانية محددة من الرموز (tokens).

الآلية: قبل الإجراء الأول، يقوم $\sigma$ -Reveal باختيار مجموعة مغلقة فرعية من الملفات من شجرة الملفات الأولية ( $FS_0$ ) التي تعظم درجة الصلة $\hat{\mu}(x | o_0)$ تحت ميزانية رموز $B$ .
تسجيل الصلة: يجمع التقييم بين ثلاث إشارات:
1. مطابقة الاسم: ما إذا كان اسم الملف يتطابق مع الرموز الموجودة في تعليمات المهمة.
2. أولوية العمق: اضمحلال هندسي بناءً على عمق الملف في شجرة المجلدات.
3. أولوية الامتداد: احتمالية كون امتداد الملف ذا صلة بنوع المهمة المستنتجة.
النتيجة: يضمن ذلك حصول الوكيل على رؤية غنية سياقيًا ولكنها فعالة من حيث استهلاك الرموز لمساحة العمل، مع الحفاظ على سياق المجلد للملفات المختارة.

2. تخصيص ميزة الفعل (A3)

يعد A3 طريقة تعلم تعزيزي وكيلية أصلية تقوم ببناء مزايا لكل دور عبر دمج ثلاث إشارات متكاملة دون الحاجة إلى نماذج قيمة مساعدة أو تثبيت للحالة.

تشابه الفعل القائم على AST: تقيس الطريقة نية الفعل من خلال مقارنة تواقيع شجرة الإعراب المجردة (AST) لأوامر الصدفة. باستخدام Tree-sitter للغة Bash، يتم تحويل الأفعال إلى تواقيع هيكلية (أفعال، قيم حرفية، هياكل تحكم) مستقلة عن مسارات الملفات المحددة أو القيم الحرفية. ويتم حساب المسافة بين الأفعال عبر مسافة ليفنشتاين (Levenshtein distance) المعيارية على هذه التواقيع.
دمج الميزة ثلاثي القنوات:
1. العمود الفقري للحلقة ( $A^{ep}$ ): يقارن عائد المسار مقابل وسيط العوائد للمسارات الشقيقة لنفس المطالبة (prompt)، مع تطبيع بواسطة الانحراف المطلق عن الوسيط (MAD). يوفر هذا إشارة عالمية لنجاح المهمة.
2. بقايا السلسلة الفرعية للفعل على مستوى الدور ( $A^{intent}$ ): يقوم بتجميع المسارات عند دور محدد بناءً على التشابه الهيكلي لسلاسل الأفعال الفرعية الأخيرة (باستخدام مسافة AST). يقوم بحساب متوسط "الترك - واحد فقط" (LOO) للعوائد للأفعال المتشابهة هيكليًا، ويخصص الائتمان بناءً على الانحراف عن هذا المتوسط. هذا يعزل قيمة هياكل الأوامر المحددة.
3. ميزة الشجرة ( $A^{tree}$ ): يجرد سجلات التفاعل إلى "حاويات" بناءً على تواقيع الأفعال السابقة. يحسب فرق القيمة بين اتخاذ فرع فعل مجرد محدد مقابل متوسط الفرع من نفس الحالة المجردة. يتم التحكم في هذه الإشارة عبر حجم المجموعة لمنع الضوضاء في المجموعات الصغيرة.
الدمج: يتم تطبيع هذه الإشارات الثلاث، ووزنها، وتمريرها عبر دالة تنشيط محدودة (tanh) لإنتاج الميزة النهائية $A_i$ المستخدمة لتحديثات تدرج السياسة.

3. مجموعة بيانات ShellOps

لتقييم هذا الإعداد، أنشأ المؤلفون مجموعات بيانات ShellOps و ShellOps-Pro، وهي مجموعات بيانات قابلة للتحقق تغطي مهام CLI في بيئات المستودعات.

النطاق: تشمل المهام البحث (استخراج القيم)، التجميع (إجابات عددية من أدلة متفرقة)، التعديل (إعادة كتابة ملفات قابلة للتحقق)، و المختلط (الجمع بين مخرجات stdout وتعديلات الملفات).
الحجم: تحتوي ShellOps على 1,624 مهمة؛ وتضيف ShellOps-Pro حوالي 150 مهمة أصعب وخارج النطاق (out-of-distribution) مع مساحات عمل أكبر (متوسط 25 ملفًا لكل مهمة مقابل 3 في المجموعة القياسية) وامتدادات ملفات متنوعة.

النتائج الرئيسية

أُجريت التجارب باستخدام نموذج السياسة Qwen3-14B عبر عدة اختبارات مرجعية (AgentBench، DataBench، EHRCon، TableBench، و ShellOps).

الأداء: حققت طريقة A3 مع $\sigma$ -Reveal أقوى النتائج بين طرق Qwen3-14B. وفي مهام ShellOps الهجينة (التي تتطلب تعديلات ملفات و stdout)، حققت A2 نسبة مطابقة تامة بلغت 24.6%، متفوقة بشكل كبير على أقوى خط أساس (11.3%).
كفاءة أخذ العينات: من حيث Pass@k، وصلت A3 مع $\sigma$ -Reveal إلى 55.7% في ShellOps (Pass@5)، مقارنة بـ 28.6% لأفضل خط أساس غير A3.
النقل طويل الأمد: في ShellOps-Pro مع آفاق ممتدة (تصل إلى 10 خطوات)، حافظت A3 على أفضل أداء بين وكلاء Qwen3-14B، حيث وصلت إلى مستويات أداء تضاهي النماذج الضخمة (مثل Qwen3-235B) في إعدادات محددة، رغم بقاء فجوات مع نماذج مثل Kimi-K2.6.
الاستقرار: أظهرت تشخيصات التدريب أن A3 حافظت على استقرار KL المساعد (surrogate KL) وإنتروبيا السياسة، متجنبة "قفزات KL" وانهيار الإنتروبيا الملاحظ في خطوط الأساس مثل HGPO و RetroAgent.
الكفاءة: تكلفة حساب ميزة A3 مشابهة لتدريب المجموعة النسبي القياسي، على عكس الطرق التي تعتمد على حكام LLM (مثل GiGPO و HGPO) والتي تتطلب تكاليف حوسبة أعلى بكثير.

الأهمية والادعاءات

يدعي البحث أن اختيار أدلة مساحة العمل و هيكل الأمر هما أساسان فعالان لتعلم وكيل CLI.

الائتمان الهيكلي: من خلال الاستفادة من السمات الهيكلية الأصلية لأفعال CLI (تواقيع AST) بدلاً من النص السطحي، توفر A3 طريقة قابلة للتوسع وفعالة حوسبيًا لتخصيص الائتمان لا تعتمد على الحالات المتكررة أو الحكام الخارجيين.
إدارة الملاحظة: يثبت $\sigma$ -Reveal أن حقن السياق الانتقائي بميزانية محددة من الرموز يمكن أن يخفف بفعالية مشكلة الملاحظة الجزئية في أنظمة الملفات الكبيرة دون الحاجة إلى بحث شامل.
النموذج العملي: يرسخ هذا العمل حلقة قابلة للتحقق لوكلاء CLI حيث تُشتق المكافآت من النتائج القابلة للتنفيذ (حالات الملفات ومخرجات الطرفية)، متجاوزًا مجرد أزواج المدخلات والمخرجات المعزولة إلى تحسين التفاعل متعدد الخطوات الحقيقي.

يشير المؤلفون إلى القيود، بما في ذلك الاعتماد على هيكل الصدفة كوكيل للنية (والذي قد يغفل الاختلافات الدلالية في المسارات أو محتويات الملفات) وأن النطاق الحالي يقتصر على تفاعلات نظام الملفات المدفوعة بالصدفة، مما يتطلب مزيدًا من التحقق في بيئات واجهة المستخدم الرسومية (GUI) أو الشبكات.