Endless Terminals: Scaling RL Environments for Terminal Agents

إليك ملخص تقني مفصل لورقة البحث بعنوان: "النهايات الطرفية اللامتناهية: توسيع نطاق بيئات التعلم المعزز لوكلاء الطرفية (Endless Terminals: Scaling RL Environments for Terminal Agents)."

1. بيان المشكلة

أظهر التعلم المعزز (RL) للنماذج اللغوية الكبيرة (LLM) نجاحاً في مجالات مثل الرياضيات والبرمجة، لكنه يواجه عقبة حرجة في وكلاء الطرفية (Terminal Agents) (الوكلاء الذين يتفاعلون مع واجهة سطر الأوامر - CLI).

• العقبة: صُممت اختبارات الطرفية الحالية (مثل TerminalBench) للتقييم وليس للتدريب. فهي تحتوي فقط على مئات المهام التي تم اختيارها يدوياً، وهو أمر غير كافٍ لطبيعة التعلم المعزز التي تتطلب كميات هائلة من البيانات.
• قصور الأعمال السابقة: تعتمد الأساليب الحالية على:
  • إعادة توظيف الاختبارات الثابتة للتدريب (مما يؤدي لخطر الإفراط في التخصيص/Overfitting).
  • الضبط الدقيق تحت الإشراف (SFT) عبر استخلاص المعرفة (Distillation) من نماذج ملكية أقوى (مما يرث سقف قدرات النموذج المعلم ويتطلب وصولاً مكلفاً لواجهات البرمجة API).
  • مجموعات البيانات المنسقة بشرياً (المحدودة بتكلفة ووقت التوسيم البشري وحجمها).
• الفجوة: هناك نقص في وجود خط إنتاج مستقل تماماً قادر على توليد تدفق لا نهائي ومتنوع من مهام الطرفية المتنوعة والقابلة للتحقق دون تدخل بشري في التوسيم.

2. المنهجية: خط إنتاج النهايات الطرفية اللامتناهية (Endless Terminals Pipeline)

قدم المؤلفون Endless Terminals، وهو خط إنتاج لتوليد المهام إجرائياً يقوم بتخليق مهام استخدام الطرفية بشكل مستقل. يعمل خط الإنتاج عبر أربع مراحل متميزة (كما هو موضح في الشكل 2 من الورقة):

المرحلة الأولى: توليد وصف المهمة

• العملية: يتم توجيه نموذج لغوي لتوليد أوصاف المهام مقترنة ببيانات "الحقيقة الأرضية ذات الامتياز" (Privileged Ground Truth).
• التنوع: تأخذ المطالبات عينات عشوائية من ثلاثة أبعاد:
  • الفئات: عمليات الملفات، إدارة السجلات (Logs)، معالجة البيانات، البرمجة النصية (Scripting)، عمليات قواعد البيانات، إل_خ.
  • التعقيد: يتراوح من مهام بسيطة مكونة من 2-3 أوامر إلى تسلسلات متعددة الخطوات (5-10 أوامر).
  • السياق: سيناريوهات مثل مهندس DevOps يقوم بتصحيح أخطاء السجلات، أو مدير قاعدة بيانات يدير النسخ الاحتياطي.
• المخرجات: ينتج النموذج تعليمات مهمة للمستخدم النهائي وقسماً مخفياً لـ "الحقيقة" يحتوي على محتويات الملفات الدقيقة، المسارات، والحالات المتوقعة للتحقق.

المرحلة الثانية: إعداد الحاوية والتحقق من الصحة

• إنشاء البيئة: يقوم النظام بتوليد تعريف للحاوية (Docker أو Apptainer) لإنشاء البيئة المطلوبة.
• التحقق التكراري: يُستخدم حلقة تحسين تكرارية؛ حيث يولد النموذج نصاً برمجياً للإعداد، ثم يقوم النظام ببناء الحاوية وتشغيل اختبارات المتطلبات المسبقة (للتحقق من الملفات أو المجلدات أو العمليات المطلوبة).
• التصحيح: إذا فشلت الاختبارات، يتم تغذية مخرجات الخطأ للنموذج للتصحيح (حتى 3 جولات). المهام التي تفشل في إنتاج حاوية صالحة يتم استبعادها.

المرحلة الثالثة: توليد اختبار الإكمال

• منطق التحقق: يتم توليد ملف اختبار ثانٍ للتحقق من حالة النظام بعد إكمال المهمة.
• المنطق: تتحقق هذه الاختبارات من الملفات التي تم إنشاؤها، التكوينات المعدلة، والنتائج المحسوبة بناءً على "الحقيقة الأرضية ذات الامتياز".
• فحص السلامة: يتحقق النظام من أن هذه الاختبارات لا تجتاز في الحالة الأولية، لضمان أنها تقيس إكمال المهمة الفعلي وليس النجاح التافه.

المرحلة الرابعة: تصفية القابلية للحل

• التحقق: لضمان قابلية المهام للحل، يقوم النظام بأخذ عينات من 16 محاولة حل من نموذج حدودي (Frontier Model) متطور (o3) باستخدام إطار عمل الوكيل.
• التصفية: يتم الاحتفاظ بالمهام فقط إذا نجح حل واحد على الأقل (pass@16 > 0). هذا يستبعد المهام غير المحددة بدقة أو المستحيلة.
• النتيجة: تقوم خطوة التصفية هذه باستبعاد حوالي 50% من المرشحين المولدين، مما يترك مجموعة بيانات عالية الجودة وقابلة للحل.

3. بنية الوكيل والتدريب

• الدعامات الدنيا (Minimal Scaffolding): يستخدم الوكيل حلقة تفاعل بسيطة بدون استرجاع (Retrieval)، بدون تنسيق بين وكلاء متعددين، وبدون أدوات متخصصة (مثل vim أو htop).
• حلقة التفاعل:
  • يتلقى النموذج تاريخ المحادثة (الاستنتاج + مخرجات الشل/Shell).
  • يخرج أمراً مغلفاً بـ <command>...</command> أو إشارة إكمال <command>done</command>.
  • ينفذ النظام الأمر، ويعيد مخرجات stdout/stderr/رمز الخروج (exit code)، وتتكرر الحلقة.
• خوارزمية التدريب: خوارزمية التحسين المتدرج للسياسة القريبة (PPO) التقليدية.
  • إشارة المكافأة: مكافأة ثنائية على مستوى الحلقة (1 إذا اجتازت الاختبارات النهائية، 0 خلاف ذلك). لا توجد مكافآت وسيطة أو عقوبات KL.
  • المعلمات الفائقة (Hyperparameters): 16 دورة لكل عملية (rollout) أثناء التدريب، بحد أقصى 2048 رمزاً (token) لكل دورة، ودرجة حرارة (temperature) 0.6.
• النماذج الأساسية: Llama-3.2-3B، Qwen2.5-7B، و Qwen3-8B-openthinker-sft (الأخير تم ضبطه مسبقاً على 15 ألف مسار مستخلص).

4. النتائج الرئيسية

قام خط الإنتاج بتوليد 3,255 مهمة تم التحقق منها تغطي عمليات الملفات، إدارة السجلات، معالجة البيانات، وغيرها.

الأداء على مجموعات التطوير المحجوزة (Held-Out)

أدى التدريب على "النهايات الطرفية اللامتناهية" إلى مكاسب جوهرية عبر جميع أحجام النماذج:

• Llama-3.2-3B: تحسن من 4.0% إلى 18.2%.
• Qwen2.5-7B: تحسن من 10.7% إلى 53.3%.
• Qwen3-8B-openthinker-sft: تحسن من 42.6% إلى 59.0%.

الانتقال إلى الاختبارات المنسقة بشرياً (TerminalBench 2.0)

من الأهمية بمكان ملاحظة أن التحسينات انتقلت إلى اختبار مختلف تماماً ومنسق بشرياً:

• Llama-3.2-3B: 0.0% ← 2.2% (تفوق على النموذج الأساسي والمتغيرات الأخرى للتعلم المعزز).
• Qwen2.5-7B: 2.2% ← 3.4%.
• Qwen3-8B-openthinker-sft: 1.1% ← 6.7%.
• ملاحظة: تفوقت هذه النتائج على الأساليب البديلة، بما في ذلك النماذج ذات الدعامات الوكيلية المعقدة (مثل Terminus-2).

تحليل أنماط الفشل

في TerminalBench 2.0، كانت أنماط الفشل الرئيسية هي:

1. فشل الحلقة (Loop Failures) (39%): يكرر النموذج نفس تسلسل الأوامر بعد حدوث خطأ. أظهرت عمليات التشغيل الناجحة تنوعاً أكبر بكثير في الأوامر (0.49) مقارنة بالفاشلة (0.18).
2. استنفاد الدورات (Turn Exhaustion) (26%): الوصول إلى الحد الأقصى من الدورات.
3. فجوات النطاق (Domain Gaps): عدم تحقيق أي نجاح في مهام الرياضيات، تعلم الآلة، ومهام تدريب النماذج، مما يشير إلى أن خط توليد المهام الإجرائي يفتقر حالياً للتغطية في هذه المجالات المتخصصة.

5. الأهمية والمساهمات

• التوسع فوق التعقيد: تثبت الورقة أن إعدادات التعلم المعزز البسيطة تنجح عندما تتوسع البيئات. لم تأتِ المكاسب من خوارزميات أو دعامات معقدة، بل من الحجم الهائل والتنوع في المهام المولدة إجرائياً.
• خط إنتاج مستقل: توفر أول خط إنتاج مستقل تماماً لتوليد مهام الطرفية لا يعتمد على التوسيم البشري أو استخلاص المعرفة من نماذج أقوى من أجل بيانات التدريب نفسها.
• تكامل الـ SFT والـ RL: تشير النتائج إلى أن الـ SFT (الاستخلاص) يوفر "بداية دافئة" (warm start) يمكن للتعلم المعزز البناء عليها بفعالية، حيث ظهرت أفضل النتائج في النموذج الذي جمع بين كليهما.
• الأثر على المجتمع: تجادل الورقة بأن على المجال الاستثمار في خطوط إنتاج توليد المهام الآلية جنباً إلى جنب مع التقدم الخوارزمي لفتح الإمكانات الكاملة للوكلاء ذاتي التحسين.

6. القيود والعمل المستقبلي

• واقعية المهام: تشبه المهام المولدة مسائل البرمجة التنافسية أكثر من كونها طلبات "غامضة" وغير محددة كما في الواقع.
• سقف القدرة: تعتمد تصفية القابلية للحل على نموذج حدودي (o3)، مما يعني أن خط الإنتاج لا يمكنه توليد مهام تتجاوز القدرات الحالية لأحدث النماذج (State-of-the-art).
• ندرة المكافأة (Reward Sparsity): إشارة المكافأة الثنائية نادرة (sparse)؛ قد يستكشف العمل المستقبلي المكافآت الجزئية أو نماذج العالم المتعلمة لتحسين كفاءة العينات.