CaP-X: A Framework for Benchmarking and Improving Coding Agents for Robot Manipulation

1. بيان المشكلة

تتناول الورقة البحثية القيود التي تواجه النماذج الحالية للتحكم في الروبوتات المتجسدة:

• التحكم الكلاسيكي (Classical Control): يعتمد على كود صريح مصمم بشرياً. ورغم كونه قوياً وقابلاً للتفسير، إلا أنه يعاني من اختناق في القدرة على التوسع، حيث يتطلب تصميماً يدوياً للتجريدات ومعالجة الحالات الاستثنائية لكل مهمة جديدة.
• نماذج الرؤية واللغة والعمل (VLA Models): تتعلم هذه النماذج المعتمدة على البيانات مباشرة من مجموعات بيانات ضخمة. ورغم براعتها في المهام الغنية بالتلامس، إلا أنها غالباً ما تفتقر إلى القابلية للتفسير، وتواجه صعوبة في التعميم على تجسدات روبوتية جديدة أو مهام طويلة الأمد دون إعادة تدريب، كما ترث الانحيازات من بيانات تدريبها.
• فجوة "الكود كسياسة" (Code-as-Policy Gap): تشير الأعمال الحديثة إلى استخدام النماذج اللغوية الكبيرة (LLMs) لتوليد كود قابل للتنفيذ للتحكم في الروبوت. ومع ذلك، فإن التقييمات السابقة تعتمد غالباً على بدائيات عالية المستوى مصممة بشرياً (مثل stack_objs_in_order()). ولا يزال من غير الواضح مدى الأداء الناتج عن استدلال الوكيل (agent) مقابل الهياكل المساعدة (scaffolding) التي توفرها هذه الواجهات البرمجية (APIs) المبسطة. علاوة على ذلك، هناك نقص في المعايير المنهجية لتقييم كيفية أداء الوكلاء عندما يُجبرون على العمل عبر بدائيات منخفضة المستوى (أقرب إلى كيفية برمجة البشر للروبوتات فعلياً) وكيفية تعافيهم من الأخطاء دون تدخل بشري.

2. المنهجية: إطار عمل CaP-X

يقدم المؤلفون CaP-X، وهو إطار عمل موحد يتكون من أربعة مكونات رئيسية: CaP-Gym، وCaP-Bench، وCaP-Agent0، وCaP-RL.

أ. CaP-Gym (البيئة)

إطار تحكم هرمي تفاعلي مبني على واجهة Gymnasium.

• البنية: يربط محاكي فيزيائي منخفض المستوى (أو روبوت حقيقي) بحلقة تنفيذ كود ذات حالة (stateful).
• البدائيات (Primitives): يوفر حلقة "قراءة-تقييم-طباعة" (REPL) حيث يقوم الوكلاء بتوليد كود لتركيب بدائيات الإدراك والتحكم.
• النطاق: يدمج 187 مهمة من المحاكيات القياسية (RoboSuite، LIBERO-PRO، BEHAVIOR) تغطي مهام الطاولة، والتحكم الثنائي (bimanual)، والتحكم المتنقل.
• الميزة الرئيسية: يسمح للوكلاء بالتحكم في الروبوتات من خلال تخليق برامج تستدعي واجهات برمجة منخفضة المستوى (مثل حلول الكينماتيكا العكسية، ونماذج التجزئة) بدلاً من مجرد وحدات ماكرو عالية المستوى.

ب. CaP-Bench (المعيار)

معيار منهجي مصمم لتقييم النماذج الرائدة عبر ثلاثة محاور:

1. مستوى التجريد:
   • عالي المستوى (S1/S2): يستخدم وحدات ماكرو مصممة بشرياً.
   • منخفض المستوى (S3/S4): يستخدم بدائيات ذرية (مثل solve_ik()، sam3_text_prompt()). تتضمن S3 أمثلة استخدام داخل السياق (in-context)، بينما تزيل S4 هذه الأمثلة، مما يجبر الوكيل على الاستدلال فقط من توقيعات الدوال (function signatures).
2. التفاعل الزمني:
   • الدورة الواحدة (Single-Turn): توليد بدون معرفة مسبقة (zero-shot).
   • الدورات المتعددة (Multi-Turn): يمكن للوكلاء التكرار، ومراقبة ملاحظات التنفيذ (stdout/stderr)، وتحسين الكود.
3. التأسيس الإدراكي (Perceptual Grounding):
   • يقيم كيف تؤثر التغذية الراجعة البصرية على توليد الكود، من خلال مقارنة تداخل صور RGB الخام مقابل وحدات الفرق البصري (VDM) التي تحول التغييرات البصرية إلى نص مهيكل.

ج. CaP-Agent0 (إطار العمل الخالي من التدريب)

إطار عمل وكيل مبتكر مصمم لسد الفجوة في الأداء بين النماذج الخام والخبراء البشريين دون الحاجة لبيانات مهام محددة. وهو يدمج:

• الفرق البصري متعدد الدورات (VDM): يحول الملاحظات البصرية إلى لغة طبيعية مهيكلة للتخفيف من فجوات المحاذاة عبر الوسائط الموجودة في تداخل الصور الخام.
• مكتبة المهارات المُخلقة تلقائياً: عملية تكرارية حيث يقوم الوكيل بتحليل آثار التنفيذ الناجحة لاستخراج وترقية وظائف المنفعة المتكررة منخفضة المستوى إلى مكتبة مهارات مستمرة وغير مرتبطة بمهمة محددة.
• الاستدلال المتوازي: يستخدم مجموعة من النماذج (مثل Gemini-3-Pro، GPT-5.2، Claude Opus 4.5) مع درجات حرارة عينات متنوعة لتوليد حلول متعددة مرشحة، والتي يتم بعد ذلك تخليقها في قطعة كود نهائية قوية.

د. CaP-RL (التعلم التعزيزي)

يوضح أن التعلم التعززي مع المكافآت القابلة للتحقق (RLVR) يمكن تطبيقه مباشرة على وكيل البرمجة.

• الطريقة: يستخدم تحسين السياسة النسبي للمجموعات (GRPO) لإعادة تدريب نموذج أساسي (Qwen2.5-Coder-7B) باستخدام مكافآت البيئة من المحاكاة.
• النقل (Transfer): نظرًا لأن الوكيل يستدل عبر واجهات برمجة مجردة بدلاً من البكسلات الخام، فإن السياسة المتعلمة تنتقل بنجاح (zero-shot) إلى الروبوتات في العالم الحقيقي مع حد أدنى من فجوة (sim-to-real).

3. النتائج والمكتشفات الرئيسية

رؤى المعيار (CaP-Bench)

• فجوة التجريد: ينخفض الأداء بشكل كبير مع انخفاض مستويات التجريد (من المستوى العالي إلى المستوى المنخفض). تعتمد النماذج بشدة على الهياكل المساعدة البشرية.
• فجوة الاستدلال: حتى مع البدائيات عالية المستوى، لا تزال النماذج الرائدة (LLMs/VLMs) تتأخر عن الخبراء البشريين في الإعدادات التي لا تعتمد على معرفة مسبقة (zero-shot).
• قوة التكرار: يحسن التفاعل متعدد الدورات معدلات النجاح بشكل كبير.
  • التغذية الراجعة النصية فقط (M1) تساعد في تصحيح الأخطاء.
  • تداخل RGB الخام (M2) يقلل الأداء بشكل مفاجئ بسبب مشكلات المحاذاة عبر الوسائط.
  • الفرق البصري (M3)، الذي يترجم التغييرات البصرية إلى نص، يعطي أفضل النتائج، متفوقاً على كل من الصور الخام والتغذية الراجعة النصية فقط.
• توسيع حساب وقت الاختبار (Test-Time Compute): الوكلاء الذين يعملون على بدائيات منخفضة المستوى مع تغذية راجعة متعددة الدورات وتأسيس بصري (M4) يمكنهم تجاوز خطوط الأساس عالية المستوى ذات الدورة الواحدة، والاقتراب من الموثوقية بمستوى البشر.

أداء CaP-Agent0

• المحاكاة: في 4 من أصل 7 مهام في CaP-Bench، يحقق CaP-Agent0 معدلات نجاح تضاهي أو تتجاوز خطوط الأساس للخبراء البشريين، رغم عمله حصرياً على بدائيات منخفضة المستوى.
• التعميم (LIBERO-PRO & BEHAVIOR): يتفوق CaP-Agent0 على نماذج VLA المتطورة المعتمدة على التدريب (مثل OpenVLA، $\pi^0$، $\pi^{0.5}$) في المهام التي تتضمن اضطرابات في التعليمات وتغييرات في الموضع الأولي، مما يظهر قدرة فائقة على الصمود أمام تغير التوزيعات.
• النشر في العالم الحقيقي: تم نشره بنجاح على روبوتات Franka Panda وAgiBot G1 لمهام مثل "الإبرة في كومة القش" (البحث عن جسم محدد في وسط فوضوي)، والبحث الميكانيكي (رفع الأكواب)، والاستدلال الرمزي متعدد الوسائط (حل مسائل رياضية باستخدام الكتل).

نتائج CaP-RL

• يؤدي إعادة التدريب باستخدام GRPO على مهام المحاكاة إلى تحسين تجميع الكود والمتانة الاستراتيجية بشكل كبير.
• ينتقل الوكيل المدرب بالتعلم التعزيزي بفعالية إلى الروبوتات الحقيقية (Frangka Emema)، محققاً معدلات نجاح عالية (مثل 84% لرفع المكعب) دون الحاجة لإعادة التدريب على بيانات العالم الحقيقي.

4. الأهمية والمساهمات

1. إطار عمل موحد (CaP-X): يوفر أول منصة مفتوحة المصدر ومنظمة لتقييم وتحسين وكلاء البرمجة للروبوتات بشكل منهجي، متجاوزاً التجريدات عالية المستوى لاختبار قدرات الاستدلال الحقيقية.
2. معيار جديد (CaP-Bench): يضع معياراً صارماً لقياس القدرة الوكيلية عبر مستويات التجريد، وأنماط التفاعل، والتأسيس الإدراكي، كاشفاً أن النماذج الحالية تعتمد بشدة على الهياكل المساعدة البشرية.
3. أداء عالٍ خالٍ من التدريب (CaP-Agent0): يثبت أنه مع الهياكل المساعدة الصحيحة (التأسيس البصري، تخليق المهارات، الاستدلال المتوازي)، يمكن للنماذج اللغية الكبيرة تحقيق موثوقية بمستوى البشر في مهام المناولة المعقدة دون الحاجة لتدريب خاص بكل مهمة.
4. التحول من المحاكاة إلى الواقع عبر RL (CaP-RL): يوضح أن التعلم التعزيزي على مولد الكود نفسه، باستخدام مكافآت المحاكاة القابلة للتحقق، يؤدي إلى سياسات قوية تنتقل مباشرة إلى الروبوتات الفيزيائية، متجاوزة فجوة (sim-to-real) البصرية.
5. تحول النموذج (Paradigm Shift): تشير هذه الدراسة إلى مستقبل حيث يتم تقييم الوكلاء المتجسدين العامين بناءً على قدرتهم على الاستدلال عبر بدائيات منخفضة المستوى، مع بناء المتانة من خلال الاستدلال التكراري والتصحيح الذاتي في وقت الاختبار، بدلاً من الاعتماد على واجهات برمجة عالية المستوى هشة ومحددة مسبقاً.

الخاتمة

يثبت CaP-X أن نموذج "الكود كسياسة" هو نموذج قابل للتطبيق وقوي للتحكم في الروبوتات. ومن خلال إزالة الهياكل المساعدة البشرية بشكل منهجي وتزويد الوكلاء بالاستدلال التكراري، والتأسيس البصري، والمهارات المُخلقة ذاتياً، يظهر المؤلفون أن وكلاء البرمجة يمكنهم تحقيق أداء قوي، وقابل للتعميم، ومنافس للبشر في كل من المحاكاة والعالم الحقيقي. يقدم هذا الإطار مساراً واضحاً نحو تطوير ذكاء متجسد عام حقاً.