VLCP: Vision Language Control Policy Closed-Loop Code Replanning for Robot Manipulation
يقدم VLCP سياسة تلاعب روبوتية لا تتطلب تدريبًا، حيث تُبقي نموذج الرؤية واللغة مجمدًا وتُمكّن التحكم في الحلقة المغلقة من خلال جعله يعيد كتابة كود التحكم الخاص به بلغة بايثون ديناميكيًا كل K خطوة بناءً على ملاحظات متعددة الرؤى، محققًا بذلك تحسنًا في معدل النجاح بمقدار عشرة أضعاف مقارنة بالنماذج المرجعية ذات الحلقة المفتوحة من خلال التعافي من الفشل أثناء الحلقة.
في عالم الروبوتات، هناك فجوة مستمرة بين ما يمكن للحاسوب فهمه وما يمكنه فعله حقاً. لسنوات، حاول العلماء سد هذه الفجوة عبر تعليم الروبوتات لغة الحركة، وإجبار نماذج الذكاء الاصطناعي القوية على تعلم مفردات جديدة ومتخصصة من الأوامر الحركية. يتطلب هذا النهج كميات هائلة من بيانات التدريب، وغالباً ما يجرد الروبوت من قدرته على التفكير المنطقي، تاركاً إياه يكتفي بحفظ إجراءات محددة بدلاً من فهم الموقف. وتقترح فكرة أحدث أنه بدلاً من تعليم الروبوت لغة جديدة، يجب أن نتركه يتحدث اللغة التي يتقنها بالفعل: لغة البرمجة. فمن خلال مطالبة الذكاء الاصطناعي بكتابة برنامج قصير يخبر الروبوت بكيفية التحرك، يستطيع الباحثون الحفاظ على قدرة الذكاء الاصطناعي على التفكير المنطقي. ومع ذلك، كانت هناك ثغرة رئيسية في هذه الطريقة، وهي أن البرنامج يُكتب مرة واحدة قبل أن يبدأ الروبوت في الحركة. فإذا أخطأ الروبوت في الإمساك بشيء أو اصطدم بعائق، يستمر البرنامج في العمل بشكل أعمى، حاملاً ذلك الخطأ معه حتى نهاية المهمة دون أي وسيلة لإصلاحه.
تقدم دراسة جديدة نظاماً يسمى (VLCP)، والذي يغير القواعد من خلال السماح للروبوت بإعادة كتابة تعليماته أثناء العمل. فقد بنى الباحثون إطار عمل يعمل فيه نموذج ذكاء اصطناعي مُدرب مسبقاً وثابت كـ "مشرف". وبدلاً من إرسال مجموعة واحدة من الأوامر في البداية، يقوم النظام بالتوقف كل خمسين خطوة للنظر في وضع الروبوت الحالي عبر الكاميرات والمستشعرات. ثم يطلب من الذكاء الاصطناعي كتابة دالة برمجية (Python function) قصيرة وجديدة للتعامل مع الخمسين خطوة التالية بناءً على ما رآه للتو. فإذا فشل الروبوت في التقاط جسم ما في المرحلة السابقة، يلاحظ الذكاء الاصطناعي الفشل من خلال الصور، ويكتب كوداً جديداً لتصحيح النهج المتبع، ويحاول مجدداً، كل ذلك ضمن المحاولة نفسها. وهذا يخلق حلقة مغلقة حيث يتم تعديل برمجيات التحكم نفسها في الوقت الفعلي، بدلاً من مجرد تعديل حركات الروبوت.
اختبر الباحثون هذا النظام في بيئة محاكاة تحتوي على سبعة وخمسين مهمة مختلفة، تتراوح من التقاط الأشياء البسيطة إلى تسلسلات معقدة في بيئات المطبخ وغرف المعيشة. وقارنوا طريقتهم بنسخة من نفس النظام الذي يكتب الكود مرة واحدة فقط في البداية ولا ينظر إلى الوراء أبداً. كان الفرق صارخاً؛ فالنظام الذي أعاد كتابة الكود الخاص به أثناء العمل نجح في خمسة وثلاثين بالمائة من المهام، بينما نجح النظام الذي التزم بخطته الأصلية في ثلاثة بالمائة فقط. وقد تحقق هذا التحسن بمقدار عشرة أضعاف في كل نوع من المشاهد التي اختبروها. ولم يكن مفتاح هذا النجاح هو قدرة الروبوت على رؤية أخطائه فحسب، بل في قدرته على تغيير التعليمات ذاتها التي تسببت في تلك الأخطاء. ففي قرابة ثلاثين بالمائة من الحالات التي فشل فيها الروبوت في البداية في التقاط جسم ما، رصد النظام الخطأ، وأعاد كتابة النهج المتبع، ونجح في رفع الجسم لاحقاً في المحاولة نفسها. ولولا القدرة على تحرير الكود في منتصف المهمة، لكانت تلك الإخفاقات دائمة.
ولضمان عملية تطبيقية لهذا النهج، قاس الفريق مقدار القوة الحوسبية المطلوبة. ولأن الذكاء الاصطناعي يعيد استخدام معظم المعلومات الخلفية نفسها في كل مرة، فإن النظام يحتاج فقط إلى معالجة كمية صغيرة من البيانات الجديدة في كل مرة. وقد سمح ذلك للروبوت بالتوقف، والتفكير، وإعادة كتابة تعليماته حوالي عشر مرات خلال مهمة واحدة دون أن يصبح بطيئاً جداً أو مكلفاً للتشغيل. كما أظهرت الدراسة أن هذه الطريقة لا تعتمد على حفظ الروبوت لعبارات أو تعليمات محددة؛ فعندما قام الباحثون بتغيير صياغة أوصاف المهام، ظل أداء النظام مستقراً، بينما عانت النماذج الأخرى التي تعتمد على بيانات التدريب بشكل كبير عندما تغيرت اللغة قليلاً. وهذا يشير إلى أن النظام يفهم الهدف حقاً بدلاً من مجرد مطابقة الأنماط.
وقد أشار الباحثون بعناية إلى أن نتائجهم تأتي من محاكاة حاسوبية، وليس من روبوت مادي في غرفة حقيقية. فالنظام يعتمد حالياً على معلومات رقمية مثالية حول مواقع الأشياء، وهو أمر قد لا تستطيع الكاميرات في العالم الحقيقي توفيره دائماً بهذا اليقين. بالإضافة إلى ذلك، فإن الوقت الذي يستغرقه الذكاء الاصطناعي لتوليد كود جديد يعني أن هذا النهج مناسب أكثر للمهام التي لا تتطلب ردود فعل في أجزاء من الثانية. ورغم هذه القيود، توضح الدراسة مساراً واضحاً للمستقبل: فمن خلال إبقاء الذكاء الاصطناعي في لغة الكود والسماح له بإصلاح أخطائه أثناء وقوعها، يمكن للروبوتات أن تصبح أكثر قدرة دون الحاجة إلى إعادة تدريبها على آلاف العروض البشرية. ويشير هذا العمل إلى أن مستقبل التحكم في الروبوتات قد لا يكمن في تعليم الآلات طرقاً جديدة للحركة، بل في منحها الحرية لتعديل خططها الخاصة أثناء التعلم.
ملخص تقني: سياسة التحكم بالرؤية واللغة (VLCP)
بيان المشكلة تعتمد النهج الحالية لنشر نماذج الرؤية واللغة (VLMs) المتطورة في مجال الروبوتات عادةً على نماذج الرؤية واللغة والعمل (VLA). تتطلب هذه النماذج ضبطًا دقيقًا للنماذج المسبقة التدريب لتوليد رموز إجراءات منخفضة المستوى (مثل مواضع المفاصل أو رموز محركات متخصصة) لم يسبق للنموذج مواجهتها أثناء التدريب المسبق. هذا التكيف ينطوي على خطر التخلي عن قدرات الاستدلال المتأصلة في النموذج ويستلهك مجموعات بيانات عرض ضخمة. علاوة على ذلك، فإن أساليب "الكود كسياسة" (Code-as-Policy) الحالية تولد كود التحكم مرة واحدة قبل بدء التنفيذ. فإذا حدث فشل أثناء التنفيذ (مثل الإخفاق في الإمساك بجسم ما)، فإن هذه الأنظمة ذات الحلقة المفتوحة لا يمكنها التعافي لأن السياسة ثابتة. وفي المقابل، فإن أساليب الحلقة المغلقة الموجودة التي تتفاعل مع الملاحظات غالبًا ما تعمل على مستوى المهمة أو اللغة (إعادة اختيار المهام الفرعية أو إعادة محاولة سياسات ثابتة) بدلاً من إعادة كتابة كود التحكم الأساسي الذي تسبب في الفشل.
المنهجية يقترح VLCP إطار عمل مغلق الحلقة وخالٍ من التدريب، يحافظ على نموذج الرؤية واللغة (VLM) مجمدًا ويستخدمه لتوليد دالة تحكم بلغة بايثون قصيرة الأمد. الابتكار الجوهري هو إغلاق الحلقة عند مستوى كود التحكم نفسه ضمن حلقة زمنية واحدة.
تمثيل الكود كسياسة: بدلاً من إصدار رموز المحركات، يقوم نموذج VLM المجمد بكتابة دالة بايثون control(obs, J) تأخذ ملاحظات RGB متعددة المشاهد، والحالة الحسية (proprioceptive state)، وجاكوبي النهاية الطرفية (end-effector Jacobian) كمدخلات. تُنتج هذه الدالة قاموسًا من أهداف مواضع المفاصل للمتحكم التناسبي التفاضلي (PD controller) الخاص بالمحاكي.
إعادة التخطيط مغلق الحلقة: يتم تقسيم الحلقة إلى كتل مكونة من K خطوة (الافتراضي K=50). في بداية كل كتلة، يتم استعلام VLM لتوليد دالة تحكم جديدة بناءً على الحالة الراهنة.
الملاحظة: يتلقى VLM صور RGB متعددة المشاهد متزامنة، وحالة عددية (موضع النهاية الطرفية، مواضع المفاصل، مواضع الأجسام)، وفارق حالة (state delta) صريح.
إعادة الكتابة: إذا فشلت الكتلة السابقة (على سبيل المثال، فشلت محاولة الإمساك)، يلاحظ VLM توقيع الفشل في الصور الجديدة ويعيد كتابة دالة التحكم لتصحيح النهج للكتلة التالية. يسمح هذا بالتعافي أثناء الحلقة، وليس فقط بين المحاولات.
مكتبة المهارات: يتم حفظ الوحدات المساعدة (المهارات) المكتوبة خلال أي عملية إعادة تخطيط في دليل مشترك على القرص. يتم إعادة حقن هذه المهارات حرفيًا في نظام التلقين (prompt) للخطط اللاحقة (سواء داخل نفس الحلقة أو عبر حلقات مختلفة)، مما يسمح للسياسة بتراكم واستخدام المهارات دون الحاجة لتدريب دقيق.
هندسة التلقين: تم هيكلة التلقين لتعظيم تخزين الرموز (token caching). يتضمن بادئة ثابتة (توثيق، واجهة برمجة تطبيقات، أمثلة)، ومكتبة مهارات ديناميكية، و"دبوس الهدف" (وصف المهمة) الذي يصمد أمام اقتطاع السياق. يتم تضمين الصور فقط في دور المستخدم المباشر لمنع تضخم السياق.
المساهمات الرئيسية
إطار عمل VLCP: نظام معالجة مغلق الحلقة وخالٍ من التدريب، يعيد استعلام VLM مجمد كل K خطوة لإعادة كتابة دالة التحكم بناءً على الملاحظات الحية وفوارق الحالة.
مكتبة مهارات عابرة للحلقات: آلية حيث يتم حفظ الوحدات المساعدة المولدة أثناء إعادة التخطيط وإعادة حقنها في التلقينات المستقبلية، مما يتيح تراكم المهارات دون إعادة تدريب.
الاستئصال المنضبط (الحلقة): مقارنة صارمة مع حالة "الحلقة المفتوحة" المتدهورة (K=T، حيث يتم استعلام VLM مرة واحدة فقط لكل حلقة). هذا يعزل مساهمة إعادة التخطيط داخل الحلقة، مع تثبيت المحاكي، وواجهة برمجة التطبيقات، والنموذج، ومجموعة المهام.
التعافي الكمي: قياس مباشر للتعافي داخل الحلقة، مما يثبت أن النظام يمكنه اكتشاف وإصلاح عمليات الإمساك الفاشلة في منتصف الحلقة.
تحليل الجدوى: إثبات أن النهج متاح حسابيًا عبر تخزين التلقين مؤقتًا، حيث يتطلب حوالي 10 استدعاءات فقط لـ VLM في كل حلقة مع معدلات عالية لضربات التخزين المؤقت.
النتائج تم التقييم عبر مسح لـ 57 مهمة ضمن ثلاث عائلات من المشاهد (التقاط الأشياء، مشاهد المطبخ، مشاهد غرفة المعيشة) في MuJoCo/RoboVerse:
معدل النجاح: حقق نظام VLCP مغلق الحلقة (K=50) معدل نجاح مجمع بنسبة 35.1%. في المقابل، حقق النظام المتطابق الذي يعمل في وضع الحلقة المفتوحة (K=T) نسبة 3.5% فقط. يمثل هذا تحسنًا بمقدار عشرة أضعاف مع فترات ثقة 95% غير متداخلة عبر جميع عائلات المشاهد.
آلية التعافي: كشف تحليل المسارات المسجلة أن 27.3% من حالات الإمساك الفاشلة تم التعافي منها بنجاح بواسطة إعادة تخطيط لاحقة. أما نسخة الحلقة المفتحة فقد سجلت معدل تعافي 0% بحكم تصميمها.
التعميم: تحت إعادة صياغة التعليمات (تغيير صياغة تعليمات المهمة)، حافظ VLCP على أداء مستقر (40.0% في كل من الظروف الأصلية والمعدلة)، بينما أظهر نموذج VLA الأساسي (VLA-0) انهيارًا كبيرًا في الأداء في مهام محددة عند إعادة صياغة التعليمات.
الكفاءة: حقق النظام متوسط معدل ضربة تخزين مؤقت لرموز المدخلات بنسبة 84%. تطلبت الحلقة متوسط 10 استدعاءات لإعادة التخطيط، بمتوسط زمن استجابة قدره 18.8 ثانية لكل إعادة تخطيط. تم تحليل وتجميع جميع كتل التحكم الـ 778 بنجاح (صلاحية 100%).
الأهمية والادعاءات يزعم البحث أن VLCP يثبت أن إغلاق الحلقة عند مستوى كود التحكم هو أفق متميز وفعال للتلاعب الروبوتي.
الحفاظ على الاستدلال: من خلال إبقاء VLM مجمدًا واستخدامه لكتابة الكود (وهي لغة يتقنها)، فإن الطريقة تحافظ على قدرات الاستدلال للنموذج المسبقة التدريب بدلاً من الضبط الدقيق له لأجل الأفعال.
موضع التصحيح: يرى المؤلفون أن الأساليب السابقة تفشل لأنها تعيد محاولة تنفيذ سياسات ثابتة أو تصعد إلى المخططات دون إصلاح السبب الجذري (كود التحكم). يعد VLCP من بين الطرق القليلة التي تعيد كتابة الأداة الفاشلة في منتصف الحلقة.
قابلية العمل بدون تدريب: تشير النتائج إلى أن نهج "صفر نماذج عرض" وخالٍ من التدريب يمكنه تحقيق أداء مطلق قوي (35.1%) في مهام التلاعب المعقدة، بشرما يتمكن النظام من التصحيح الذاتي عبر إعادة كتابة الكود.
ركيزة التعلم المستمر: توفر مكتبة المهارات العابرة للحلقات مسارًا طبيعيًا للتعلم المستمر، حيث تتراكم الكفاءة عبر الحلقات دون إعادة تدريب.
يقر المؤلفون بوجود قيود، مشيرين إلى أن التنفيذ الحالي يعتمد على مواضع الأجسام المقدمة من المحاكي (متجاوزًا ضجيج الإدراك) وهو مقيد بزمن استجابة VLM، مما يجعله مناسبًا لمهام التلاعب البطيئة بدلاً من التحكم التفاعلي عالي التردد. وهم يؤكدون أن المساهمة هي الحلقة نفسها، وليس برنامجًا محددًا تم توليده.