ملخص تقني: المكافأة الروبوتية الجوهرية (IRR)

بيان المشكلة

أرست نماذج الرؤية واللغة والأفعال (VLA)، مثل OpenVLA، أساساً للتحكم الروبوتي من خلال الربط بين الملاحظات البصرية والتعليمات اللغوية والأفعال. ومع ذلك، فإن تكييف هذه السياسات مع مهام صناعية جديدة يتطلب عادةً إشارات مكافأة خارجية لتسهيل التعلم من الخبرة (على سبيل المثال، عبر التعلم التعزيزي). وتعتمد النهج الحالية غالباً على:

• نماذج أساس للمكافأة مخصصة أو مقيمات رؤية-لغة منفصلة.
• دعامات إدراكية إضافية.
• تسمية بشرية مكثفة للنتائج لتوليد إشارات المكافأة.

يؤدي هذا الفصل إلى زيادة جهود التكامل، والأعباء الحسابية، وتكاليف الإشراف البشري المتكررة. وتفترض الورقة أن الموارد المتاحة بالفعل ضمن مسار الـ VLA — وتحديداً المشفر البصري المجمد ونقاط نهاية العروض التوضيحية الناجحة المستخدمة في تعلم التقليد — غير مستغلة بشكل كافٍ لتقييم أداء الروبوت. وتتمثل المشكلة الجوهرية في كيفية الاستفحلال من هذه التمثيلات الداخلية الموجودة لتوليد مكافآت جوهرية لتحسين السياسة دون إدخال نماذج جديدة أو إشراف خارجي كبير.

المنهجية: المكافأة الروبوتية الجوهرية (IRR)

يقترح نظام IRR إطار عمل حيث يقوم الروبوت بتقييم نتائجه باستخدام نفس موارد الإدراك التي يستخدمها لتوليد الأفعال. تتكون المنهجية من أربعة مكونات رئيسية:

1. بنك المراجع المشروط بالمهمة

بدلاً من تدريب نموذج مكافأة منفصل، يقوم IRR بإنشاء بنك مرجعي ($Z^+_g$) من النهايات الناجحة للعروض التوضيحية التي تم جمعها بالفعل لتعلم التقليد.

• استخراج الميزات: يقوم نسخة مجمدة من المشفر البصري لنموذج الـ VLA ($\phi$) باستخراج متجهات الميزات ($z_t$) من ملاحظات الكاميرا ($o_t$).
• بناء المرجع: توفر مسارات العروض التوضيحية الناجحة ($\tau_i$) مجموعة من تضمينات المراجع التي تمثل نتائج المهام الصالحة. يستوعب هذا البنك نتائج متعددة صالحة (مثل أوضاع مختلفة للأجسام) بدلاً من فرض نموذج بصري واحد.

2. التقييم القائم على التشابه

يتم تقييم محاولات الروبوت الجديدة بناءً على تشابهها مع بنك المراجع.

• مقياس المسافة: يحسب النظام متوسط مربع المسافة الإقليدية ($d_g$) بين تضمين الملاحظة الحالية وأقرب $k$ من جيرانها في بنك المرجع.
• دالة التقييم: يتم اشتقاق درجة ($s_g$) باستخدام دالة اضمحلال أسي يتم التحكم فيها بواسطة معامل درجة حرارة خاص بالمهمة ($\tau_g$).
• الاستمرارية: لتجنب المطابقات البصرية العابرة، يأخذ مقياس الاستمرارية ($s^{pers}_g$) الحد الأدنى من الدرجة عبر نافذة ملاحظة قصيرة بعد المحاولة.
• إشارة المكافأة: تكون إشارة المكافأة الجوهرية النهائية ($r^{IRR}_T$) قيمة ثنائية أو متدرجة مشتقة من درجة الاستمرارية، وتُطبق عند الخطوة الزمنية النهائية للحلقة.

3. تحسين السياسة عبر التعلم التعزيزي المتبقي (Residual RL)

يدمج إطار العمل IRR مع متحكم تعلم تعزيزي متبقٍ (Residual RL).

• البنية: السياسة الأساسية ($\pi_0$) هي نموذج VLA المدرب بالتقليد. أما السياسة المتبقية ($\pi_\theta$) فتتعلم إنتاج تصحيحات ديكارتية ($\delta a_t$) بناءً على تغذية IRR الراجعة.
• التنفيذ: الفعل النهائي هو مجموع محدود لسياسة الفعل الأساسية والتصحيح المتبقي. وهذا يسمح للنظام بتعلم التحسينات دون الحاجة لإعادة تدريب كامل هيكل الـ VLA فوراً.
• خوارزمية التعلم: يُقترح استخدام طرق "الممثل-الناقد" خارج السياسة (مثل Soft Actor-Critic) للتعامل مع آلية التعلم العشوائية.

4. المعايرة والتحقق

• الوضع الإيجابي فقط مقابل المعاير: يمكن للنظام العمل في وضع "الإيجابي فقط" (باستخدام العروض التوضيحية الناجحة فقط لبناء البنك) أو الوضع "المعاير" (باستخدام مجموعة صغيرة من الإخفاقات المصنفة لضبط عتبات القرار أو تدريب رأس مكافأة صغير).
• التدقيق المستقل: لضمان الموثوقية، يتم توليد تسميات النجاح/الفشل للتقييم بواسطة مقيمين بشريين يراجعون فيديو متزامن، بشكل منفصل عن عملية توليد المكافأة.

المساهمات الرئيسية

تحدد الورقة المساهمات المحددة التالية:

1. إعادة استخدام الموارد: تصميم يعيد توظيف المشفر البصري المجمد وبيانات العروض التوضيحية الموجودة لنموذج VLA لكل من تنفيذ الفعل وتقييم النتيجة، مما يلغي الحاجة لنماذج مكافأة منفصلة.
2. صياغة المكافأة: صياغة رياضية ملموسة لتوليد مكافآت مشروطة بالمهمة بناءً على التشابه مع بنك مرجعي للنهايات الناجحة.
3. نموذج تجريبي بمستوى TRL 4: تقديم نموذج مختبري تشغيلي باستخدام ذراع صناعي COMAU Racer 3، وقابض Robotiq Hand-E، ونموذج OpenVLA-7B، والذي يحقق حالياً معدل نجاح في المهمة بنسبة 56%.
4. إطار بحثي: مجموعة منظمة من أسئلة البحث (RQs) ومقاييس التقييم لتقدير فعالية إعادة استخدام التمثيل، وتحسين السياسة الفيزيائية، ومكاسب الكفاءة.

النتائج الحالية والأساس التجريبي

لا تعرض الورقة النتائج النهائية لحلقة تعلم IRR، حيث أن البحث المقترح يهدف لربط صياغة المكافأة بالتحسين الفيزيائي للسياسة. ومع ذلك، فهي تقدم خط أساس تم التحقق منه:

• النظام: ذراع COMAU Racer 3 مع كاميرا منظور الشخص الثالث وحزمة تحكم ROS.
• أداء خط الأساس: في دراسة شملت 50 تجربة فيزيائية (وضع مكعب أخضر في حاوية)، حققت سياسة OpenVLA-7B المدربة بالتقليد معدل نجاح بنسبة 56% (28/50 تجربة).
• تحليل الفشل: كان نمط الفشل الرئيسي (8 من أصل 22 فشلاً) هو عدم القدرة على توسيط النهاية الفعالة فوق الجسم، مما حدد هدفاً معيناً لتصحيح التعلم التعزيزي المتبقي.
• توافر البيانات: تتوفر 245 حلقة عرض توضيحي لبناء بنك المراجع.

الأهمية والادعاءات

تضع الورقة IRR كمسار عملي نحو روبوتات صناعية ذاتية التقييم وذاتية التحسين. وتتحدد أهميتها حول ثلاثة أبعاد:

1. تقليل جهد التكامل: من خلال إعادة استخدام مشفر VLA والبيانات التوضيحية الموجودة، يتجنب النهج تعقيد تدريب وصيانة نماذج أساس للمكافأة أو دعامات إدراكية إضافية.
2. الكفاءة في الإشراف: يهدف إلى تقليل الجهد البشري المتكرر المطلوب لتسجيل النتائج أثناء مرحلة التعلم، حيث يمكن للنظام تقييم النجاح ذاتياً بناءً على التمثيلات الداخلية.
3. القابلية للتوسع: يقدم النهج آلية لتكييف المهام (أجزاء جديدة، أدوات تثبيت، أو ظروف جديدة) ببساطة عن طريق تحديث البنك المرجعي بعروض توضيحية ناجحة جديدة، دون الحاجة لإعادة تدريب نموذج الإدراك الأساسي.

يتبنى المؤلفون موقفاً متواضعاً، حيث يقرون بأنه بينما تم تأسيس الأساس النظري ونموذج TRL 4، فإن الخطوة الحاسمة التالية هي التحقق تجريبياً من أن إشارة المكافأة الجوهرية هذه تقود فعلياً إلى تحسين السياسة الفيزيائية وأن موثوقية التقييم الداخلي تتوافق مع التدقيق البشري المستقل. يعمل هذا العمل كوثيقة موقف ومقترح لتوجه بحثي بدلاً من كونه تقريراً عن مشكلة تم حلها بالكامل.