Task Parameter Extrapolation via Learning Inverse Tasks from Forward Demonstrations

إليك ملخص تقني مفصل لورقة البحث بعنوان: "استقراء بارامترات المهام عبر تعلم المهام العكسية من التوضيحات الأمامية" (Task Parameter Extrapolation via Learning Inverse Tasks from Forward Demonstrations).

1. بيان المشكلة

تتناول الورقة البحثية قصوراً حرجاً في تعلم الروبوتات: القدرة على التعميم لبارامترات مهام جديدة (الاستقراء - Extrapolation).

• التحدي: تتفوق أساليب التعلم بالتقليد (Imitation Learning) الحالية، بما في ذلك النماذج التوليدية العميقة المتقدمة مثل "سياسات الانتشار" (Diffusion Policies)، في عملية الاستكمال (Interpolation) (أي توليد سلوكيات مشابهة لبيانات التدريب)، لكنها تفشل في الاستقراء (أي التعامل مع مدخلات خارج نطاق التوزيع التدريبي). يؤدي هذا إلى فشل غير متوقع في السياسات عندما تواجه الروبوتات أحجام أجسام، أو أشكال، أو تكوينات أدوات جديدة.
• الفجوة: غالباً ما تكون أساليب نقل التعلم (Transfer Learning) الحالية متعطشة للبيانات أو تتطلب إعادة تدريب في المجال المستهدف. يقترح المؤلفون نهج استقراء صفري (Zero-shot extrapolation) حيث يتعلم الروبوت تنفيذ مهمة عكسية (مثل سحب جسم للخلف) لتكوين جديد، وذلك من خلال مراقبة توضيحات أمامية فقط (مثل دفع الجسم للأمام) لنفس التكوين الجديد، دون الحاجة لإشراف عكسي مباشر.

2. المنهجية

إطار العمل المقترح هو نهج التعلم المشترك (Joint Learning) الذي يتعلم تمثيلاً كامناً (Latent Representation) مشتركاً للمهام الأمامية والعكسية. وهو يوسع نماذج العمليات العصبية الشرطية (CNP) وشبكات مزج الأنماط العميقة (DMBN).

أ. المفهوم الجوهري: الأزواج الأمامية-العكسية

تعتمد الطريقة على ملاحظة أن العديد من المهارات الروبوتية توجد في أزواج (أمامية-عكسية) (مثلاً: تجميع/تفكيك، دفع/سحب).

• الهدف: استنتاج المسار الحسي-الحركي ($\tau$) لمهمة عكسية بناءً على بارامتر مهمة جديد ($\psi$) وعدد قليل من الملاحظات من المهمة الأمامية المقابلة.
• هيكل البيانات:
  • مجموعة البيانات المزدوجة ($D_{paired}$): توضيحات أمامية وعكسية متطابقة من حيث الحالات الأولية والنهائية للبيئة.
  • مجموعة البيانات المساعدة ($D_{aux}$): توضيحات أمامية فقط للتكوينات الجديدة (مثل أجسام أو أدوات جديدة) حيث يغيب نظيرها العكسي.

ب. المكونات التقنية الرئيسية

1. خوارزمية مطابقة التوضيحات:

   • بما أن مجموعات البيانات الأمامية والعكسية غير منظمة في البداية، صاغ المؤلفون مشكلة المطابقة كـ مسألة تعيين مجموع خطي (Linear Sum Assignment Problem).
   • قاموا ببناء مصفوفة تكلفة تعتمد على عدم التشابه (المسافة الإقليدية) بين الحالة النهائية لتوضيح أمامي والحالة الأولية لتوضيح عكسي.
   • استُخدمت خوارزمية هنغاريان (Hungarian Algorithm) لإيجال التباين الأمثل (Optimal Bijection)، مما خلق مجموعة البيانات المزدوجة اللازمة للتدريب المشترك.

2. البنية (توسيع CNP + DMBN):

   • المشفرات (Encoders): تعالج مشفرات منفصلة ($E_F, E_I$) الملاحظات الحسية-الحركية الأمامية والعكسية. ويقوم مشفر منفصل ($E_\psi$) بتمثيل بارامترات المهمة (سواء كانت متجهات أو صوراً).
   • التمثيل الكامن (Latent Representation): يتعلم النموذج تمثيلاً كامناً موحداً ($r$) عبر تجميع الملاحظات الأمامية والعكسية من خلال تركيب كروي (Convex Combination): $r = p \times r_F + (1-p) \times r_I$.
   • المفككات (Decoders): يتنبأ المفكك الأمامي والعكسي بالقيم الحسية-الحركية بشرط التمثيل الكامن وبارامتر المهمة.

3. جدول التدريب المتداخل (Interleaved Training Schedule):

   • المرحلة المزدوجة (Paired Pass): يتم أخذ عينات من $D_{paired}$ لتعلم البنية المشتركة بين المهام الأمامية والعكسية.
   • المرحلة المساعدة (Auxiliary Pass): يتم أخذ عينات من $D_{aux}$ (أمامية فقط). في هذه المرحلة، يتم تجميد المشفر والمفكك العكسي، ويتم تثبيت وزن التركيب $p$ عند 1. هذا يجبر المشفر الأمامي على رسم خرائط بارامترات المهمة الجديدة داخل الفضاء الكامن المشترك، مما يمكن النموذج من استنتاج المسار العكسي لاحقاً.

4. الاستدلال (Inference):

   • لتوليد مسار عكسي لجسم جديد، يأخذ النظام ملاحظات من التنفيذ الأمامي لهذا الجسم، ويقوم بتشفيرها، ثم يستعلم من المفكك العكسي لتوليد المسار الكامل.

3. المساهمات الرئيسية

1. إطار عمل الاستقراء الصفري (Zero-Shot Extrapolation): طريقة مبتكرة لاستنتاج تنفيذ المهام العكسية لبارامترات جديدة باستخدام التوضيحات الأمامية المساعدة فقط، مما يلغي الحاجة لإشراف عكسي مباشر على الأجسام الجديدة.
2. خوارزمية مطابقة التوضيحات: خوارزمية قوية لمطابقة التوضيحات الأمامية والعكسية غير المنظمة تلقائياً بناءً على انتقالات الحالة، وهو أمر ضروري لتعلم البنية الكامنة المشتركة.
3. الاشتراط المفكك (Decoupled Conditioning): فصل اشتراط بارامتر المهمة عن التشفير الحسي-الحركي، وهو أمر حيوي للتعميم على بارامترات غير مرئية.
4. كفاءة البيانات: تحقق الطريقة أداءً عالياً ببيانات محدودة، كما ظهر في نجاح الاستقراء باستخدام عدد ضئيل جداً (اثنان فقط) من التوضيحات المساعدة في البيئات الواقعية.

4. النتائج التجريبية

قيم المؤلفون الطريقة عبر ثلاثة مجالات:

• البيانات الاصطناعية (المسارات الجيبية - Sinusoidal Trajectories):

  • أظهرت أن المطابقة الصحيحة هي أمر جوهري. الفشل حدث في النماذج المدربة على بيانات مطابقة عشوائياً (MSE ~8.87)، بينما قللت الخوارزمية المقترحة الخطأ بنسبة >80% (MSE ~1.22).
  • أظهرت أن المطابقة "المثالية" تعطي أخطاء أقل بكثير من المطابقة المشوشة، ومع ذلك تظل الخوارزمية قادرة على التعلم بمتانة من البيانات المشوشة.

• محاكاة الروبوت (تلاعب بالأجسام):

  • المهمة: دفع/سحب الأجسام (أسطوانات، كرات، صناديق) على طاولة.
  • الإعداد: التدريب على الأسطوانات (مزدوجة) وعلى الصناديق/الكرات (أمامية فقط كمساعدة). الاختبار على كرات وصناديق جديدة.
  • النتائج: تفوقت الطريقة المقترحة بشكل كبير على نماذج (Diffusion Policy) الأساسية (DP-Dual, DP-2Head, DP-Mode) في معدلات النجاح وخطأ المسار.
  • النتيجة الرئيسية: نجح النموذج في التعميم على أجسام جديدة (كرات/صناديق) لم يسبق له رؤيتها في سياق عكسي، معتمداً فقط على البيانات الأمامية المساعدة. حقق نجاحاً بنسبة 100% في مهام "النقر" (Poke) ونجاحاً عالياً في مهام "الالتقاط" (Pick)، بينما واجهت نماذج DP صعوبة في التعميم الصفري.

• روبوت واقعي (استقراء الأدوات):

  • المهمة: دفع وسحب مكعب باستخدام أدوات مطبوعة ثلاثية الأبعاد (عصا، عصا على شكل L، خطاف، عصا مائلة).
  • الإعداد: التدريب على العصا وL-stick (مزدوجة) وعلى Tilted-stick وHook (أمامية فقط كمساعدة).
  • النتائج: نجح الروبوت في تنفيذ مهمة "السحب" العكسية بأدوات جديدة (Hook, Tilted-stick) لم يسبق له سحبها من قبل.
  • كفاءة البيانات: النموذج المدرب بـ توضيحين مساعدين فقط حقق أداءً لا يختلف إحصائياً عن النموذج المدرب بـ 20 توضيحاً، مما يبرز الكفاءة القصوى للبيانات.
  • التمثيل: أظهرت تضمينات (CNN embeddings) أن الشبكة تعلمت تمثيلات ذات معنى دلالي لهندسة الأدوات (مثلاً: Hook $\approx$ L-stick).

5. الأهمية والخاتمة

• تجاوز حدود الاستكمال: يوفر هذا العمل حلاً قابلاً للتطبيق لـ "فجوة الاستقراء" في التعلم بالتقليد، مما يسمح للروبوتات بالتعامل مع أجسام وأدوات جديدة دون إعادة تدريب أو جمع بيانات عكسية مكلفة.
• الكفاءة: من خلال الاستفادة من التماثل الهيكلي للمهام الأمامية-العكسية، تقلل الطريقة من متطلبات البيانات مقارنة بنهج الانتشار (Diffusion).
• الواقعية: يثبت التطبيق الناجح في العالم الحقيقي مع أدوات جديدة متانة الإطار تجاه الضجيج الحسي وعيوب التشغيل.
• التوجه المستقبلي: رغم أنه يقتصر حالياً على المهام ذات المطابقة الحدسية القائمة على الحالة، إلا أن المبدأ الجوهري لتعلم فضاء كامن مشترك لأزواج المهام المرتبطة يقدم مساراً واعداً نحو أنظمة روبوتية أكثر قدرة على التكيف والتعميم.