ملخص تقني: Pegasus – تخليق الخبرة القائم على الأسس الفيزيائية للذكاء المتجسد

1. بيان المشكلة

إن العائق الرئيسي أمام تقدم الذكاء الاصطلالي المتجسد ليس بنية النموذج، بل ندرة بيانات التدريب عالية الجودة والمخصصة للروبوتات. وبينما توجد المليارات من فيديوهات التلاعب البشري عبر الإنترنت، لا تستطيع الروبوتات التعلم منها مباشرة بسبب فجوة التجسد (embodiment gap): حيث تمنع الاختلافات الجوهرية في الشكل (morphology)، والحركية (kinematics)، وفضاءات الأفعال (action spaces) بين البشر والروبوتات النقل المباشر لعمليات المحاكاة.

تواجه نماذج الحصول على البيانات الحالية قيوداً متميزة:

• جمع البيانات عبر الروبوتات الحقيقية: عالية الجودة ولكنها مكلفة ويصعب توسيع نطاقها.
• محاكاة الفيزياء: توفر بيانات غير محدودة ولكنها تعاني من فجوة "من المحاكاة إلى الواقع" (sim-to-real gap)، خاصة بالنسبة للسياسات القائمة على الرؤية.
• التعلم من الفيديوهات البشرية: تستفيد من البيانات الوفيرة ولكنها تتعلم عادةً التمثيلات البصرية بدلاً من توليد مسارات قابلة للتنفيذ بواسطة الروبوت.

التحدي الجوهري يكمن في سد هذه الفجوة عبر نقل الخبرة المهيكلة (دلالات المهام، الإمكانيات، والقيود) بدلاً من البكسلات الخام، مما يسمح بتخليق بيانات قابلة للتعلم من قبل الروبوت من خلال العروض البشرية.

2. المنهجية: إطار عمل Pegasus

Pegasus هو إطار عمل منخفض الموارد يقوم بترجمة الفيديوهات البشرية بمنظور الشخص الأول (egocentric) إلى عروض قابلة للتنفيذ من قبل الروبوت عبر مسار مهيكل يعتمد على الرسوم البيانية (graph-based pipeline). وهو يعيد صياغة المشكلة من توليد المظهر إلى نقل المعرفة عبر التجسدات المختلفة.

يعمل الإطار عبر خمس مراحل متتالية:

2.1 استخراج رسم المهمة البياني ($V_h \rightarrow G_T$)

بدلاً من الاستدلال على البكسلات الخام، يستخرج Pegasus رسماً بيانياً للمهمة ($G_T$) من الفيديوهات البشرية باستخدام محلل لغوي بصري مهيكل.

• العقد (Nodes): تمثل الكيانات الدلالية بما في ذلك الأهداف الفرعية ($g_i$)، والأجسام التي يتم التلاعب بها ($o_j$)، والمناطق المكانية ($r_k$).
• الحواف (Edges): تشفر الترتيب الزمني، والتبعية السببية، والتفاعلات المكانية.
  هذا الرسم يحافظ على طوبولوجيا المهمة مع بقائه مستقلاً عن مورفولوجيا الروبوت المحددة.

2.2 كامن الإمكانات الهرمي ($G_T \rightarrow Z$)

للتعامل مع التعميم عبر الأجسام والتجسدات، يقدم Pegasus كامناً هرمياً للإمكانات ($Z = \{Z_s, Z_a, Z_t\}$):

1. مستوى حالة الجسم ($Z_s$): يلتقط الحالات الفيزيائية (مثل: ممسوك، مفتوح، مُزاح).
2. مستوى الإمكانات ($Z_a$): يجرد ملاحظات الجسم المحددة إلى قدرات تلاعب (مثل: قابلية الإمساك، قابلية الاحتواء، قابلية السكب).
3. مستوى المهمة ($Z_t$): يمثل النوايا المستقلة عن التجسد (مثل: النقل، التكديس).
   هذا التسلسل الهرمي يزيل تدريجياً المعلومات الخاصة بالتجسد مع الحفاظ على الدلالات السببية للمهمة. ويقوم هدف تبايني بمحاذاة العروض البشرية والروبوتية ضمن فضاء الإمكانات المشترك هذا.

2.3 ترجمة الرسم البياني عبر التجسدات ($G_T \rightarrow G_P$)

يتم تحويل رسم المهمة إلى رسم تخطيطي للروبوت ($G_P$) قابل للتنفيذ من خلال ثلاثة مشغلات رسومية:

1. رسم الإمكانات البياني: يعزز العقد الدلالية بإمكانات التلاعب.
2. رسم القيود البياني: يدمج قابلية التنفيذ المعتمدة على التجسد (أنواع الإمساك، الحركية العكسية، قيود التصادم، حدود مساحة العمل).
3. رسم التخطيط البياني: يحول البدائيات القابلة للتنفيذ إلى مسارات تنفيذية (نقاط حركة وانتقالات زمنية).
   هذه الصيغة النمطية تفصل بين الاستدلال الدلالي وتكيف التجسد.

2.4 التحقق المقيد بالفيزياء

الواقعية البصرية ليست كافية للروبوتات. يستخدم Pegasus وحدة تحقق مغلقة الحلقة تتحقق من المسارات المولدة مقابل:

• قابلية حل الحركية العكسية (Inverse Kinematics).
• حدود المفاصل.
• تجنب التصادم.
• استقرار الإمساك وسلاسة المسار.

إذا تم انتهاك القيود، يتم تغذية إشارات الخطأ المهيكلة مرة أخرى إلى وحدة التخطيط من أجل إعادة التوليد التكراري حتى يتم استيفاء جميع القيود.

2.5 رندرة الخبرة (Experience Rendering)

يتم رندرة الرسم التخطيطي المخطط له والمتحقق منه إلى ثلاثة أنماط مخرجات مناسبة لتعلم السياسات اللاحقة:

• عروض الفيديو ($D_{video}$): للسياسات اللغوية البصرية.
• رموز الأفعال المنفصلة ($D_{action}$): لنماذج الأفعال ذات التوليد التلقائي (autoregressive).
• المسارات المستمرة ($D_{trajectory}$): لخطوط التحكم الكلاسيكية.

3. المساهمات الرئيسية

1. صيغة النقل: إعادة صياغة فيديوهات الإنترنت البشرية كمصدر قابل للتوسع لبيانات تدريب الروبوت عبر نقل المعرفة المهيكل عبر التجسدات.
2. إطار عمل مهيكل بيانياً: مسار مبتكر ينمذج صراحةً دلالات المهمة، والإمكانات، وقيود التجسد، وتخطيط الروبوت، متجاوزاً التكييف بالبكسلات الخام أو المطالبات النصية فقط.
3. الكامن الهرمي للإمكانات: تمثيل يحسن التعميم على الأجسام غير المرئية من خلال تنظيم البيانات وفقاً لحالات الأجسام، والإمكانات، والمهام بدلاً من هوية الجسم.
4. التحقق الفيزيائي مغلق الحلقة: آلية تكرارية تفرض الجدوى الحركية، محولةً تكيف التجسد إلى مسألة استيفاء قيود.
5. التحقق التجريبي: تجارب شاملة تظهر تحسينات في صحة المهام، والقدرة على التنفيذ الفيزيائي، وتعلم السياسات اللاحقة.

4. النتائج التجريبية

تم تقييم Pegasus على اختبارات مرجعية تشمل GTEA Gaze+، و EPIC-KITCHENS-100، ومجموعة مختارة من فيديوهات التلاعب عبر الإنترنت، عبر خمسة أنواع متنوعة من روبوتات التجسد (مثل: Franka Panda، xArm 7، UR5e).

4.1 صحة المهمة والقدرة على التنفيذ

• تفوق التوليد المشروط بالرسم البياني على النماذج المرجعية القائمة على المطالبات فقط بنسبة 12.3% في صحة المهمة وبنسبة 15.7% في القدرة على التنفيذ.
• عبر خمسة أنواع من الروبوتات، حقق النظام متوسط صحة مهمة بنسبة 84.4% (VLM) و 81.5% (البشر)، مع قدرة تنفيذ بلغت 89.6%.

4.2 تعلم السياسات اللاحقة

أدى تدريب السياسات (OpenVLA و ACT) على البيانات المولدة إلى نتائج هامة:

• حققت البيانات المولدة وحدها معدل نجاح بنسبة 55.2%، وهو ما يعادل 84% من أداء 50 عرضاً حقيقياً للروبوت (65.9%).
• أدى تعزيز 50 عرضاً حقيقياً بـ 200 عرض مولد إلى تحسين معدل النجاح بنسبة 11.3% مطلقة فوق البيانات الحقيقية وحدها.
• مقارنة بالتدريب على ميزات الفيديو البشري (R3M/VIP)، وفر التوليد المشروط بالرسم البياني تحسناً بنسبة +25.8% في معدل النجاح.

4.3 التعميم على الأجسام غير المرئية

أظهر كامن الإمكانات قدرات قوية في "الصفر-مرحلة" (zero-shot):

• حقق 78.5% من صحة المهمة على أجسام غير مرئية تماماً (مثل: البطيخ، المفك) مقارنة بـ 45.1% للكمونات القائمة على هوية الجسم.
• نجح النموذج في استنتاج السلوكيات الضرورية (مثل: "ثقيل + هش" $\leftarrow$ "قبضة قوة حذرة") بناءً على تركيب الإمكانات.

4.4 الصلاحية الفيزيائية

حسن التحقق مغلق الحلقة بشكل كبير من الجدوى الفيزيائية:

• بلغت نسبة Pass@1 (المحاولة الأولى) 51.2%؛ بينما وصلت Pass@5 (بعد 5 تكرارات) إلى 94.1%.
• انخفض خطأ الحركية العكسية (IK) بنسبة 93.5%، وانخفضت معدلات التصادم بنسبة 90.9%.

4.5 دراسات الاستئصال (Ablation Studies)

• تسبب إزالة رسم القيود البياني في أكبر انخفاض في القدرة على التنفيذ (-11.2%).
• تسبب إزالة رسم الإمكانات البياني في أكبر انخفاض في صحة المهمة على الأجسام غير المرئية (-5.1%).
• تم تحديد الهيكل البياني كمحرك رئيسي للأداء، وليس نموذج توليد الفيديو الأساسي.

5. الأهمية والادعاءات

يزعم البحث أن Pegasus ينجح في إعادة صياغة توليد بيانات الروبوت من مشكلة جمع الأجهزة إلى مشكلة نقل معرفة قابلة للتوسع ومنخفضة الموارد.

• نقل مستوى الخبرة: يجادل العمل بأن فجوة التجسد يجب أن تُسد عند مستوى الخبرة (الأهداف، انتقالات الحالة، الإمكانات) بدلاً من مستوى البكسل. وهذا يسم التزام النظام للاستفادة من تنوع وواقعية الفيديوهات البشرية دون الحاجة إلى بناء أصول ثلاثية الأبعاد واسعة النطاق أو محاكاة.
• القابلية للتوسع: من خلال فصل الدلالات المهامية عن مورفولوجيا الروبوت، يتيح الإطار تخليق عروض قابلة للتعلم من قبل الروبوتات لمنصات متباينة من مصدر واحد من البيانات البشرية.
• العملية: تشير النتائج إلى أن نمذجة معرفة المهمة وهياكل الإمكانات صراحةً تسمح باستخدام المجموعة الضخمة من فيديوهات التلاعب البشرية كإشراف فعال لتعلم الروبوت، مما يوفر بديلاً عملياً لجمع كل عرض على الأجهزة المادية.

يقر المؤلفون بالقيود، بما في ذلك الاعتماد على نماذج الفيديو اللغوية (VideoLLMs) لتفكيك المهام، والتركيز على الاتساق الحركي بدلاً من ديناميكيات التلامس الكاملة، والقيود الحالية على التوليد أحادي المنظور. ومع ذلك، فإن الإطار يؤسس لنموذج جديد لتعلم التمثيل المتقاطع عبر التجسدات المهيكلة.