SynHLMA:Synthesizing Hand Language Manipulation for Articulated Object with Discrete Human Object Interaction Representation

1. بيان المشكلة

تعالج الورقة البحثية تحدي توليد التفاعل بين الإنسان والأجسام المفصلية (HAOI) تحت توجيه لغوي مقصود. وبينما حققت الأبحاث الحالية تقدماً في توليد عمليات الإمساك بالأجسام الصلبة، فإن التوسع في ذلك ليشمل الأجسام المفصلية (مثل المقصات، الخزائن، والنظارات) يفرض تعقيدات كبيرة:

• التماسك الزمني: تتطلب الأجسام المفصلية نمذجة ليس فقط عملية إمساك ثابتة، بل تسلسلاً متماسكاً زمنياً من التشوهات وحركات المفاصل.
• الإمكانات المعتمدة على الحالة: على عكس الأجسام الصلبة، تتغير نقاط التلامس الصالحة والقيود الكينماتيكية مع تطور حالة تمفصل الجسم.
• المحاذاة الدلالية: تواجه الطرق الحالية صعوبة في دمج التعليمات اللغوية الطبيعية مع الديناميكيات المعقدة القائمة على الفيزياء للتفاعل بين اليد والجسم، مما يؤدي غالباً إلى تسلسلات غير منطقية فيزيائياً (مثل تداخل اليد مع الجسم أو عدم اتساق حالات المفاصل).

2. المنهجية: إطار عمل SynHLMA

يقترح المؤلفون SynHLMA، وهو إطار عمل موحد لتوليد تسلسلات التلاعب باليد للأجسام المفصلية بناءً على السحب النقطية والتعليمات النصية. يتكون الإطار من ثلاثة مكونات أساسية:

أ. تمثيل التلاعب المفصلي المنفصل

للتعامل مع التباين الهيكلي للأجسام المفصلية، قدم المؤلفون تمثيلاً منفصلاً هرمياً باستخدام نموذجين من نماذج VQ-VAE (المشفر التلقائي المتغير المكمّم شعاعياً) النمطية:

1. ترميز تمفصل الجسم: يقوم نموذج VQ-VAE بتشفير معاملات مفاصل الجسم المستمرة ($J$) إلى رموز منفصلة $\langle j \rangle$.
2. ترميز اليد الهرمي: يتم تفكيك تكوين إمساك اليد ($\beta = \{R, P, T\}$) إلى ثلاثة مستويات وتكميمه:
   • العالمي ($\langle g \rangle$): دوران اليد العالمي والترجمة.
   • المحلي ($\langle l \rangle$): معاملات وضعية اليد المفصلية (مفاصل الأصابع).
   • التحسين ($\langle r \rangle$): الإزاحات المتبقية للمحاذاة الدقيقة.
     هذا الترميز يحول الحركة عالية الأبعاد والمستمرة إلى مؤشرات مهيكلة وذات دلالة، مما يمكن النموذج من تعلم الارتباط بين حالات الجسم وتكوينات اليد.

ب. نموذج لغة التلاعب HAOI

بناءً على الرموز المنفصلة، طور المؤلفون نموذج لغة التلاعب (يعتمد على نموذج Vicuna-7B الذي تم ضبطه بدقة باستخدام تقنية LoRA) لمواءمة ثلاثة أنماط:

• المدخلات: التعليمات باللغة الطبيعية، السحب النقطية للجسم، وحالات التفاعل الحالية.
• الآلية: يعمل النموذج في مساحة دلالية مشتركة، حيث يعامل تسلسلات التلاعب كمهمة توليد لغوية. ويستخدم صياغة ذاتية الانحدار للتنبؤ بتسلسل الرمز التالي ($\langle g \rangle, \langle l \rangle, \langle r \rangle, \langle j \rangle$) بناءً على الحالات السابقة والنص.
• المهام: تدعم نفس الصياغة ثلاث مهام متميزة:
  1. توليد HAOI: توليد تسلسل كامل من حالة البداية والتعليمات.
  2. تنبؤ HAOI: التنبؤ بـ 80% المستقبل من التسلسل بناءً على أول 20%.
  3. استكمال (Interpolation) HAOI: ملء الأجزاء الوسطى المفقودة من تسلسل ما.

ج. هدف التدريب المدرك للتمفصل

لضمان الصلاحية الفيزيائية والتماسك الزمني، يدمج هدف التدريب قيوداً محددة:

• التنظيم المدرك للهندسة: يتضمن خسارة التداخل لمنع تداخل اليد مع الجسم وخسارة إعادة بناء المفاصل لضمان الاستعادة الدقيقة لحالات مفاصل الجسم.
• خسارة إعادة البناء الهرمية: تفرض الاتساق عبر المستويات العالمية والمحلية ومستويات التحسين لشبكة اليد.
• خسارة التماسك الزمني: خسارة اتساق الوضعية ($L_{temp}$) التي تقلل من التغيرات المفاجئة في الدوران والترجمة بين الإطارات المتتالية، مما يضمن ديناميكيات حركة سلسة.

3. المساهمات الرئيسية

1. تمثيل التلاعب المنفصل: مخطط ترميز هرمي مبتكر للتلاعب المفصلي يتيح توليد تسلسلات مهيكلة، قابلة للتحكم، ومتوافقة دلالياً.
2. نموذج لغة التلاعب: نموذج توليدي موحد قادر على التعامل مع مهام التوليد، والتنبؤ، والاستكمال للأجسام المفصلية من خلال مواءمة تضمينات اللغة مع رموز التلاعب المنفصلة.
3. هدف مدرك للتمفصل: دالة خسارة تدريب موحدة تفرض صراحةً الصلاحية الهندسية، ومحاذاة حالة المفاصل، والتماسك الزمني، متجاوزةً بذلك عدم الاتساق الفيزيائي الشائع في الطرق القائمة على الانتشار (diffusion) أو الانحدار (regression).
4. مجموعة بيانات HAOI-Lang: إنشاء مجموعة بيانات واسعة النطاق موسومة لغوياً تحتوي على أكثر من 50,000 تسلسل تلاعب عبر 256 نموذجاً من الأجسام. تم إنشاء هذه المجموعة باستخدام محاكي فيزيائي (RaiSim) وتحسينها باستخدام GPT-4 والتدقيق البشري لضمان الدقة الدلالية.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعة بيانات HAOI-Lang المنشأة حديثاً ومقارنتها بأفضل النماذج المرجعية (مثل HOIGPT وText2HOI وMotionGPT).

• مقاييس الأداء: حقق SynHLMA أداءً رائداً (SOTA) في جميع المقاييس.
  • توليد HAOI: تحسن في مقياس FID بنسبة 4.9% وفي التنوع (Diversity) بنسبة 12.5% مقارنة بأفضل نموذج مرجعي (HOIGPT).
  • التنبؤ والاستكمال: أظهر مكاسب كبيرة في FID (على سبيل المثال، تحسن بنسبة 14.6% في التنبؤ) وفي التنوع، مما يشير إلى قدرة فائقة على توليد مسارات حركة واقعية ومتنوعة.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة الهدف المدرك للتمفصل ($L_{geom}$ و $L_{temp}$) إلى زيادة حادة في FID ومتوسط خطأ الإزاحة (ADE)، مما يؤكد ضرورة القيود الهندسية والزمنية.
  • تفوق تصميم الترميز الهرمي ($\langle g, l, r, j \rangle$) على التمثيلات المسطحة، مما أثبت قيمة التكميم من الخشن إلى الناعم.
• تطبيق الروبوتات: تم نقل التسلسلات المولدة بنجاح إلى نموذج روبوتي من نوع ShadowHand في المحاكاة، مما أثبت فائدة الإطار لتعلم التقليد والتحكم الروبوتي الماهر.

5. الأهمية

يمثل هذا العمل خطوة مهمة للأمام في مجال الذكاء الاصطناك المادي (Embodied AI) والبراعة الروبوتية. من خلال معالجة التلاعب المفصلي كمسألة لغة منفصلة، يجسّر SynHLMA الفجوة بين النوايا الدلالية عالية المستوى (اللغة الطبيعية) والتنفيذ الفيزيائي منخفض المستوى (مسارات المفاصل).

• التأسيس الفيزيائي: على عكس الطرق السابقة التي غالباً ما تتجاهل الفيزياء، يقوم SynHLमा بنمذجة قيود المفاصل وصلاحية التلامس صراحةً، مما يجعله مناسباً للنشر الروبوتي في العالم الحقيقي.
• تعدد الاستخدامات: القدرة على التعامل مع التوليد، والتنبؤ، والاستكمال ضمن إطار عمل واحد تجعل منه أداة قوية للتفاعل بين الإنسان والروبوت والتحكم الروبوتي التفاعلي.
• مورد البيانات: يوفر إصدار مجموعة بيانات HAOI-Lang سد فجوة حرجة في المجتمع، مما يوفر معياراً قياسياً للتلاعب بالأجسام المفصلية الموجه لغوياً.

باختصار، يوفر SynHLMA نهجاً مبدئياً، مدركاً للفيزياء، وغنياً دلالياً لتوليد التفاعلات المعقدة بين الإنسان والأجسام، مما يمهد الطريق لمساعدين روبوتيين أكثر قدرة وبداهة.