ملخص تقني: تنسيق الشروط المتعددة لتوليد حركة بشرية متحكم بها عبر المسار (CMC)

1. بيان المشكلة

يهدف توليد الحركة البشرية المتحكم بها عبر المسار إلى تخليق حركات بشرية واقعية مشروطة بكل من الأوصاف النصية والمسارات المكانية. وبينما حاولت الأساليب الحديثة القائمة على الانتشار (diffusion-based methods) دمج هذه الشروط، حددت الورقة البحثية قصورين حرجين في النهج الحالية (مثل GMD وOmnicontrol):

1. التعارض بين الشروط: غالبًا ما تطبق الأساليب الحالية شروط النص والمسار في آن واحد أثناء عملية إزالة الضجيج (denoising). وتجادل الورقة بأن حقن توجيه المسار في عملية الانتشار يعطل رسم الخرائط الأصلي من "النص إلى الحركة" الذي تم تعلمه أثناء التدريب. هذا التداخل يتسبب في معاناة الشبكة مع الاتساق الدلالي، مما يؤدي إلى حركات تكون إما غير متسقة دلاليًا مع النص أو تفشل في اتباع المسار بدقة.
2. عدم الاتساق في التمثيلات الفائضة: تستخدم العديد من الأساليب تمثيلات حركة فائضة (بما في ذلك مواضع المفاصل المحلية، والدوران، والسرعات). ومع ذلك، يتم تطبيق توجيه المسار عادةً على المواضع المحلية فقط. وهذا يخلق عدم اتساق حيث تتغير المواضع الموجهة بينما تظل الدورانات والسرعات دون تغيير (أو يتم التوفيق بينها ضمنيًا بواسطة الشبكة). يؤدي هذا إلى عدم استقرار أثناء عملية إزالة الضجيج، لا سيما مع اقتراب العملية من الاكتمال، مما يقلل من دقة التحكم.

2. المنهجية: إطار عمل CMC

يقترح المؤلفون إطار عمل CMC (تنسيق الشروط المتعددة)، وهو إطار عمل مفكك يستخدم استراتيجية "فرق تسد" لفصل التحكم في المسار عن توليد الحركة. يتكون الإطار من مرحلتين متتاليتين:

المرحلة 1: التحكم في المسار

• الهدف: توليد تمثيل مبسط للحوض والمفاصل المتحكم بها يلتزم بصرامة بالمسار المدخل مع مراعاة المطالبة النصية.
• التمثيل المبسط: على عكس الأعمال السابقة التي تستخدم تمثيلات فائضة، تستخدم هذه المرحلة تمثيلًا مبسطًا يحتوي فقط على السرعات الزاوية/الخطية للجذر ومواضع المفاصل المحلية ($ra, rx, rz, ry, jp$). هذا يلغي عدم الاستقرار الناتج عن مكونات الدوران/السرعة المتعارضة أثناء التوجيه.
• العملية: يقوم نموذج انتشار بتوليد التمثيل المبسط الأولي. بعد ذلك، يتم تطبيق توجيه المصنف (باستخدام محسن L-BFGS) لتنقية هذا التمثيل مقابل المسار المكاني.
• النتيجة: يتم تثبيت مواضع الحوض والمفاصل المتحكم بها وتمريرها إلى المرحلة التالية.

المرحلة 2: إكمال الحركة

• الهدف: تخليق حركة الجسم الكامل بناءً على المطالبة النصية، باستخدام مخرجات المرحلة الأولى كملاحظات جزئية ثابتة.
• العملية: يقوم نموذج "ترميم الانتشار" (diffusion inpainting model) بتوليد حركة الجسم الكامل (باستخدام التمثيل الفائض القياسي للمخرج النهائي). يتم استبدال المواضع المحلية للحوض والمفاصل المتحكم بها من المرحلة الأولى في التوترات الضوضائية المدخلة عبر قناع مكاني-زماني ثنائي.
• الميزة الرئيسية: تعتمد هذه المرحلة فقط على الشرط النصي للتوليد. يتم إزالة توجيه المسار لمنع التداخل مع توليد الحركة الدلالية، مما يضمن تركيز الشبكة على إكمال الحركة عالي الدقة.

آلية الترميم الانتقائي (SIM)

لمعالجة مشكلة الإفراط في التخصيص (overfitting) الناتجة عن محدودية بيانات ترميم الحركة، قدم المؤلفون آلية SIM.

• الآلية: خلال التدريب، تتناوب النماذج بين وضعين باحتمالية 50%:
  1. ترميم الحركة (Motion Inpainting): التدريب على بيانات حيث تكون الملاحظات الجزئية (المفاصل المتحكم بها) محجوبة.
  2. توليد "من النص إلى الحركة" (Text-to-Motion Generation): التدريب على بيانات "النص إلى الحركة" القياسية (غير الترميمية).
• الغرض: تعمل مهمة "النص إلى الحركة" كمنظم (regularizer)، مما يمنع النموذج من الإفراط في التخصيص للملاحظات الجزئية ويحافظ على قدرته على توليد حركات متنوعة وطبيعية للمدخلات غير المرئية.

3. المساهمات الرئيسية

1. تحديد القيود: تحدد الورقة صراحةً التعارض بين شروط النص والمسار وعدم الاستقرار الناتج عن تمثيلات الحركة الفائضة كعوائق أساسية في التوليد المتحكم به عبر المسار حاليًا.
2. إطار العمل المفكك (CMC): إطار عمل جديد من مرحلتين يفصل التحكم في المسار (باستخدام تمثيلات مبسطة) عن إكمال الحركة (باستخدام التوجيه النصي فقط)، مما يخفف بفعالية من صراعات الشروط.
3. آلية الترميم الانتقائي (SIM): استراتيجية تدريب تتناوب بين مهام الترميم والتوليد لتعزيز قدرة نماذج ترميم الانتشار على التعميم.
4. الأداء المتفوق (State-of-the-Art): يحقق إطار العمل نتائج متفوقة في كل من دقة التحكم وجودة الحركة في المعايير القياسية.

4. النتائج التجريبية

قيم المؤلفون CMC على مجموعتي بيانات HumanML3D و KIT-ML، مقارنة بالأساليب الرائدة مثل Omnicontrol و TLControl و GMD.

• دقة التحكم: يتفوق CMC بشكل كبير على الأساليب الحالية في مقاييس خطأ المسار. على سبيل المثال، في HumanML3D مع التحكم في الحوض، حقق CMC متوسط خطأ قدره 0.51 سم مقارنة بـ 3.38 سم لـ Omnicontrol و 1.08 سم لـ TLControl. لوحظت تحسينات مماثلة في سيناريوهات التحكم متعدد المفاصل (مثل الحوض + 5 أطراف نهائية).
• جودة الحركة: يحقق CMC درجات أقل في مقياس Fréchet Inception Distance (FID) ودرجات أعلى في R-precision، مما يشير إلى واقعية حركة وتوافق نصي أفضل. في سيناريوهات التحكم متعدد المفاصل، خفض CMC قيمة FID إلى 0.075 (مقابل 0.218 لـ Omnicontrol).
• تحليل الاستقرار: تظهر تصورات خطأ التحكم عبر خطوات إزالة الضجيج أن التمثيل المبسط ينتج مسارات مستقرة ومنخفضة الخطأ، بينما تظهر التمثيلات الفائضة أخطاءً متذبذبة تزدัง نحو نهاية العملية.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة فك الارتباط في مرحلتين (باستخدام نهج المرحلة الواحدة) إلى تدهور كبير في كل من FID ودقة التحكم.
  • تمرير جميع المفاصل من المرحلة 1 إلى المرحلة 2 (بدلاً من المفاصل المتحكم بها فقط) زاد من FID وقلل من R-precision، مما يؤكد أن تمرير الكثير من معلومات المسار يخلق تعارضات بين النص والمسار.
  • أظهرت آلية SIM تحسنًا في التعميم، مما قلل الفجوة في الأداء بين النماذج المدربة على الملاحظات الجزئية الحقيقية مقابل الملاحظات المصنعة.

5. الأهمية والادعاءات

تدعي الورقة أن CMC يحل بفعالية المقايضة المتأصلة بين واقعية الحركة ودقة التحكم التي تعاني منها الأساليب السابقة.

• فك الارتباط كحل: من خلال فصل المهام، يسمح CMC للشبكة بتعلم رسم الخرائط من "النص إلى الحركة" بالكامل في المرحلة الثانية دون اضطراب من تدرجات المسار، مع ضمان الالتزام الدقيق بالمسار في المرحلة الأولى من خلال التمثيلات المبسطة.
• التعميم: تسمح آلية SIM للنموذج بالتعميم بشكل جيد على المسارات والمطالبات النصية الخارجة عن التوزيع (out-of-distribution)، وهي نقطة فشل شائعة للنماذج المدربة حصريًا على مهام الترميم.
• العملية: يدعم إطار العمل أوضاع تحكم متنوعة، بما في ذلك التحكم في مفصل واحد، أو مفاصل متعددة، أو التحكم عبر الإطارات الرئيسية (keyframes)، مما يظهر تعدد الاستخدامات في تطبيقات مثل الرسوم المتحركة والألعاب.

خلص المؤلفون إلى أنه بينما يخفف CMC بشكل كبير من الصراعات في توليد الحركة متعدد الوسائط، تظل هناك قيود تتعلق بالمسارات المتطرفة الخارجة عن التوزيع (مثل تحرك الحوض 3 أمتار فوق الأرض)، والتي يكافح النموذج لتفسيرها لأنها تقع خارج توزيع التدريب. واقترحوا أن العمل المستقبلي يمكن أن يركز على تمثيل ارتفاع المفاصل بالنسبة للأرض بدلاً من الإحداثيات المطلقة.