MACE-Dance: Motion-Appearance Cascaded Experts for Music-Driven Dance Video Generation

تخيل أنك تريد إنشاء فيديو رقص حيث يتحرك شخص ما بشكل مثالي على أغنية، لكنك لا تريد استئجار مصمم رقصات، أو راقص، أو طاقم تصوير. تريد فقط إدخال أغنية وصورة، وتترك الكمبيوتر يقوم بكل شيء.

هذا هو التحدي الذي تعالجه ورقة البحث MACE-Dance. أدرك المؤلفون أن محاولة تعليم الكمبيوتر القيام بـ كل شيء في وقت واحد (تحويل الموسيقى مباشرة إلى فيديو) تشبه مطالبة شخص واحد بأن يكون مؤلفاً موسيقياً، وراقصاً، ومخرجاً سينمائياً في آن واحد؛ وغالباً ما ينتهي به الأمر بأداء عمل متوسط الجودة في الثلاثة معاً.

بدلاً من ذلك، يستخدم MACE-Dance نهج "خليط الخبراء المتتالي" (Cascaded Mixture-of-Experts). فكر في هذا الأمر كشركة إنتاج رقص راقية توظف خبيرين متميزين يعملان بنظام سباق التتابع، بدلاً من توظيف شخص عام يمتلك مهارات متعددة.

الخبيران (الخبراء)

1. خبير الحركة (مصمم الرقصات)

• المهمة: يستمع هذا الخبير إلى الموسيقى ويحدد كيف يجب أن يتحرك الجسم. هو لا يهتم بكيفية مظهر الراقص (الشعر، الملابس، البشرة)؛ بل يهتم فقط بالفيزياء والإيقاع.
• السر المبتكر: يستخدم بنية دماغية خاصة تسمى BiMamba-Transformer.
  • تشبيه: تخيل قائد أوركسترا يمكنه سماع الإيقاع المحلي لضربات الطبل (Mamba) بينما يفهم أيضاً الهيكل العظيم للسمفونية بأكملها (Transformer). هذا يسمح للخبير بابتكار حركات رقص ممكنة فيزيائياً (لن ترى ساقاً تنثني للخلف) ومعبرة فنياً (ليست مجرد حركات روبوتية متقطعة).
• المخرج: ينتج "هيكلاً عظمياً" أو خريطة ثلاثية الأبعاد لحركات الرقص، وليس فيديو بعد.

2. خبير المظهر (المخرج والمنسق الجمالي)

• المهمة: يأخذ هذا الخبير الهيكل العظمي ثلاثي الأبعاد من الخبير الأول وصورة للشخص الذي قدمته. ثم يقوم بـ "تلوين" الفيديو، مما يجعل الشخص الموجود في الصورة يؤدي تلك الحركات بالفعل.
• السر المبتكر: يستخدم عملية تدريب من خطوتين تسمى "الضبط الدقيق الحركي والجمالي" (Kinematic-Aesthetic Fine-Tuning).
  • تشبيه: أولاً، يتعلم كيف يتحرك الجسم بشكل صحيح (الحركي - Kinematic)، مما يضمن اتباع الأذرع والأرجل للهيكل تماماً. ثانياً، يتعلم كيف يجعل الفيديو يبدو جميلاً (الجمالي - Aesthetic)، مما يضمن عدم تشوه الملابس، وبقاء الوجه قابلاً للتمييز، وظهور الإضاءة بشكل طبيعي.
• المخرج: فيديو عالي الجودة حيث يرقص الشخص الموجود في صورتك على الأغنية.

لماذا يتفوق هذا النهج؟

تجادل الورقة البحثية بأن الطرق السابقة حاولت القيام بذلك في خطوة واحدة ضخمة، مما أدى إلى مشاكل:

• مشكلة "التشوه" (The Blurry Problem): جعلت بعض الطرق الراقص يبدو مثل تمثال من الشمع الذائب.
• مشكلة "الخلل" (The Glitchy Problem): جعلت طرق أخرى أطراف الراقص تنبض أو تنتقل آنياً (Teleport).
• مشكلة "الحركات الخاطئة" (The Wrong Moves Problem): أنتجت بعض الطرق رقصات تبدو رائعة ولكنها لا تتوافق فعلياً مع إيقاع الموسيقى.

يحل MACE-Dance هذه المشكلة عن طريق فصل فيزياء الحركة عن جمال الصورة. ومن خلال استخدام "هيكل عظمي" ثلاثي الأبعاد كوسيط، يضمن النظام أن الرقص حقيقي فيزيائياً قبل أن يحاول حتى جعله يبدو جميلاً.

"الصالة الرياضية" و"بطاقة التقييم"

لإثبات نجاح نظامهم، لم يكتفِ المؤلفون بالتخمين؛ بل بنوا ساحة تدريب ضخمة وطريقة جديدة لتقييم النتائج:

1. MA-Data (الصالة الرياضية): أنشأوا مجموعة بيانات ضخمة تضم 70,000 مقطع رقص (116 ساعة من الفيديو) تغطي أكثر من 20 نوعاً مختلفاً من أنواع الرقص، من الكي-بوب (K-Pop) إلى رقصات الفلكلور التقليدية. كان هذا ضرورياً لأن البيانات الموجودة لم تكن كبيرة أو متنوعة بما يكفي لتعليم الذكاء الاصطناعي بشكل صحيح.
2. بطاقة التقييم (The Scorecard): صمموا نظام تقييم جديد يتحقق من شيئين بشكل منفصل:
   • درجة الحركة (Motion Score): هل تبدو الرقصة ممكنة فيزيائياً؟ هل تتماشى مع الإيقاع؟
   • درجة المظهر (Appearance Score): هل يبدو الفيديو سلساً؟ هل يشبه الشخص الموجود في الفيديو الشخص الموجود في الصورة الأصلية؟

النتائج

عندما اختبروا MACE-Dance مقابل أفضل مولدات رقص الذكاء الاصطناعي الأخرى، فاز في كل الفئات تقريباً.

• الحكام البشريون: عندما شاهد أشخاص حقيقيون لديهم خلفيات في الرقص مقاطع الفيديو، فضلوا MACE-Dance بشكل ساحق. قالوا إن الحركات كانت أكثر إبداعاً، والتوقيت كان أفضل، ومقاطع الفيديو بدت أكثر طبيعية.
• اختبار "الرقصة الطويلة": معظم أنظمة الذكاء الاصطناعي ترتبك وتبدأ في حدوث خلل بعد بضع ثوانٍ. يمكن لـ MACE-Dance إنشاء فيديوهات رقص طويلة ومستمرة (تصل إلى 30 ثانية أو أكثر في العرض التجريبي) دون أن يفقد الراقص شكله أو يرتعش الفيديو.

باختصار

MACE-Dance يشبه توظيف مصمم رقصات عالمي لتصميم الخطوات ومخرج عالمي لتصويرها، بدلاً من مطالبة روبوت واحد بالقيام بكليهما. من خلال تقسيم المهمة، أنشأوا نظاماً يولد فيديوهات رقص ليست متزامنة مع الموسيقى فحسب، بل تبدو أيضاً حقيقية فيزيائياً ومذهلة بصرياً.