GCDance: Genre-Controlled Music-Driven 3D Full Body Dance Generation
يُعد GCDance إطار عمل قائماً على الانتشار (diffusion-based framework) يقوم بتوليد تسلسلات رقص ثلاثية الأبعاد لكامل الجسم ومتحكم في نوعها الموسيقي، وذلك من خلال دمج الموسيقى والمطالبات النصية عبر آلية تحكم مبتكرة واستراتيجية تحسين متعددة المهام، مما يحقق محاذاة فائقة بين تصميم الرقصات والإيقاع والسمات الأسلوبية.
تخيل عالماً يمكنك فيه الضغط على زر التشغيل لأغنيتك المفضلة، لينبثق فوراً راقص رقمي، يتحرك بتناغم تام مع الإيقاع. لا يتعلق الأمر بمجرد جعل روبوت يلوح بذراعيه؛ بل يتعلق بالتقاط روح الرقصة. في مجال رسومات الحاسوب والذكاء الاصطناعي، يحاول الباحثون تعليم الحواسيب كيفية تصميم الرقصات. التحدي صعب: يحتاج الحاسوب إلى فهم شيئين مختلفين تماماً في آن واحد. أولاً، عليه أن يستمع إلى الموسيقى، مستشعراً الإيقاع و"الانسجام". ثانياً، عليه أن يفهم الأسلوب. فرقصة الجاز تبدو مختلفة تماماً عن رقصة الهيب هوب (breakdance)، حتى لو كانت الموسيقى تمتلك نفس السرعة. كانت المحاولات السابقة لهذا الأمر تشبه منسق أغانٍ (DJ) لا يعرف سوى نوعاً واحداً من الموسيقى؛ فقد كان بإمكانه جعل الراقص يتحرك، لكن الأسلوب غالباً ما كان يبدو عاماً أو يعلق في حلقة مفرغة. السؤال الكبير هو: هل يمكننا بناء ذكاء اصطناعي لا يتحرك فحسب مع الإيقاع، بل "يرقص" فعلياً بأسلوب محدد، تماماً كما يفعل مصمم الرقصات البشري؟
إليك GCDance، وهو اختراع جديد لفريق من الباحثين يعمل كمدير رقص فائق القدرة. فكر فيه كصندوق سحري حيث تغذيه بأغنية وتعليمات نصية بسيطة، مثل "جاز" أو "رقصة دوران رشيقة"، ليخرج لك فيديو ثلاثي الأبعاد لراقص بجسم كامل يؤدي ذلك الأسلوب بالضبط. قبل ذلك، كانت معظم مولدات الرقص بالذكاء الاصطناعي تشبه رساماً لا يمكنه سوى خلط ثلاثة ألوان فقط؛ كان بإمكانهم صنع رقصة، لكن لم يكن بإمكانهم بسهولة التبديل بين أساليب متميزة مثل "Breaking" أو "K-Pop" دون ارتباك. يغير GCDance قواعد اللعبة باستخدام عملية "الانتشار" (diffusion). يمكنك تخيل ذلك مثل نحات يبدأ بكتلة من الطين المليئة بالضجيج والتشويش، ثم يبدأ ببطء في إزالة هذا الضجيج حتى يظهر تمثال مثالي. في هذه الحالة، "الضجيج" هو حركة عشوائية، و"النحات" هو الذكاء الاصطناعي، الذي يستخدم الموسيقى ووصفك النصي لنحت رقصة سلسة وواقعية.
تجد الورقة البحثية أنه من خلال الجمع بين مستمع موسيقي ذكي ومترجم نصوص، يستطيع GCDance توليد رقصات ليست واقعية من الناحية الفيزيائية فحسب (الأقدام تلامس الأرض بشكل صحيح، والمفاصل لا تلتوي بطرق مستحيلة)، بل دقيقة من حيث الأسلوب أيضاً. اختبر الباحثون نموذجهم على مجموعتين كبيرتين من بيانات الرقص، إحداهما تضم 16 نوعاً مختلفاً والأخرى تضم 10 أنواع. ووجدوا أن GCDance أنتج رقصات بدت أكثر طبيعية وتنوعاً من الطرق السابقة. على سبيل المثال، عندما طلبوا من الذكاء الاصطناعي الرقص على نفس الأغنية ولكن مع تسميات أساليب مختلفة، نجح في إنشاء روتين حاد ومتقطع لأسلوب "Popping" وروتين انسيابي ومتموج لرقصة "Dai" الشعبية. يستخدم النظام أيضاً طريقة تدريب "متعددة المهام"، وهي تشبه طالباً يدرس لخمس امتحانات مختلفة في وقت واحد؛ فبدلاً من مجرد محاولة أن يكون مثالياً في شيء واحد، يتعلم التوازن بين كونه إيقاعياً، وممكناً فيزيائياً، ويبدو بالأسلوب الصحيح في آن واحد.
أحد أروع الميزات هو أنك لست بحاجة حتى لمعرفة الاسم التقني لأسلوب الرقص. يمكنك كتابة وصف مثل "رقصة سلام ووئام"، وسيفهم النظام الأسلوب ويخلق الحركات. أظهر الباحثون أيضاً أن الذكاء الاصطناعي يمكنه التعامل مع الأغاني الطويلة عبر ربط مقاطع رقص قصيرة بسلاسة، بحيث لا يتجمد الراقص أو يحدث به خلل تقني بعد بضع ثوانٍ. وفي الاختبارات، فضل الناس الرقصات التي صنعها GCDance على أفضل الطرق الأخرى، وغالباً ما اختاروها لأنها بدت أكثر حيوية وتوافقاً مع الموسيقى. وبينما تشير الورقة البحثية إلى أن النظام يركز حالياً على الأساليب العامة ولا يمكنه بعد تعديل التفاصيل الدقيقة مثل "حرك إصبع الخنصر الأيسر هنا"، إلا أنه يمثل خطوة كبيرة للأمام في جعل تصميم الرقصات بالذكاء الاصطناعي قابلاً للتحكم ومليئاً بالحياة.
ملخص تقني: GCDance
بيان المشكلة
تواجه عملية توليد الرقص ثلاثي الأبعاد بكامل الجسم والموجه بالموسيقى ثلاثة تحديات رئيسية:
التحكم في الأسلوب: غالبًا ما تفشل الطرق الحالية في نقل أنواع رقص محددة أو سمات أسلوبية، مما يؤدي إلى عدم تطابق بين الحركة المولدة والسياق الموسيقي أو الأسلوب المنشود.
المحاذاة متعددة الوسائط: تعتمد النهج الحالية عادةً على ميزات موسيقية منخفضة المستوى ومصممة يدويًا (مثل MFCC، وكشف الإيقاع)، وهي غير كافية لالتقاط الارتباطات المعقدة والدقيقة بين الموسيقى، والأوصاف النصية، ودلالات الرقص.
المقايضات الموضوعية: يصعب تحقيق التوازن بين الأهداف المتنافسة — مثل الواقعية الفيزيائية، والدقة المكانية، والتماسك الزمني، والالتزام بالنوع الموسيقي. معظم الطرق تدمج هذه الأهداف في دالة خسارة واحدة ذات أوزان مضبوطة يدويًا، مما يؤدي غالبًا إلى مقايضات دون المستوى الأمثل.
دقة الحركة: تتجاهل العديد من النماذج التفاصيل الدقيقة، وخاصة حركات اليدين، من خلال الاعتماد على تمثيلات هيكلية مبسطة (مثل 24 مفصلًا) أو المعاناة من تجمد الحركة والتشوهات في التوليد طويل الأمد.
المنهجية
يقترح المؤلفون GCDance، وهو إطار عمل قائم على الانتشار (diffusion-based) لتوليد رقص ثلاثي الأبعاد بكامل الجسم ومتحكم في النوع (genre-controlled) بناءً على الموسيقى والنصوص الوصفية.
1. البنية والمدخلات
الوسائط (Modalities): يعالج النموذج ثلاث وسائط: حركة الرقص (تمثيل SMPL بـ 52 مفصلًا بما في ذلك اليدين)، الموسيقى، والمطالبات النصية.
تمثيل الحركة: يستخدم هيكلًا بـ 52 مفصلًا مع تمثيل دوران بـ 6 درجات حرية (6-DOF)، وترجمة الجذر (root translation)، وملصقات اتصال القدم بالأرض.
ترميز الموسيقى: بدلاً من الاعتماد فقط على الميزات المصممة يدويًا، يدمج GCDance:
الميزات العميقة: التضمينات من Wav2CLIP، وهو نموذج أساسي للموسيقى يعمل على محاذاة الصوت مع النص في مساحة دلالية مشتركة.
ترميز النص: يقوم مصنف النوع (P) برسم خريطة من النصوص الحرة أو الملصقات الصريحة إلى نوع محدد. يتم تحويل هذا إلى مطالبات دلالية (على سبيل المثال، "هذه موسيقى من نوع الجاز") وتشفيرها عبر CLIP لإنشاء تضمين نصي خاص بالنوع (CE).
2. المكونات الأساسية
المحول ثنائي فك التشفير (Dual-Decoder Transformer): تستخدم شبكة إزالة الضجيج وحدتي خفض عينات خبيرتين: إحداهما لحركة الجسم والأخرى لحركة اليدين. يعالج هذا الفصل نطاقات الحركة ودرجات الحرية المختلفة بين الجسم واليدين. يتم دمج ميزات فك تشفير الجسم في فك تشفير اليد عبر الانتباه المتقاطع (cross-attention) لالتقاط العلاقات بين الجسم واليد.
آلية التحكم في النوع: تقوم وحدة تحكم DenseFiLM (تعديل الميزات خطيًا - Feature-wise Linear Modulation) بحقن معلومات النوع في الشبكة عند كل خطوة انتشار. تقوم بتعديل التنشيطات المتوسطة باستخدام تحويلات تآلفية مشتقة من تضمين النوع، مما يسمح بالتكيف الديناميكي لعملية التوليد بناءً على المطالبة النصية.
استراتيجية التعلم متعدد المهام (MTL): لموازنة الأهداف المتعارضة، يقترح المؤلفون استراتيجية تحسين مبتكرة تعمل على تحسين خمس دالات خسارة بشكل مشترك:
الاستدلالات التحسينية: يستكشف البحث Nash MTL (معاملة دمج التدرج كلعبة مساومة) و Aligned MTL (محاذاة المكونات الرئيسية للتدرج) لضبط أوزان التدريب ديناميكيًا، وتجنب الضبط اليدوي.
3. أخذ العينات والتحرير
الترميم (Inpainting): يدعم النموذج ترميم الانتشار، مما يسمح للمستخدمين بتقييد مفاصل معينة (مكانياً) أو مقاطع زمنية (زمانياً) أثناء توليد بقية التسلسل.
التوليد طويل الأمد: من خلال تقييد التداخل بين المقاطع المتجاورة التي تبلغ مدة كل منها 4 ثوانٍ (مطابقة آخر ثانيتين من مقطع مع أول ثانيتين من المقطع التالي) وتطبيق الاستيفاء الخطي، يمكن للنموذج تخليق تسلسلات رقص بأي طول.
المساهمات الرئيسية
نموذج انتشار متحكم في النوع: تقديم GCDance، وهو إطار عمل قائم على الانتشار قادر على توليد تسلسلات رقص ثلاثية الأبعاد بكامل الجسم مشروطة بكل من الموسيقى والمطالبات النصية لـ 16 نوعًا مختلفًا، متجاوزًا بذلك توليد الأنماط الفردية.
تعزيز المحاذاة متعددة الوسائط: دمج نموذج أساسي للموسيقى مدرب مسبقًا (Wav2CLIP) مع الميزات المصممة يدويًا لسد الفجوة الدلالية بين الموسيقى والنص، مما يتيح توليدًا أكثر تماسكًا وتعبيرًا.
تحسين متعدد المهام مبتكر: إطار عمل يستخدم استراتيجيات Nash و Aligned MTL لموازنة الواقعية الفيزيائية، والدقة المكانية، والتحكم في النوع ديناميكيًا، متفوقًا على دالات الخسارة ذات الأوزان الثابتة.
تمثيل عالي الدقة بـ 52 مفصلًا: التدريب على مجموعة بيانات بهياكل مفصلية مفصلة مكونة من 52 مفصلًا (بما في ذلك اليدين) لالتقاط تفاصيل الحركة الدقيقة التي تتجاهلها الأعمال السابقة.
النتائج التجريبية
أُجريت التجارب على مجموعتي البيانات FineDance (16 نوعًا، 52 مفصلًا) و AIST++ (10 أنواع، 24 مفصلًا).
الأداء الكمي:
في FineDance، تفوق GCDance (نسخة Nash) على نموذج EDGE المتطور بنسبة 30.27% في hand FID وبنسبة 55.58% في body FID.
حقق أفضل درجات الاتصال البدني بالجسم (PBC) بين جميع الطرق المقارنة ودرجات تنافسية في اتصال القدم الفيزيائي (PFC).
في AIST++، أظهر GCDance تحسنات مقارنة بـ EDGE عبر مقايات متعددة، رغم أنه لم يتفوق على Bailando في مجموعة بيانات الـ 24 مفصلًا (ويُعزى ذلك إلى تصميم Bailando المحسن لهذا التمثيل المحدد).
التحليل النوعي:
أظهرت عمليات التصور قدرة النموذج على توليد أنماط متميزة (مثل Popping مقابل Hip-hop مقابل Classical) من نفس المدخل الموسيقي.
مقارنة بالنماذج المرجعية، أظهر GCDance حالات أقل من تجمد الحركة، والتشوهات غير الطبيعية، وانزلاق القدم، مع الحفاظ على تنوع أسلوبي أعلى.
دراسة المستخدم:
في دراسة شملت 20 مشاركًا، فُضل GCDance على النماذج المرجعية (EDGE, Bailando, FineNet) بنسبة تتراوح بين 63.26% إلى 89.28% فيما يتعلق بجودة الحركة.
بالنسبة للتحكم في النوع، تم اختيار الرقصات المولدة بنفس وتيرة فيديوهات الحقيقة الأرضية (ground-truth) عند مطابقتها لأوصاف نوع محددة.
الكفاءة: يحقق النموذج (88 مليون معلمة) وقت استدلال قدره 0.22 ثانية للمقاطع التي تبلغ مدتها 4 ثوانٍ، مما يوفر توازنًا أفضل بين السرعة والجودة مقارنة بالنماذج الأكبر مثل LODGE أو Bailando.
الأهمية والادعاءات
يزعم البحث أن GCDance يمثل خطوة كبيرة للأمام في توليد الرقص القابل للتحكم من خلال معالجة "فجوة الأسلوب" في الطرق الحالية بفعالية. ومن خلال الاستفادة من النماذج الأساسية للمحاذاة الدلالية واستخدام التعلم متعدد المهام المتقدم لحل صراعات التحسين، يحقق الأسلوب أداءً هو الأفضل في فئته (state-of-the-art) من حيث جودة الحركة والالتزام بالنوع.
يشير المؤلفون بتواضع إلى أنه بينما يتفوق النظام في التحكم على مستوى النوع، فإنه يفتقر حاليًا إلى القدرة على التلاعب الدقيق بسمات حركة محددة (مثل تغيير إيماءة ذراع معينة دون تغيير الأسلوب بأكه). ويُقترح كعمل مستقبلي تمكين التحرير المحلي وتغيير المطالبات النصية عند كل خطوة فك تشفير.