SPH-DiffDance: Semantic Prototype Reconstruction and Hypergraph-Enhanced Diffusion Framework for Long-Sequence Music-Driven Dance Generation
تقترح هذه الورقة البحثية SPH-DiffDance، وهو إطار عمل انتشار من الخشن إلى الناعم يجمع بين وحدة إعادة بناء النموذج الأولي الدلالي لضمان تصميم رقصات عالمي مستقر، ووحدة صقل الوضعيات المعززة بالرسم البياني الفائق لتفاصيل وضعية منسقة، مما يعالج بفعالية تحديات توليد رقصات طويلة التسلسل، ومتسقة دلالياً، وعقلانية بنيوياً مدفوعة بالموسيقى.
إن إنشاء حاسوب يمكنه تحريك جسد رقمي على أنغام الموسيقى هو مشكلة تقع عند تقاطع الفن والهندسة. لعقود من الزمن، حاول الباحثون تعليم الآلات فهم العلاقة بين الصوت والحركة. والهدف ليس مجرد جعل الروبوت يلوح بذراعيه عندما تضرب الطبلة، بل توليد تسلسل مستمر وانسيابي من الحركات التي تبدو وكأنها أداء بشري حقيقي. يتطلب هذا من الحاسوب استيعاب شيئين مختلفين تماماً في آن واحد: الهيكل العريض طويل المدى للأغنية، والتفاصيل الدقيقة التي تحدث في أجزاء من الثانية مثل كيفية هبوط القدم أو دوران الورك. غالباً ما أنتجت المحاولات المبكرة حركات كانت إما متصلبة للغاية، أو مكررة بشكل مفرط، أو ببساطة غير متزامنة مع الإيقاع. كان التحدي يكمن في بناء نظام يمكنه تخطيط رقصة طويلة من البداية إلى النهاية دون أن يفقد الخيط، مع ضمان أن تبدو كل خطوة فردية ممكنة جسدياً وطبيعية في الوقت ذاته.
قام فريق من الباحثين في جامعة يانشان في الصين بتطوير طريقة جديدة لمعالجة هذه المشكلة، بهدف إنشاء تسلسلات طويلة من الرقص تكون دقيقة موسيقياً وسليمة هيكلياً. يعمل نهجهم، الذي يسمونه SPH-DiffDance، عبر مرحلتين متمايزتين، ينتقل فيه من نظرة عامة واسعة إلى التفاصيل الدقيقة. فبدلاً من محاولة توليد رقصة كاملة لمدة دقيقة واحدة دفعة واحدة، يقوم النظام أولاً بإنشاء مخطط أولي خشن للحركة. وهو يفعل ذلك من خلال الاستعانة بمكتبة من "النماذج الأولية" المتعلمة، وهي في الأساس أنماط حركة مخزنة تمثل أساليب وموضوعات مختلفة. فكر في الأمر كأن مصمم رقصات يرسم الشكل العام للروتين قبل القلق بشأن الخطوات المحددة. ومن خلال الرجوع إلى هذه النماذج الأولية، يضمن النظام حفاظ الرقصة على موضوع وإيقاع ثابتين طوال طولها، مما يمنع الحركات من التشتت أو أن تصبح غير منطقية مع طول التسلسل.
بمجرد وضع هذا الهيكل العالمي في مكانه، ينتقل النظام إلى المرحلة الثانية: صقل التفاصيل المحلية. هنا يركز الحاسوب على التنسيق المحدد لأجزاء الجسم. وجد الباحثون أن الطرق القياسية غالباً ما تعامل الجسم كسلسلة بسيطة من المفاصل المتصلة، مثل رجل العصا حيث تحرك وصلة واحدة الوصلة التالية. ومع ذلك، فإن الحركة البشرية أكثر تعقيداً؛ إذ غالباً ما تعمل الجذع والذراعين والساقين معاً في مجموعات لا تستطيع السلسلة البسيطة وصفها بالكامل. ولإصلاح ذلك، يستخدم النظام الجديد طريقة أكثر تقدماً لرسم هذه العلاقات، مما يسم يسمح له برؤية كيفية تفاعل أجزاء متعددة من الجسم في وقت واحد. كما يولي اهتماماً وثيقاً للقدمين، لضمان لمسهما الأرض في اللحظات المناسبة لمنع الراقص الرقمي من الظهور وكأنه ينزلق عبر الأرض، وهو خطأ شائع في الحركة المولدة حاسوبياً.
اختبر الباحثون نظامهم باستخدام مجموعة بيانات ضخمة تحتوي على أكثر من ألف زوج من الموسيقى وتسجيلات الرقص ثلاثية الأبعاد تغطي عشرة أساليب رقص مختلفة. وقارنوا نتائجهم مع عدة طرق موجودة ووجدوا أن نهجهم المكون من مرحلتين أنتج رقصات أكثر اتساقاً مع الموسيقى وبدت أكثر واقعية. أظهرت الحركات المولدة تزامناً أفضل مع الإيقاع وحافظت على جودة حركة أعلى عبر فترات طويلة دون التوقفات المحرجة أو الحلقات المكررة التي غال'اً ما تعاني منها الأنظمة الأخرى. تشير الدراسة إلى أنه من خلال فصل المهمة إلى مرحلة تخطيط عالمي ومرحلة صقل محلي، واستخدام نموذج أكثر تطوراً لكيفية اتصال أجزاء الجسم، فإنه من الممكن توليد تسلسلات رقص طويلة ومتماسكة تبدو أقرب بكثير إلى الأداء البشري.
بينما يظهر النظام تحسناً كبيراً في إنشاء حركة تبدو طبيعية، يقر الباحثون بأنه ليس حلاً مثالياً لكل السيناريوهات الممكنة. الإطار الحالي مصمم لرقصات الشخص الواحد، ومكتبة أنماط الحركة التي يستخدمها لا تزال محدودة بالأساليب الموجودة في بيانات التدريب. ويشير المؤلفون إلى أن العمل المستقبلي سيحتاج إلى معالجة كيفية توسيع هذه القدرات لتشمل راقصين متعددين يتفاعلون مع بعضهم البعض، وتغطية مجموعة أوسع من أساليب الحركة. ومع ذلك، يمثل هذا المنهج حالياً خطوة مهمة للأمام في تعليم الآلات فهم المنطق المعقد والمتعدد الطبقات للحركة البشرية استجابةً للموسيقى.
ملخص تقني لـ SPH-DiffDance
بيان المشكلة لا يزال توليد الرقصات الموجه بالموسيقى للتسلسلات الطويلة يمثل تحديًا كبيرًا في الرؤية الحاسوبية والتوليد متعدد الوسائط. غالبًا ما تعاني الطرق الحالية من ثلاث مشكلات رئيسية: عدم استقرار دلالات الكوريغرافيا العالمية، وعدم كفاية تنسيق الوضعيات المحلية، وصعوبة الحفاظ على تفاصيل الحركة المعقدة عبر فترات زمنية ممتدة. وبينما حسنت نماذج الانتشار (Diffusion Models) توليد الحركة، فإن تطبيقها المباشر على التسلسلات الطويلة يمكن أن يؤدي إلى انحراف دلالي، وانقطاعات في الحركة، وعلاقات غير طبيعية بين الأطراف. علاوة على ذلك، غالبًا ما تفشل التمثيلات القائمة على الهياكل العظمية التقليدية في التقاط التنسيق عالي الرتبة ومتعدد المفاصل المطلوب لحركات الرقص المعقدة، كما يتم نمذجة قيود تلامس القدم بشكل غير كافٍ، مما يؤدي إلى عيوب مثل انزلاق القدم.
المنهجية: SPH-DiffDance يقترح المؤلفون SPH-DiffDance، وهو إطار عمل انتشار من الخشن إلى الناعم (coarse-to-fine) مصمم لتنقية الحركة من البنى الدلالية العالمية إلى تفاصيل الوضعية المحلية. يعمل إطار العمل في مرحلتين متتاليتين:
انتشار النموذج الأولي للدلالات العالمية (وحدة SPR):
الهدف: إنشاء كوريغرافيا عالمية مستقرة ومنع الانحراف الدلالي أثناء توليد التسلسلات الطويلة.
الآلية: يبني النموذج وحدة إعادة بناء النموذج الأولي الدلالي (SPR) قابلة للتعلم. وبدلاً من الاعتماد فقط على ميزات الحركة المستمرة، يقوم ببناء بنك ذاكرة للنماذج الأولية لأنماط الرقص الدلالية الكامنة.
العملية: خلال مرحلة الانتشار العالمي، يقوم النموذج بالاستعلام وإعادة بناء ميزات حركة الكوامن مقابل مكتبة النماذج الأولية هذه. وهذا يحول التمثيلات المستمرة إلى تمثيلات نماذج أولية مع قيود دلالية.
المخرجات: تولد هذه المرحلة تسلسل رقص خشن وتستخرج "بدائيات الرقص" التمثيلية. وتُصنف هذه البدائيات إلى إشارات صلبة (hard cues) (توضع عند حدود المقاطع لضمان الاستمرارية الهيكلية) وإشارات ناعمة (soft cues) (توضع داخل المقاطع لتوفير التوجيه الدلالي والأسلوبي).
الآلية: يستخدم إطار العمل وحدة تنقية الوضعية المعززة بالرسم البياني الفائق (HEPR). وخلافًا للرسوم البيانية القياسية التي تنمذج اتصالات المفاصل الثنائية، تستخدم HEPR رسومًا بيانية فائقة (hypergraphs) لنمذجة الارتباطات عالية الرتبة بين الجذع والأطراف والقدمين في آن واحد.
العملية:
تعزيز الإشارات: يتم تعزيز الإشارات الناعمة عبر التوسيع بالانعكاس (استغلال التماثل الثنائي) والمحاذاة مع الإيقاع (مزامنة الإشارات مع بدايات الموسيقى والنبضات).
الانتشار المحلي: يقوم نموذج انتشار محلي بتوليد قطع دقيقة مشروطة بالموسيقى، والإشارات الصلبة، والإشارات الناعمة المعززة.
الانتشار عبر الرسم البياني الفائق: تقوم وحدة HEPR ببناء حواف فائقة ديناميكيًا بناءً على مسافات ميزات المفاصل، ودمج هذه المعلومات التكيفية عالية الرتبة مع طوبولوجيا هيكل SMPL الثابت.
القيود: تتضمن الوحدة قيود تلامس القدم لتقليل انزلاق القدم والوضعيات غير الطبيعية، إلى جانب فقدان تنوع العقد الافتراضية لمنع الرسم البياني الفائق من تعلم أنماط مكررة.
الدمج:
يتم دمج القطع المحلية المولدة باستخدام استراتيجية مزج التداخل لضمان الانتقالات السلسة، مما ينتج عنه رقص ثلاثي الأبعاد كامل وطويل التسلسل.
المساهمات الرئيسية تحدد الورقة أربع مساهمات رئيسية:
تصميم إطار العمل: إطار عمل انتشار من الخشن إلى الناعم يتكون من مرحلتين، يقسم توليد الرقص إلى تعلم دلالي عالمي وتنقية هيكلية محلية، مما يقلل بفعالية من الانحراف الدلالي وانقطاع الحركة.
إعادة بناء النموذج الأولي الدلالي (SPR): وحدة تقدم مكتبة نماذج أولية للرقص العالمي قابلة للتعلم. تقوم باسترجاع وإعادة بناء الميزات الدلالية من الكوامن، وتحويل الحركة العالمية إلى إشارات صلبة وناعمة لتوجيه التوليد المحلي.
تنقية الوضعية المعززة بالرسم البياني الفائق (HEPR): وحدة تنمذج العلاقات عالية الرتبة بين مفاصل الجسم المتعددة باستخدام رسوم بيانية فائقة ديناميكية. وبالاقتران مع قيود تلامس القدم، تعمل على تحسين العقلانية الهيكلية وتقليل انزلاق القدم.
التحقق التجريبي: تجارب شاملة على مجموعة بيانات AIST++ تظهر تحسنات في التزامن الإيقاعي، واستمرارية الحركة، والاتساق الهيكلي مقارنة بالطرق الرائدة الحالية.
النتائج التجريبية تم تقييم SPH-DiffDance على مجموعة بيانات AIST++، وأظهر أداءً تنافسيًا عبر جودة الحركة، والتنوع، والتزامن بين الموسيقى والحركة:
جودة الحركة: يحقق الأسلوب مسافة FID هندسية (FIDg) قدرها 10.60، متفوقًا بشكل ملحوظ على طرق مثل FACT (22.11)، وEDGE (22.12)، وLODGE (18.79)، مما يشير إلى أن الحركات المولدة أقرب إلى الحقيقة الأرضية في البنية المكانية.
التنوع: يحقق درجات تنوع عالية (DIVk: 9.36, DIVg: 6.90)، متجاوزًا العديد من النهج الحالية ومقتربًا من قيم الحقيقة الأرضية، مما يشير إلى أن النموذج يتجنب أنماط الحركة المتكررة.
التزامن: تصل درجة محاذاة النبض (BAS) إلى 0.2705، وهي الأعلى بين الطرق المقارنة، مما يشير إلى محاذاة زمنية قوية مع الإيقاعات الموسيقية.
الكفاءة: يحتوي النموذج على 105.5 مليون معلمة (انخفاض بنسبة 4.3% مقارنة بـ LODGE) ويحافظ على زمن انتقال الاستدلال بشكل مماثل للطرق الحالية رغم التكلفة الحسابية الإضافية لبناء الرسم البياني الفائق الديناميكي.
الأهمية والادعاءات تدعي الورقة أن SPH-DiffDance يعالج الفجوة الحرجة في توليد التسلسلات الطويلة حيث غالبًا ما تتعارض الاتساق الدلالي العالمي مع التفاصيل المحلية. ومن خلال نمذجة الدلالات الكوريغرافية العالمية صراحةً عبر إعادة بناء النموذج الأولي والتنسيق الهيكلي المحلي عبر الرسوم البيانية الفائقة، يحقق إطار العمل توازنًا بين الاستقرار طويل الأمد والواقعية قصيرة الأمد. ويؤكد المؤلفون أن نهجهم يوفر حلاً أكثر قوة لتوليد رقصات طويلة طبيعية، متسقة الأسلوب، ومعقولة فيزيائيًا، لا سيًا في السيناريوهات التي تتطلب تنسيقًا معقدًا بين المفاصل المتعددة ومزامنة موسيقية دقيقة.
القيود والعمل المستقبلي يقر المؤلفون بتواضع بوجود قيود حالية: إطار العمل مصمم حاليًا لتوليد رقصات لشخص واحد، وقد لا تغطي مكتبة النماذج الأولية المتعلمة جميع أنماط الرقص المتنوعة للغاية أو المتخصصة. ويُقترح في العمل المستقبلي استقصاء استراتيجيات نمذجة دلالية أكثر مرونة وتوسيع إطار العمل ليشمل سيناريوهات متعددة الأشخاص.