TokenDance: Token-to-Token Music-to-Dance Generation with Bidirectional Mamba

إليك ملخص تقني مفصل لورقة البحث بعنوان "TokenDance: توليد الموسيقى إلى الرقص عبر (Token-to-Token) باستخدام (Bidirectional Mamba)."

1. بيان المشكلة

يهدف توليد الرقص من الموسيقى (Music-to-Dance Generation) إلى تخليق حركات رقص ثلاثية الأبعاد واقعية مشروطة بالصوت الموسيقي. وعلى الرغم من إمكاناته في مجالات الواقع الافتراضي (VR)، والتعليم، والرسوم المتحركة، إلا أن الطرق الحالية التي تمثل أحدث ما توصل إليه العلم (SOTA) تواجه قيوداً كبيرة:

• ندرة البيانات والتعميم: قواعد بيانات الرقص ثلاثية الأبعاد الحالية (مثل ++AIST وFineDance) صغيرة (3-8 ساعات). النماذج المدربة عليها تعاني في التعميم على الموسيقى "في الواقع" (in-the-wild)، وغالباً ما تنتج تصميمات رقص مكررة، ومتحفظة، وبسيطة.
• عيوب الانحدار المستمر (Continuous Regression): الطرق أحادية المرحلة التي تقوم مباشرة بانحدار الحركة من الصوت في فضاء مستمر تعاني من تراكم الأخطاء والانحراف عن المسار (manifold drift)، مما يؤدي إلى حركات غير منطقية فيزيائياً.
• ضعف النمذجة الهيكلية: التعامل مع الموسيقى كإشارة مستمرة يفشل في نمذجة الإشارات الإيقاعية الدقيقة والهياكل الموسيقية العليا (مثل الأوزان الزمنية وأنماط النوع الموسيقي) بشكل صريح، مما يؤدي إلى ضعف التزامن والتعبير.

2. المنهجية: إطار عمل TokenDance

يقترح TokenDance إطار عمل ثنائي المرحلة ينقل النموذج المعرفي من الانحدار المستمر إلى التوليد من رمز إلى رمز (token-to-token generation). وهو يستفيد من الملاحظة القائلة بأن المعلومات الموسيقية ذات الصلة بتصميم الرقص تقع على "منوع" (manifold) منخفض الأبعاد ومنظم.

المرحلة الأولى: التجزئة ثنائية الأنماط (Dual-Modality Tokenization)

يتم تجزئة كل من الموسيقى والرقص باستخدام التكميم القياسي المحدود (Finite Scalar Quantization - FSQ) بدلاً من التكميم المتجه التقليدي (VQ-VAE)، الذي غالباً ما يعاني من انهيار كتاب الرموز (codebook collapse).

• تجزئة الرقص:

  • التفكيك: يتم تفكيك معاملات SMPL إلى مكونات الجزء العلوي من الجسم والجزء السفلي من الجسم لالتقاط أنماطهما الزمنية المتميزة.
  • القيود: يفرض فقدان إعادة البناء (reconstruction loss) قيوداً حركية وديناميكية (مواقع المفاصل، السرعات، التسارعات) في كل من فضاء المفاصل وفضاء الحركية الأمامية (forward kinematics) لضمان المعقولية الفيزيائية.
  • التكميم: يستخدم FSQ لخرائط ميزات الحركة المستمرة إلى رموز منفصلة دون كتاب رموز صريح، مما يضمن استخداماً متوازناً للرموز.

• تجزئة الموسيقى (الجدة في البحث):

  • التفكيف: يتم تقسيم ميزات الصوت (المعتمدة على Librosa) إلى مكونات دلالية (مثل MFCCs التي تمثل الأسلوب/النوع) وصوتية (إيقاعية/زمنية).
  • المنطق: هذا يفصل الأسلوب عن الإيقاع، مما يمنع التداخل أثناء النمذجة المنفصلة.
  • التكميم: يتم تخصيص كتب رموز FSQ لكل مكون. هذا يوسع القدرة التعبيرية من $O(L)$ إلى $O(L^2)$ من خلال التركيبات، مما يخلق نموذجاً أولياً مستقراً للتوليد.

المرحلة الثانية: التوليد من رمز إلى رمز (Token-to-Token Generation)

يقوم مولد محلي-عالمي-محلي (Local-Global-Local) مبني على هيكل Mamba ثنائي الاتجاه (BiMamba) برسم الخرائط من رموز الموسيقى إلى رموز الرقص.

• البنية:
  1. الماسحات المحلية (Local Scanners): تعالج وحدات Mamba مستقلة الرموز الموسيقية الصوتية والدلالية بشكل منفصل لالتقاط الإشارات الإيقاعية قصيرة المدى.
  2. الماسح العالمي (Global Scanner): يقوم نموذج دمج بدمج الأنماط وصقل التمثيل باستخدام بوابة مدركة للنوع (genre-aware gating) لضمان الاتساق الأسلوبي.
  3. الماسحات المحلية للرقص: تتنبأ فروع منفصلة بحركة الجزء العلوي والجزء السفلي من الجسم.
• Mamba ثنائي الاتجاه (BiMamba):
  • على عكس Mamba أحادي الاتجاه القياسي، يعالج هذا النموذج التسلسلات في كلا الاتجاهين (الأمامي والخلفي).
  • الفائدة: تصميم الرقص غالباً ما يعتمد على الإيقاعات المستقبلية (التوقع) والسياق الماضي. يلتقط BiMamba هذه التبعيات ثنائية الاتجاه، مما يحسن تماسك الحركة والمحاذاة.
• الاستدلال (Inference): يدعم النموذج الاستدلال غير التكراري (non-autoregressive inference)، مما يسمح بتخليق تسلسل الحركة بأكره بالتوازي، مما يقلل زمن الاستجابة بشكل كبير مقارنة بنماذج الانتشار التكرارية أو نماذج RNN.

3. المساهمات الرئيسية

1. إطار عمل TokenDance: إطار عمل فعال ثنائي المرحلة يحقق أداءً رائداً (SOTA) في كل من جودة التوليد وسرعة الاستدلال.
2. تجزئة الموسيقى: تقديم تجزئة الموسيقى (تفكيكها إلى ميزات دلالية وصوتية) مما يحسن بشكل كبير من قدرة النموذج على التعميم على الموسيقى غير المرئية، وهي قدرة لم تُستكشف سابقاً في هذا المجال.
3. مولد (Local-Global-Local): بنية مبتكرة تستخدم BiMamba لنمذجة المحاذاة الإيقاعية المحلية والتماسك الكوريغرافي العالمي بفعالية مع تمكين الاستدلال السريع غير التكراري.
4. استقلالية النموذج: أثبت أن استراتيجية تجزئة الموسيقى المقترحة تحسن الأداء عبر بنيات مختلفة (مثل FACT وBailando) وتمثيلات موسيقية متنوعة (MERT وJukebox وWav2Vec2.0).

4. النتائج التجريبية

أُجريت التجارب على مجموعات ++AIST وFineDance وPopDanceSet (الموسيقى في الواقع).

• جودة التوليد:
  • حقق TokenDance أدنى درجات FID (مسافة Fréchet Inception Distance) في PopDanceSet (FIDk: 17.77, FIDg: 15.95)، مما يشير إلى واقعية حركة فائقة.
  • حافظ على درجات DIV (التنوع) عالية، مما يثبت تجنبه للحلقات المكررة الشائعة في النماذج الأخرى.
• التزامن:
  • حقق درجات تنافسية في مقاييس محاذاة الإيقاع (BAS)، مما أظهر تزامناً إيقاعياً قوياً مع الهياكل الموسيقية المعقدة.
• الكفاءة:
  • زمن الاستجابة (Latency): يعد TokenDance أسرع بكثير من طرق SOTA. لتسلسل مكون من 1024 إطاراً، يستغرق 1.22 ثانية مقارنة بـ 4.57 ثانية (Lodge) و35.88 ثانية (FACT).
  • القابلية للتوسع: يتناسب وقت الاستدلال خطياً مع طول التسلسل، على عكس النماذج التكرارية حيث ينمو زمن الاستجابة بشكل أسّي.
• دراسة المستخدم:
  • في دراسة عمياء شارك فيها 40 مشاركاً، سجل TokenDance أعلى الدرجات في تزامن الرقص (4.12)، الجودة (4.09)، والإبداع (3.96)، متفوقاً على النماذج المرجعية القوية مثل Lodge وBailando.

5. الأهمية

يعالج TokenDance العقبة الحرجة المتمثلة في ندرة البيانات في توليد الرقص ثلاثي الأبعاد من خلال إعادة صياغة المشكلة كمسأة تنبؤ تسلسلي مهيكل. ومن خلال نمذجة الطبيعة المنفصلة والتركيبية لكل من الموسيقى والرقص بشكل صريح، فإنه يتيح:

• التعميم القوي: القدرة على توليد رقصات متنوعة وعالية الجودة للموسيقى "في الواقع" التي لم تُشاهد أثناء التدريب.
• القابلية للتطبيق في الوقت الفعلي: التصميم غير التكراري يجعل تطبيقات التفاعل في الوقت الفعلي (مثل صور الـ Avatar في الواقع الافتراضي، أو أدوات الأداء الحي) أمراً ممكناً.
• نموذج جديد: يثبت أن تجزئة الموسيقى هي تقنية قابلة للتطبيق وقوية للتوليد عبر الوسائط (cross-modal generation)، مما يشير إلى أن النهج المماثل قد يفيد مهام أخرى من الصوت إلى الحركة.