TeMuDance: Contrastive Alignment-Based Textual Control for Music-Driven Dance Generation
يُعد TeMuDance إطار عمل مبتكر يتيح التحكم الموجه بالنص لتوليد الرقصات المدفوعة بالموسيقى دون الحاجة إلى مجموعات بيانات موسيقية-نصية-حركية مشروحة يدويًا، وذلك من خلال الاستفادة من نموذج تجسير متمحور حول الحركة لمواءمة مصادر البيانات المنفصلة، واستراتيجية ضبط دقيق ثنائية المسار لضمان الدقة الإيقاعية والدقة الدلالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد إنشاء فيديو رقص لأغنية ما. لديك الموسيقى، وتريد من الكمبيوتر أن يولد حركات الرقص.
المشكلة:
مولدات الرقص الحالية بالذكاء الاصطالي تشبه موسيقيين موهوبين للغاية يمكنهم العزف بشكل مثالي مع الإيقاع، لكنهم سيئون جداً في تلقي التعليمات. إذا قلت لهم: "اجعل الراقص يركل ساقه اليمنى"، فقد يتجاهلونك ويستمرون في الرقص كما يحلو لهم. إنهم بارعون في الإيقاع، لكنهم لا يستطيعون فهم قصة محددة أو أوامر خاصة بك.
لماذا؟ لأن تعليم الذكاء الاصطناعي كيفية الرقص والاستماع للتعليمات في آن واحد يتطلب مكتبة ضخمة من مقاطع الفيديو حيث يتم وسم كل حركة فيها بكل من الموسيقى والوصف النصي (على سبيل المثال: "موسيقى: جاز، حركة: ركلة بالساق اليمنى"). هذه البيانات "ثلاثية الأبعاد" غير موجودة بعد. لدينا الكثير من أزواج (الموسيقى-الرقص)، والكثير من أزواج (النص-الحركة)، لكنهما موجودان في غرفتين مختلفتين لا تتحدثان مع بعضهما البعض.
الحل: TeMuDance
قام الباحثون ببناء نظام جديد يسمى TeMuDance. فكر فيه كأنه مترجم ذكي وقائد أوركسترا بارع في آن واحد. إليك كيف يعمل، باستخدام بعض التشبيهات البسيطة:
1. "جسر الحركة" (الربط بين جزيرتين)
تخيل جزيرتين:
- الجزيرة (أ) (الموسيقى والرقص): تحتوي على آلاف الأغاني والرقصات المثالية، ولكن لم يكتب أحد ما تعنيه هذه الحركات.
- الجزيرة (ب) (النص والحركة): تحتوي على آلاف الأوصاف مثل "قفز"، "دوران"، أو "مشى يساراً"، والحركات التي تصاحبها، ولكن بدون موسيقى.
يقوم TeMuDance ببناء جسر بين هاتين الجزيرتين. إنه يستخدم "الحركة" كلغة مشتركة. ينظر إلى حركة رقص في الجزيرة (أ)، ويجد حركة مماثلة في الجزيرة (ب) تطابق الوصف، ويقول: "آه! هذه الحركة الراقصة تقابل النص 'دوران'".
من خلال القيام بذلك، ينشئ "ورقة غش" (قاعدة بيانات) تربط الموسيقى والنص والحركة معاً، رغم أنه لم يرَها جميعاً معاً في العالم الحقيقي.
2. "العمود الفقري المجمد" (حافظ الإيقاع)
يبدأ النظام بذكاء اصطناعي مدرب مسبقاً وهو بالفعل راقص عالمي المستوى. هو يعرف كيف يتحرك بشكل مثالي مع الإيقاع. قرر الباحثون عدم إعادة تدريب هذا الراقص الخبير لأنهم لم يريدوا إفساد إيقاعه المثالي.
فكر في هذا الخبير كأنه تمثال راقص مجمد يعرف الموسيقى جيداً. هو بارع، لكنه لا يستطيع الاستماع إلى أوامر صوتك.
3. "المساعد خفيف الوزن" (المُلحق الجديد)
بدلاً من صهر التمثال، قاموا بإرفاق مساعد صغير ومرن (فرع تحكم نصي) به.
- عندما تكتب "اركل الساق اليمنى"، يقرأ هذا المساعد نصك.
- يهمس بالتعليمات إلى التمثال المجمد، ليوجهه لأداء تلك الركلة المحددة مع الحفاظ على إيقاع الموسيقى.
- يظل التمثال مجمداً (محافظاً على الإيقاع المثالي)، لكن المساعد يوجه الحركات المحددة.
4. "فلتر الضجيج" (ضبط الجودة)
بما أن النظام اضطر إلى "تخمين" الروابط بين الجزيرتين (الجزيرة أ والجزيرة ب)، فإن بعض تخميناته قد تكون خاطئة. الأمر يشبه محاولة مطابقة أغنية جاز مع وصف "المشي"؛ أحياناً يكون الربط ضعيفاً.
لإصلاح ذلك، يستخدم TeMuDance فلتر ثقة. فهو يستخدم فقط "أفضل التخمينات" حيث يتطابق الموسيقى والنص بشكل جيد. إذا كان الربط ضعيفاً، فإنه يتجاهله. هذا يمنع الذكاء الاصطناعي من تعلم عادات سيئة.
5. "مقياس النجاح" (KPS)
كيف يعرفون أن الأمر نجح بالفعل؟ لقد اخترعوا اختباراً جديداً يسمى نجاح العناصر الحركية الأولية (KPS).
بدلاً من السؤال فقط، "هل يبدو هذا رائعاً؟"، هم يسألون أسئلة محددة:
- "هل رفع الراقص ساقه بالفعل؟"
- "هل دار في الاتجاه الذي طلبته؟"
- "هل فعل ذلك أثناء تشغيل الموسيقى؟"
إذا أجاب الذكاء الاصطناعي بـ "نعم" على أمرك النصي، ترتفع الدرجة.
النتيجة
TeMoDance يشبه مدرب رقص ثنائي اللغة.
- يمكنه سماع الموسيقى والحفاظ على الإيقاع بشكل مثالي (الإيقاع).
- يمكنه قراءة تعليماتك النصية وتغيير الحركات وفقاً لذلك (التحكم).
- وهو يفعل كل هذا دون الحاجة إلى مكتبة ضخمة، مستحيلة الوجود، من الأمثلة المسجلة مسبقاً.
باخت-الاختصار، إنه يأخذ أفضل ما في عالمين منفصلين (الموسيقى-الرقص و النص-الحركة) ويدمجهما معاً حتى تتمكن أخيراً من قول: "ارقص على هذه الأغنية، ولكن تأكد من القيام بدورة عند اللازمة (اللازمة الموسيقية)"، وسوف يستمع إليك حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.