Motion-Aware Multimodal Music Recommendation from Human Dance Dynamics
تقترح هذه الدراسة إطار عمل متعدد الوسائط يستفيد من ديناميكيات حركة الرقص البشري، المستخرجة من معالم الوضعية في فيديوهات الرقص، لتعزيز التوصية الشخصية بالموسيقى عبر مواءمة المسارات المقترحة بشكل أفضل مع التفضيلات الإيقاعية المتجسدة والحالات العاطفية للمستخدمين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
على مدى عقود، اعتمدت الطريقة التي تقترح بها أجهزة الكمبيوتر الموسيقى على الناس على ما يقول هؤلاء الناس إنهم يحبونه. تبحث الخوارزميات في تاريخ استماعهم، والأغاني التي يقيمونها تقييماً عالياً، أو قوائم التشغيل التي ينشئونها، محاولةً تخمين مساحتهم المفضلة التالية بناءً على خياراتهم السابقة. وبينما تنجح هذه الطريقة بشكل جيد للكثيرين، إلا أنها تغفل جزءاً جوهرياً من كيفية تجربة البشر للموسيقى: الجسد. فالموسيقى والحركة مرتبطان ارتباطاً وثيقاً في الثقافة الإنسانية؛ فنحن نضرب بأقدامنا، أو نتأرجح، أو نحرك أجسادنا بالكامل بشكل غريزي استجابةً للإيقاع والسرعة. ومع ذلك، نادراً ما تأخذ أنظمة التوصية القياسية هذا التفاعل الجسدي في الاعتبار؛ فهي تعامل الموسيقى كشيء يُسمع، وليس كشيء يُشعر به ويُعبر عنه من خلال الحركة. وتترك هذه الفجوة سؤالاً دون إجابة: هل يمكن للكمبيوتر أن يتعلم التوصية بالموسيقى من خلال مراقبة كيفية تحرك الشخص، بدلاً من سؤاله عما يريد سماعه؟
لقد شرع فريق من الباحثين في استكشاف هذا الاحتمال من خلال بناء نظام يشاهد فيديوهات الرقص لاقتراح الموسيقى المناسبة. يركز عملهم على العلاقة بين الطريقة المحددة لتحرك جسد الشخص والخصائص الموسيقية للأغنية التي تصاحب تلك الحركة. وبدلاً من الاعتماد على التغذية الراجعة الصريحة للمستخدم أو قاعدة بيانات من التقييمات السابقة، يقوم النظام بتحليل الديناميكيات الفيزيائية لأداء الرقص. فهو يبحث في مواضع مفاصل الراقص بمرور الوقت والخصائص الصوتية للموسيقى لإيجاد أنماط تربط أساليب معينة من الحركة بأنواع محددة من الصوت. والهدف هو معرفة ما إذا كان بإمكان الكمبيوتر ربط أسلوب الرقص بشريكه الموسيقي المثالي، مما يعكس العملية المعتادة لإيجاد رقصة لأغنية ما.
ولاختبار هذه الفكرة، جمع الباحثون مجموعة من فيديوهات الرقص التي تمثل خمسة أساليب متميزة: الباليه، والهيب هوب، والسالسا، والرقص المعاصر، ورقص التاب (الرقص بالقدمين). لم يقوموا بتصوير راقصين جدد بأنفسهم؛ بل استخدموا فيديوهات متاحة للجمهور من الإنترنت، واختاروا بعناية مقاطع تظهر الراقصين بوضوح من الأمام مع حد أدنى من العوائق. ومن هذه الفيديوهات، استخرجوا نوعين من المعلومات. أولاً، استخدموا أداة رؤية حاسوبية لرسم خريطة لجسم الراقص، وتحديد ثلاث وثلاثين نقطة رئيسية على الهيكل العظمي، مثل المرفقين والركبتين والكتفين، في كل إطار من إطارات الفيديو. خلق هذا هيكلاً عظمياً رقمياً يتحرك مع الراقص. ومن هذه النقاط المتحركة، حسب النظام المسافات بين المفاصل والزوايا التي شكلتها، محولاً الرقص المعقد إلى مجموعة من الأرقام التي تصف الحركة.
ثانياً، حلل الباحثون المسار الصوتي من كل فيديو. قاموا بتحويل الصوت إلى تمثيل مرئي لتردداته، مع التركيز على إيقاع وطاقة ونغمة الموسيقى. ومن خلال الجمع بين الأرقام التي تصف حركة الجسم والأرقام التي تصف الصوت، أنشأوا ملفاً تعريفياً واحداً مفصلاً لكل مقطع رقص. التقط هذا الملف الجوهر البصري والسمعي للأداء. ثم قام الفريق بتغذية هذه البيانات في نوع من الذكاء الاصطناعي المصمم لفهم تسلسل الأحداث. وخلافاً للبرامج القياسية التي تنظر إلى البيانات في اتجاه واحد، نظر هذا النظام إلى تسلسلات الرقص والموسيقى للأمام وللخلف. سمح هذا بفهم سياق الحركة، ورؤية كيف ترتبط وضعية ما في لحظة معينة بالخطوات التي سبقتها والتي تلتها، تماماً كما يفهم الإنسان الجملة من خلال قراءتها من البداية إلى النهاية ثم التأمل في الفكرة بأكملها.
درب الباحثون هذا النظام على التعرف على أساليب الرقص الخمسة بناءً على بيانات الحركة والصوت المشتركة. وعندما اختبروا النظام، أثبت فعالية ملحوقة في التمييز بين الأساليب المختلفة. كانت النسخة الأكثر نجاحاً من النموذج، والتي استخدمت بيانات الحركة وبيانات الصوت معاً، قد حددت أسلوب الرقص بشكل صحيح في أكثر من واحد وتسعين بالمائة من حالات الاختبار. كان هذا الأداء أفضل بكثير من النماذج التي اعتمدت على الحركة فقط أو الصوت فقط. على سبيل المثال، النظام الذي نظر فقط إلى حركات جسم الراقص دون الموسيقى واجه صعوبة في إجراء تمييزات دقيقة، حيث حقق دقة تقل عن النصف. وبالمثل، النظام الذي تجاهل الحركة واستمع فقط إلى الموسيقى أدى بشكل جيد، ولكن ليس بقدر النهج المشترك. يشير هذا إلى أنه بينما تحمل الموسيقى نفسها أدلة قوية حول أسلوب الرقص، فإن الطريقة التي يتحرك بها الجسم توفر معلومات أساسية ومكملة تزيد من دقة فهم الكمبيوتر.
كما قارنت الدراسة نظامهم المتقدم بالطرق التقليدية الأبسط وأنواع أخرى من الذكاء الاصطناعي. تفوق النموذج المشترك على أدوات تعلم الآلة القياسية وحتى الشبكات العصبية المعقدة الأخرى التي لا تنظر إلى البيانات في الاتجاهين الأمامي والخلفي. وجد الباحثون أن القدرة على رؤية التسلسل الكامل للحركة والصوت من كلا الطرفين كانت حاسمة لالتقاط الروابط الدقيقة طويلة المدى بين إيماءة الراقص وإيقاع الموسيقى. وفي اختباراتهم، أظهر النظام مستوى عالياً من الدقة، مما يعني أنه عندما قدم توصية، فإنه كان صحيحاً في معظم الأحيان. كما أظهر مستوى عالياً من الاكتمال، حيث نجح في تحديد المطابقة الموسيقية الصحيحة لكل أسلوب رقص تقريباً في مجموعة البيانات.
وعلى الرغم من أن النتائج كانت قوية، فقد لاحظ الباحثون أن النظام ليس مثالياً. كانت هناك بعض الحالات التي خلط فيها الكمبيوتر بين أسلوب وآخر، خاصة مع الحركات الأكثر دقة أو تعقيداً مثل رقص التاب أو الرقص المعاصر. يشير هذا إلى أنه بينما تعلم النظام القواعد العامة لكيفية ارتباط هذه الرقصات بالموسيقى، إلا أنه لا تزال هناك مساحة للتحسين، ربما من خلال تدريبه على مجموعة أوسع من العروض. كما سلطت الدراسة الضوء على أن النظام يعمل من خلال تعلم العلاقة بين الحركة والموسيقى، بدلاً من مجرد حفظ خطوات الرقص. وهذا يعني أن النهج يمكن استخدامه لتوصية الموسيقى لراقص يؤدي أسلوباً لم يره الكمبيوتر من قبل، طالما أن أنماط الحركة تشترك في سمات مع ما تعلمه.
في النهاية، يوضح هذا العمل أن الحركة البشرية هي إشارة قوية لفهم التفضيل الموسيقي. من خلال تعليم الكمبيوتر كيفية مراقبة تحرك الجسد في وقت يتوافق مع أغنية، خلق الباحثون طريقة جديدة لربط الرقص والموسيقى. وتشير النتائج إلى أن أنظمة التوصية الموسيقية المستقبلية يمكن أن تتجاوز مجرد تاريخ الاستماع البسيط لتشمل السلوك البدني، مما يوفر اقتراحات تتماشى مع التجربة المتجسدة للمستخدم للإيقاع والطاقة. لا يحل النظام محل الذوق البشري، ولكنه يقدم عدسة جديدة يمكن من خلالها رؤية الاتصال العميق والطبيعي بين الموسيقى التي نسمعها والطريقة التي نتحرك بها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.