FlowDance: Music-Driven Dance Video Generation with Parallel Pose and RGB Streams

لطالما تشارك الموسيقى والحركة حواراً عميقاً غير منطوق. فعندما يبدأ الإيقاع، غالباً ما يستجيب الجسد قبل أن يتمكن العقل من تسمية النبض. ولعقود من الزمن، حاول العلماء والمهندسون تعليم الحواسيب هذا الاتصال، آملين في ابتكار آلات يمكنها مشاهدة أغنية وابتكار رقصة تناسبها. ركزت المحاولات المبكرة على هيكل الحركة نفسها، حيث أنشأت شخصيات رقمية تشبه العصا يمكنها القفز والدوران تزامناً مع اللحن. وبينما استطاعت هذه الأنظمة توليد الأشكال الأساسية للحركة، إلا أنها لم تستطع تجسيد الشخص الذي يؤديها؛ فقد افتقرت إلى الوجه المحدد، والملابس الفريدة، والتفاصيل الدقيقة التي تجعل الراقص يبدو كإنسان حقيقي وليس مجرد مجموعة من الخطوط. لقد كان التحدي يكمن في سد الفجوة بين الفكرة المجردة للرقصة والواقع البصري لشخص محدد يتحرك على أنغام الموسيقى، كل ذلك مع الحفاظ على سلاسة الفيديو ومصداقيته من البداية إلى النهاية.

قام فريق من الباحثين الآن بتطوير نظام جديد يسمى "FlowDance" يعالج هذا التحدي من خلال تغيير طريقة تفكير الحاسوب في المهمة. فبدلاً من محاولة القيام بكل شيء في خطوة واحدة ضخمة أو تقسيم العملية إلى مراحل منفصلة وغير متصلة، يعمل النظام مع مسارين متوازيين من المعلومات يعملان جنباً إلى جنب. يركز أحد المسارين على بنية الحركة، حيث ينشئ فيديو مبسط لوضعية الراقص، بينما يركز المسار الآخر على المظهر البصري، حيث يولد الفيديو الفعلي للشخص. ويتواصل هذان المساران باستمرار أثناء إنشاء الفيديو؛ حيث يوجه المسار الهيكلي المسار البصري، مما يضمن تحرك أطراف الشخص بشكل صحيح، بينما يضمن المسار البصري بقاء وجه الراقص وملابسه ثابتين طوال المقطع. يسمح هذا النهج للنظام بتوليد فيديو يرقص فيه فرد معين بشكل طبيعي على أغنية، مع الحفاظ على هويته وتفاصيل زيه دون الأخطاء التي غالباً ما تعيب الطرق السابقة.

كانت المحاولات السابقة لحل هذه المشكلة تعتمد غالباً على سلسلة من الأدوات المنفصلة؛ حيث تخمن إحدى الأدوات الشكل ثلاثي الأبعاد للجسم، وتحاول أداة ثانية تسطيح ذلك الشكل في رسم ثنائي الأبعاد، ثم تستخدم أداة ثالثة ذلك الرسم لتلوين الفيديو النهائي. وقد وجد الباحثون أن الأخطاء في الخطوات الأولى تتراكم، مما يؤدي إلى فيديوهات قد تتمدد فيها أطراف الراقص فجأة، أو يتغير حجم جسمه، أو يبدو وجهه مشوهاً. وحاولت طرق أخرى القيام بكل شيء دفعة واحدة، عبر ربط الموسيقى وصورة فوتوغرافية مباشرة بفيديو، لكن هذا غالباً ما جعل الحركة متيبسة أو غير مقنعة لأن الحاسوب كان عليه حل الكثير من المشكلات المعقدة في آن واحد. يتجنب "FlowDance" هذه العثرات من خلال إبقاء الحركة وتوليد الصورة مرتبطين ولكن متميزين؛ فهو يستخدم نموذج فيديو مدرباً مسبقاً كقاعدة، ثم يضيف مساراً محدداً لتأثير الموسيقى على الوضعية، ومساراً آخر للحفاظ على مظهر وجه الراقص وجسمه كما في الصورة الأصلية.

لتدريب هذا النظام، قام الباحثون ببناء مجموعة كبيرة من فيديوهات الرقص من الإنترنت، واختاروا بعناية مقاطع تتميز بجودة عالية وتظهر شخصاً واحداً يرقص. لقد جمعوا أكثر من 165,000 مقطع قصير، طول كل منها خمس ثوانٍ، وأضافوا إليها تسميات توضيحية مفصلة. ولكل فيديو، سجلوا الموسيقى، وحركات الراقص في ثلاثة أبعاد، وزوايا الكاميرا، والمواقع الثنائية الأبعاد للمفاصل. هذه المجموعة من البيانات، التي أطلقوا عليها اسم "FlowDanceSet"، سمحت للحاسوب بتعلم العلاقة بين إيقاع الموسيقى والطريقة المحددة التي يتحرك بها جسم الإنسان، مع رؤية كيف يبدو شخص حقيقي أثناء القيام بذلك. تم بعد ذلك اختبار النظام على أغانٍ جديدة وراقصين جدد لم يسبق له رؤيتهم من قبل. وأظهرت النتائج أن "FlowDance" أنتج فيديوهات أكثر سلاسة وواقعية من الطرق الحالية الأخرى. وفي الاختبارات التي قارنت المخرجات بفيديوهات صنعتها أنظمة أخرى، فضل المراقبون البشريون باستمرار الفيديوهات التي صنعها "FlowDance"، مشيرين إلى أن الراقصين بدوا أكثر طبيعية، وأن الحركات كانت أكثر انسيابية، وأن الصلة بين الموسيقى والحركة كانت أقوى.

كما قدم النظام طريقة للتعامل مع الفيديوهات الأطول دون فقدان هوية الراقص. فكلما طال الفيديو، غالباً ما تواجه الحواسيب صعوبة في تذكر كيف كان شكل الشخص في الإطار الأول، مما يؤدي إلى "انزياح" حيث يتغير الوجه أو الملابس قليلاً بمرور الوقت. يحل "FlowDance" هذه المشكلة عن طريق تغذية الصورة الأصلية للراقص بشكل متكرر في النظام في نقاط مختلفة أثناء عملية الإنشاء. وهذا يحافظ على التفاصيل البصرية ثابتة في مكانها، مما يسمح للنظام بإنشاء تتابعات تستمر لعدة ثوانٍ مع الحفاظ على مظهر ثابت. ووجد الباحثون أن هذه الطريقة، جنباً إلى جنب مع المسارات المتوازية، سمحت لهم بإنشاء فيديوهات تظل فيها ملابس الراقص وشكل جسمه وملامح وجهه مستقرة حتى أثناء أدائه لحركات معقدة ونشطة. يوضح هذا العمل أنه من خلال فصل مهمة تخطيط الحركة عن مهمة رندرة (إخراج) الصورة، مع إبقائهما في تواصل مستمر، من الممكن إنشاء فيديوهات رقص دقيقة هيكلياً ومقنعة بصرياً.