🤖 AI

MusicInfuser: Making Video Diffusion Listen and Dance

تعد MusicInfuser طريقة فعالة تعمل على تكييف نماذج الانتشار من النص إلى الفيديو المدربة مسبقًا لإنتاج مقاطع فيديو لرقصات عالية الجودة ومتزامنة مع الموسيقى عبر الضبط الدقيق الانتقائي لطبقات محددة، مما يحقق تعميمًا قويًا وتزامنًا دون الحاجة إلى بيانات حركة أو موارد حوسبة مكثفة.

المؤلفون الأصليون: Susung Hong, Ira Kemelmacher-Shlizerman, Brian Curless, Steven M. Seitz

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Susung Hong, Ira Kemelmacher-Shlizerman, Brian Curless, Steven M. Seitz

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مدرب رقص موهوباً وعالمياً، قضى سنوات في مشاهدة ملايين الفيديوهات. هذا المدرب يعرف كيف يتحرك، وكيف يبدو مظهره جيداً، وكيف يتبع وصفاً نصياً مثل "راقص يرتدي زي طباخ". ولكن، هناك عقبة؛ هذا المدرب أصم تماماً. إذا عزفت له الموسيقى، فسيستمر في الرقص على إيقاعه الداخلي الخاص، متجاهلاً الإيقاع تماماً.

برنامج MusicInfuser هو الحل لهذه المشكلة. إنه برنامج حاسوبي جديد يعلّم هذا الذكاء الاصطناعي لصناعة الفيديو "الأصم" كيف يستمع ويرقص على أنغام الموسيقى، دون الحاجة إلى توظيف معلم جديد أو البدء من الصفر.

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

١. المشكلة: الفنان "الأصم"

تعد مولدات الفيديو الحالية (مثل تلك التي تسمى Mochi) مذهلة في إنشاء مرئيات بناءً على النصوص. إذا قلت لها "كلب يرقص على الشاطئ"، يمكنها فعل ذلك. ولكن إذا أضفت الموسيقى، فلن يتزامن الفيديو معها. قد يقوم الكلب برقصة "الفالس" البطيئة بينما تكون الأغنية موسيقى "روك" سريعة الإيقاع.

حاولت المحاولات السابقة لإصلاح ذلك بناء ذكاء اصطناعي جديد كلياً يفهم الصوت والرؤية معاً. لكن هذا يشبه محاولة بناء أوركسترا جديدة من الصفر بينما لديك بالفعل أوركسترا عالمية المستوى تجلس في الغرفة. إن الأمر مكلف وبطيء، وغالباً ما يؤدي إلى حركات متقطعة وغير طبيعية لعدم وجود بيانات كافية لتعليمها بشكل مثالي.

٢. الحل: "غرسة الأذن"

بدلاً من بناء ذكاء اصطناعي جديد، يأخذ MusicInfuser ذكاء اصطناعي للفيديو عالي الجودة الموجود بالفعل ويمنحه "آذاناً".

وحدة التصفير (Zero-Initialized Module): تخيل أنك تعلم طالباً العزف على البيانو. إذا أعطيته مفاتيح جديدة وثقيلة، فقد يشعر بالارتباك ويعزف النوتات الخاطئة فوراً. بدلاً من ذلك، يقوم MusicInfuser بإرفاق "أذن" خاصة بالذكاء الاصطناعي تبدأ صامتة تماماً (صفرية التهيؤ). في البداية، يتجاهل الذكاء الاصطناعي الموسيقى ويرقص على إيقاعه الخاص. ومع التدريب، تبدأ هذه "الأذن" في الاستيقاظ ببطء وتبدأ في الهمس بتعليمات للذكاء الاصطناعي: "مهلاً، لقد سقطت النغمة القوية للتو، در بسرعة!" أو "الموسيقى هادئة، تحرك بلطف".
"التمركز الذكي": لم يقم الباحثون فقط بإرفاق هذه الآذان في كل مكان. لقد اكتشفوا بالضبط أين يجب أن تتصل الموسيقى بالذكاء الاصطناعي. استخدموا اختباراً خاصاً للعثور على طبقات الذكاء الاصطناعي الأكثر حساسية للحركة والهيكل، وقاموا بتوصيل الموسيقى هناك. هذا يشبه ضبط الراديو على التردد الدقيق حيث تكون الإشارة أوضح، بدلاً من بث الضجيج عبر جميع السماعات.

٣. التدريب: التعلم من الواقع

عادةً ما تكون فيديوهات الرقص المستخدمة للتدريب جامدة جداً ومصورة في استوديو بخلفية بيضاء. الأمر يشبه تعلم الرقص في الصالة الرياضية فقط. تعلم MusicInfuser أيضاً من فيديوهات "الواقع المفتوح" (in-the-wild)—مقاطع رقص حقيقية من يوتيوب بخلفيات وإضاءات وزوايا كاميرا مختلفة. ساعد هذا الذكاء الاصطناعي على تعلم أن الراقص يمكن أن يبدو رائعاً حتى لو كانت الكاميرا مهتزة أو الإضاءة غريبة.

٤. النتائج: الاستماع والرقص

النتي نتيجة لذلك هي نظام يمكنه أخذ نص وصفي (مثلاً: "راقصة ترتدي فستاناً هاوائياً على الشاطئ") ومقطع موسيقي، وإنتاج فيديو حيث:

الحركات تطابق الإيقاع: تركل الراقصة، وتدور، وتقفز تماماً عندما تصدم الطبلة أو اللحن.
الأسلوب مرن: يمكنك تغيير النص لجعل الراقصة ترتدي بدلة رسمية أو ترقص في المطبخ، وستظل الموسيقى متزامنة بشكل مثالي.
سريع ورخيص: لأنهم لم يضطروا لإعادة بناء الذكاء الاصطناعي بالكامل، تمكنوا من تدريب هذه القدرة على "الاستماع" على بطاقة حاسوب واحدة في أقل من يوم.

ما يمكنه وما لا يمكنه فعله

يمكنه: توليد حركات رقص متنوعة لموسيقى غير مسبوقة (حتى الأنواع الجديدة مثل الكي-بوب)، وإنشاء فيديوهات لحيوانات ترقص، والتعامل مع الفيديوهات الطويلة. كما ينشئ تفاصيل واقعية مثل حركة الشعر وتدفق الملابس، وهو ما تفتقده طرق "الهيكل العظمي" القديمة (التي ترسم فقط رسوماً تخطيطية للأطراف).
لا يمكنه: لا يزال يرث بعض العيوب من الذكاء الاصطناعي الأصلي للفيديو. أحياناً، إذا تحرك الراقص بسرعة كبيرة، قد يرتبك الذكاء الاصطناعي بشأن الأصابع أو الوجه، أو قد يخطئ في تحديد مواقع أجزاء الجسم. كما أنه محدود بمدى قدرة الذكاء الاصطناعي الأصلي للفيديو على الظهور بشكل واقعي.

باختصار: MusicInfuser يشبه أخذ فنان بصري بارع لا يستطيع السمع، ومنحه سماعات رأس عالية التقنية، وتعليمه كيف يرقص على إيقاع الموسيقى، مع الحفاظ على أسلوبه الفني الأصلي سليماً.

ملخص تقني: MusicInfuser

بيان المشكلة

تنتج نماذج انتشار الفيديو مفتوحة المصدر الحالية في الغالب فيديوهات صامتة أو تلك التي تركز على الكلام، وتفتقر إلى القدرة على مزامنة الحركة مع مسارات موسيقية محددة. وبينما يستكشف بعض الأبحاث توليد الفيديو والصوت معاً، فإن تدريب مثل هذه النماذج من الصفر لهذا المجال المحدد وهو الرقص يمثل تحدياً بسبب ندرة مجموعات البيانات عالية الجودة والمحاذية للموسيقى. تعتمد طرق توليد الرقص الحالية غالباً على تمثيلات وسيطة مثل حركة الهيكل العظمي أو بيانات التقاط الحركة. تعاني هذه النهج من قيود: فهي مكلفة في الاقتناء، وعرضة لظواهر الطفو أو الارتجاف (jitter)، وغير كافية المعلمات (underparameterized) لنمط الرقص، حيث تفشل في التقاط التفاصيل الدقيقة مثل انحناء العمود الفقري، والدوران المحوري، وتمفصل اليد، وديناميكيات الشعر، وحركة الملابس. علاوة على ذلك، فإن توليد حركة متزامنة بشكل صحيح مع مسار موسيقي محدد مع الحفاظ على التحكم في الأسلوب والمظهر يظل أمراً صعباً.

المنهجية

يقترح MusicInfuser نهجاً لمواءمة نماذج انتشار تحويل النص إلى فيديو المدربة مسبقاً مع المدخلات الموسيقية دون الحاجة إلى التقاط الحركة أو إعادة البناء. تعمل هذه الطريقة على تكييف نماذج انتشار الفيديو الموجودة (تحديداً نموذج Mochi) لتوليد فيديوهات رقص عالية الجودة متزامنة مع مسارات موسيقية محددة، مع الحفاظ على قدرة النموذج على قبول التحكم في الأسلوب والمشهد عبر المطالبات النصية.

البنية الأساسية والتكيف

يقوم الإطار بحقن وحدات فيديو-موسيقى ذات تهيئة صفرية في كتل محول الانتشار (DiT) للنموذج المدرب مسبقاً.

الاهتمام المتقاطع ذو التهيئة الصفرية (ZICA): لتهيئة النموذج بناءً على الصوت، تُستخدم كتل ZICA. يتم تهيئة مصفوفة إسقاط المخرجات ( $W_O$ ) إلى الصفر، مما يضمن أن تعمل كتلة الاهتمام المتقاطع كدالة هوية في بداية التدريب. هذا يمنع الانحياز وعدم الاستقرار، مما يسمح للنموذج بدمج الميزات الصوتية تدريجياً مع تعلم $W_O$ أثناء التدريب.
المهايئات منخفضة الرتبة (LoRA): يُستخدم LoRA للتكيف مع المجال والحركة. وعلى عكس نماذج الصور القياسية، يستخدم المؤلفون تكوينات ذات رتب أعلى (على سبيل المثال، رتبة 64) لاستيعاب التبعيات الزمنية المطلوبة لحركة البشر المعقدة بشكل كافٍ.

استراتيجية اختيار الطبقات

إدراكاً منهم أن الضبط الدقيق لجميع الطبقات مكلف حوسبياً ويمكن أن يؤدي إلى تدهور قدرات إزالة الضجيج في النموذج المدرب مسبقاً (خاصة مع مجموعات البيانات المتخصصة المحدودة)، يقترح المؤلفون معيار قابلية التكيف على مستوى الطبقة.

بدلاً من البحث الشامل أو الاختيار الحدسي (مثل الطبقات الموزعة بالتساوي)، يستخدمون دالة تأثير بنائية مستوحاة من التوجيه.
تقيس هذه المعلمة التأثير الإيجابي للطبقة من خلال إجراء أخذ عينات موجه حيث يتم تخطي الطبقة ولكن تُستخدم لتوفير التوجيه (على غرار توجيه الاهتمام المضطرب).
يتم تحديد الطبقات التي تظهر أداءً أكبر عند استبعادها واستخدامها للتوجيه، حيث تكون أكثر ارتباطاً جوهرياً بالجودة الهيكلية والإدراكية. هذه هي الطبقات المختارة للتكيف، مما يحافظ على المعرفة المدربة مسبقاً مع إنشاء ارتباطات بين الموسيقى والحركة.

استراتيجيات التدريب

جدولة بيتا-يونيفورم (Beta-Uniform): للحفاظ على قدرة إزالة الضجيج للنموذج المدرب مسبقاً، يتطور توزيع ضجيج التدريب من توزيع بيتا (المركز على مستويات الضجيج المنخفضة) إلى توزيع منتظم. يسمح هذا للنموذج أولاً بتعلم المكونات الدقيقة الخاصة بالمهمة (تفاصيل الرقص) قبل ضبط الهيكل الأساسي للحركات، مما يمنع فقدان معرفة الفيزياء العامة.
استغلال البيانات: يتم تدريب النموذج على خليط من مجموعة بيانات AIST المقيدة وبيانات "في البرية" (in-the-wild) من يوتيوب. تقدم بيانات "في البرية" تنوعاً في مسارات الكاميرا، والإضاءة، والبيئات، مما يعمل كمنظم لمنع الإفراط في التخصيص (overfitting) لإعدادات الاستوديو المحددة.
تنويع المطالبات: لتقليل الاعتماد على الإشارات النصية وتشجيع الارتباط القوي بين الموسيقى والحركة، يتم استبدال جزء من التسميات التوضيحية التفصيلية بمطالبات أساسية بشكل عشوائي أثناء التدريب.

المساهمات الرئيسية

التكيف الفعال لنماذج انتشار الفيديو: يوضح كيف يمكن تكييف نماذج تحويل النص إلى فيديو المدربة مسبقاً بكفاءة مع المدخلات الموسيقية دون تدريب نموذج متعدد الوسائط من الصفر أو استخدام بيانات حركة وسيطة.
معيار القابلية للتكيف على مستوى الطبقة: يقدم مقياساً جديداً يعتمد على دالة تأثير بنائية لاختيار الطبقات المثلى لتكيف الاهتمام المتقاطع، مما يقلل تكاليف التدريب بشكل كبير مع الحفاظ على المعرفة السابقة الغنية.
الوحدات ذات التهيئة الصفرية: يقترح ZICA وLoRA عالي الرتبة لاستقرار التدريب والسماح بالدمج التدريجي للميزات الصوتية دون زعزعة استقرار فضاء إزالة الضجيج المدرب مسبقاً.
كفاءة التدريب: يحقق التدريب على وحدة معالجة رسومات واحدة خلال يوم واحد (حوالي 20 ساعة لـ 4,000 خطوة) باستخدام وحدة NVIDIA A100 واحدة.
إطار التقييم: يقدم إطار تقييم تلقائي باستخدام نماذج الفيديو اللغوية الكبيرة (VideoLLaMA 2 و Qwen3-Omni) لتقييم المحاذاة بين الفيديو والصوت واللغة معاً، وهو ما يتوافق جيداً مع الحكم البشري.

النتائج التجريبية

الأداء: يتفوق MusicInfuser على النماذج المرجعية (بما في ذلك MM-Diffusion و Mochi) في مقاييس جودة الرقص (محاذاة الأسلوب، محاذاة الإيقاع، واقعية الحركة، تعقيد الكوريغرافيا) ومقاييس جودة الفيديو (جودة التصوير، الاتساق العام).
التعميم: يعمم الأسلوب على مسارات موسيقية غير مرئية (بما في ذلك مسارات K-pop اصطناعية غير موجودة في توزيع التدريب)، وتسلسلات فيديو أطول (تصل إلى 9 ثوانٍ، عدة أضعاف طول التدريب)، ومواضيع غير تقليدية (مثل الحيوانات).
التحكم: يدعم النظام التحكم القائم على النص في أسلوب الرقص، والمكان، والملابس، وعدد الراقصين مع الحفاظ على التزامن الموسيقي.
الاستجابة: يستجيب النموذج ديناميكياً للميزات الموسيقية؛ حيث يؤدي تسريع أو إبطاء المدخلات الصوتية إلى تغييرات مقابلة في إيقاع الرقص وديناميكياته.
دراسات الاستئصال (Ablation Studies): تؤكد النتائج أن استراتيجية اختيار الطبقة المقترحة، وجدولة Beta-Uniform، وتهيئة ZICA هي عناصر حاسمة. تؤدي إضافة الميزات الساذجة (على غرار ControlNet) والتهيئة غير الصفرية لطبقات الاهتمام المتقاطع إلى أداء أدنى.

الأهمية والادعاءات

يزعم البحث أن MusicInfuser نجح في سد الفجوة بين توليد الموسيقى والفيديو للرقص دون بيانات حركة وسيطة. ومن خلال الاستفåدة من المعرفة الكوريغرافية الغنية المضمنة بالفعل في نماذج انتشار الفيديو المدربة مسبقاً، يولد النهج حركات رقص جديدة ومتنوعة وعالية الجودة تستجيب بشكل طبيعي للإيقاعات الموسيقية.

يؤكد المؤلفون أن طريقتهم توفر بديلاً مرناً للنهج القائم على الهيكل العظمي، حيث تلتقط التفاصيل البصرية (الشعر، الملابس، ديناميكيات الجسم) التي تغفلها التمثيلات الهيكلية. كما يؤكدون أن الإطار يتعمم بشكل جيد على الموسيقى والمواضيع غير المرئية، ويتفوق على النماذج المرجعية في الاتساق والتزامن، وكل ذلك مع كونه فعالاً حوسبياً بما يكفي للتدريب على وحدة معالجة رسومات واحدة في يوم واحد. يُقدم هذا العمل كخطوة نحو جعل نماذج انتشار الفيديو "تسمع وترقص"، مما يتيح توليد فيديو مدفوعاً بالموسيقى وقابلاً للتحكم.