Training-free Motion Factorization for Compositional Video Generation
تقترح هذه الورقة إطار عمل لتحليل الحركة (motion factorization) لا يتطلب تدريباً ومستقلاً عن النموذج، يقوم بتفكيك توليد الفيديو المعقد إلى فئات: السكون، والأجسام الصلبة، والأجسام غير الصلبة، من خلال نموذج "التخطيط قبل التوليد" لتخليق نماذج متنوعة بمظهر وحركة متحكم بهما.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مخرج سينمائي تحاول تصوير مشهد معقد باستخدام الكمبيوتر. تكتب أمراً (Prompt) مثل: "سيارة تمر بجانب علم يرفرف، بينما يقف مبنى أثري في الخلفية."
في الماضي، كانت مولدات الفيديو بالذكاء الاصطناعي تشبه المتدربين المتحمسين ولكن المرتبكين. كانوا يسمعون كلمات مثل "سيارة"، "علم"، و"مبنى"، لكنهم لم يفهموا تماماً كيف يجب أن يتحرك كل منها.
- قد يجعلون المبنى يتأرجح مثل الجيلي.
- قد يجعلون العلم صلباً كلوح خشب.
- أو قد يجعلون السيارة تطفو كأنها شبح.
تقدم هذه الورقة نظاماً جديداً يسمى "تجزئة الحركة" (Motion Factorization). فكر في الأمر كأنك وظفت مصمم رقصات ذكياً وطاقم تصوير متخصصاً لإصلاح هذه الفوضى. لا يحتاج النظام إلى إعادة تدريب (إنه "خالٍ من التدريب")؛ بل يستخدم مجموعة ذكية من القواعد لتنظيم الفوضى قبل صنع الفيديو حتى.
إليك كيف يعمل، مقسماً إلى خطوات بسيطة:
1. "مخطط الحركة" (سيناريو مصمم الرقصات)
قبل أن يبدأ الذكاء الاصطناعي في رسم الإطارات، يقوم أولاً بقراءة أمرك ويبني "مخطط حركة" (Motion Graph). تخيل هذا كأنه مخطط انسيابي أو سيناريو لمسرحية.
- المشكلة: كلمة "تقود" أو "تمر" غامضة. هل تدور السيارة؟ هل تهتز؟
- الحل: يستخدم النظام نموذج لغة ضخماً (مثل عقل روبوت فائق الذكاء) لتفكيك جملتك إلى خريطة مهيكلة.
- المبنى: يرى كلمة "يقف" ويصنفها على أنها "عديمة الحركة". (مثل التمثال).
- السيارة: يرى كلمة "تقود" ويصنفها على أنها "حركة صلبة". (مثل صندوق صلب ينزلق عبر الأرضية).
- العلم: يرى كلمة "يرفرف" ويصنفها على أنها "حركة غير صلبة". (مثل قطعة قماش ترفرف في الريح).
هذه الخطوة تحل الارتباك. الآن يعرف الذكاء الاصطناعي بالضبط نوع الحركة التي يحتاجها كل جسم قبل أن يرسم بكسلاً واحداً.
2. "التوجيه المنفصل" (طاقم التصوير المتخصص)
بمجرد كتابة السيناريو، يرسل النظام التعليمات إلى ثلاثة "أطقم متخصصة" للتعامل مع عملية توليد الفيديو الفعلية. وبدلاً من إعطاء الجميع نفس التعليمات، فإنه يصيغها خصيصاً لكل منهم:
الطاقم (أ): المرتكزات (للأجسام عديمة الحركة)
- المهمة: الحفاظ على ثبات المبنى تماماً.
- التشبيه: تخيل أن المبنى لوحة معلقة على الحائط. هذا الطاقم يضمن ألا تومض اللوحة، أو تهتز، أو يتغير لونها من إطار إلى آخر. إنهم "يرتكزون" الصورة لتبدو مستقرة.
الطاقم (ب): المنزلقون الصلبون (للأجسام المتحركة)
- المهمة: تحريك السيارة.
- التشبيه: تخيل أن السيارة قطعة "ليجو" صلبة. هذا الطاقم يقوم بتزليق القطعة عبر الشاشة. إنهم يضمنون ألا تتمدد قطعة الليجو، أو تنضغط، أو تتحول إلى كتلة هلامية. تظل سيارة مثالية الشكل، فقط في مكان مختلف.
الطاقم (ج): الفنانون المرنون (للأجسام المتموجة)
- المهمة: جعل العلم يرفرف.
- التشبيه: تخيل أن العلم مصنوع من الحرير المبلل. هذا الطاقم يسمح للبكسلات بالتمايل، والتمدد، والالتواء. هم لا يجبرون العلم على البقاء صلباً؛ بل يتركونه يتدفق بشكل طبيعي مثل القماش في الريح.
3. النتيجة
من خلال فصل التعليمات بهذه الطريقة، يبدو الفيديو النهائي أكثر واقعية بكثير.
- يبقى المبنى راسخاً تماماً.
- تسير السيارة بسلاسة دون أن تتحول إلى بركة ذائبة.
- يرفرف العلم بشكل واقعي.
لماذا يعد هذا أمراً هاماً؟
تحاول معظم أدوات الفيديو بالذكاء الاصطناعي تعلم كل شيء في وقت واحد، مما يؤدي غالباً إلى "ضبابية الحركة" حيث يبدو كل شيء وكأنه يتحرك بنفس الطريقة. تقول هذه الورقة: "توقفوا عن محاولة تعلم كل شيء دفعة واحدة. فقط صنفوا الحركة أولاً، ثم طبقوا القاعدة المناسبة لكل جسم."
إنه يشبه الفرق بين حفلة رقص فوضوية حيث يصطدم الجميع ببعضهم البعض، وبين عرض باليه متقن حيث يعرف الراقصون تماماً متى يقفون ساكنين، ومتى ينزلقون، ومتى يدورون.
باختاً: تمنح هذه الورقة الذكاء الاصطناعي "شرطي مرور" لتوليد الفيديو، حيث يوجه الأجسام المختلفة لاتباع قواعد الفيزياء المناسبة، مما ينتج فيديوهات منطقية بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.