WildActor: Unconstrained Identity-Preserving Video Generation
تقدم هذه الورقة البحثية WildActor، وهو إطار عمل لتوليد فيديوهات بشرية غير مقيدة مع الحفاظ على الهوية، يستفيد من مجموعة بيانات Actor-18M واسعة النطاق وآليات انتباه مبتكرة للتغلب على القيود الحالية في الحفاظ على ثبات هويات الجسم الكامل عبر اللقطات الديناميكية، وزوايا الرؤية، والحركات المختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مخرج سينمائي. لديك ممثل نجم، لنسمّه "أليكس". تريد تصوير مشهد حيث يمشي أليكس عبر غابة، ثم يتسلق جبلاً، ثم يستدير ليواجه الكاميرا.
في العالم الحقيقي، أليكس هو الشخص نفسه طوال الوقت. وجهه، ملابسه، وشكل جسده يظلون ثابتين، بغض النظر عن حركة الكاميرا.
لكن في عالم توليد الفيديو بالذكاء الاصطوي، يعد هذا كابوساً. تعاني النماذج الحالية من مشكلتين رئيسيتين:
- تأثير "الرأس العائم": يحصل الذكاء الاصطناعي على الوجه بشكل صحيح، لكن الجسد يبدو كأنه هلوسة أو تتغير ملابسه عشوائياً.
- تأثير "المانيكان" (التمثال): يقوم الذكاء الاصطناعي بتثبيت الشخصية في وضعية جامدة. إذا طلبت من الشخصية أن تستدير، يقوم الذكاء الاصطناعي بمجرد لصق نفس الصورة مراراً وتكراراً، أو تتجمد الشخصية لأنها "تخشى" الحركة.
إليك "WILDACTOR". فكر في هذا كأنه مخرج ثوري ومكتبة ضخمة من الصور المرجعية التي تحل هذه المشكلات.
إليك شرح بسيط لكيفية عمله، باستخدام تشبيهات من الحياة اليومية:
1. مكتبة الصور الضخمة (Actor-18M)
لتعليم الذكاء الاصطناعي كيف يكون ممثلاً جيداً، تحتاج إلى إطلاعه على آلاف الأمثلة لهذا الممثل من كل الزوايا الممكنة.
- المشكلة: معظم مجموعات البيانات الموجودة حالياً تشبه ألبوم صور حيث يلتقط الجميع صور "سيلفي" فقط. الذكاء الاصطناعي يعرف فقط كيف يبدو الشخص من الأمام. وعندما يُطلب منه إظهار ظهر الشخص، فإنه يخمن ويخطئ.
- الحل: قام المبتكرون ببناء Actor-18M، وهي مكتبة ضخمة تحتوي على 1.6 مليون فيديو و18 مليون صورة.
- التشبيه: تخيل أنك تحاول تعليم روبوت كيف يرسم صديقك. بدلاً من مجرد إظهار صورة "سيلفي" واحدة له، أنت تعطيه جلسة تصوير بزاوية 360 درجة، بالإضافة إلى صور لصديقك في المطر، وفي الشمس، وهو يرتدي قبعة، وهو يتسلق سلماً. تتضمن هذه المجموعة مشاهد "معيارية" (الأمام، الجانب، الخلف) ومشاهد "عشوائية" (أي زاوية مجنونة). هذا يعلم الذكاء الاصطناي أن "أليكس" هو نفس الشخص سواء كان يواجه اليسار، أو اليمين، أو حتى مقلوباً رأساً على عقب.
2. "الطريق ذو الاتجاه الواحد" للانتباه (Asymmetric Identity-Preserving Attention)
يحتاج نموذج الذكاء الاصطناعي إلى دمج شيئين: القصة (ما تفعله الشخصية) و الهوية (من هي الشخصية).
- المشكلة: عادةً ما تعامل نماذج الذكاء الاصطناعي هذين الأمرين بالتساوي. الأمر يشبه محاولة إجراء محادثة حيث يصرخ كلا الشخصين في نفس الوقت. "الهوية" (الصورة الثابتة) تصبح صاخبة جداً لدرجة أنها تطغى على "القصة" (الحركة)، مما يسبب "تأثير المانيكان" حيث لا تستطيع الشخصية التحرك.
- الحل: يستخدم WILDACTOR آلية خاصة تسمى الانتباه غير المتماثل (Asymmetric Attention).
- التشبيه: تخيل مخرجاً (توليد الفيديو) ومصمم أزياء (مرجع الهوية).
- في النماذج القديمة، كان مصمم الأزياء يصرخ: "ارتدِ هذه القبعة!"، فيتجمد المخرج غير قادر على تحريك الممثل.
- في WILDACTOR، العلاقة هي طريق ذو اتجاه واحد. مصمم الأزياء يهمس بتفاصيل الوجه والملابس في أذن المخرج. يستمع المخرج بعناية للحفاظ على المظهر متسقاً، لكن المخرج حر في تحريك الممثل حول موقع التصوير. التفاصيل "الثابتة" لا تعيق الحركة "الديناميكية".
3. "طاقم الكاميرا الذكي" (Viewpoint-Adaptive Sampling)
عند تدريب الذكاء الاصطناعي، يجب عليك اختيار الصور التي تعرضها له.
- المشكلة: إذا اخترت الصور عشوائياً، فقد تختار بالخطأ 10 صور لوجه الشخص من الأمام وصفر صورة من الخلف. سيتعلم الذكنا الاصطناعي أن "الأمام" هو الطريقة الوحيدة لوجود الشخص.
- الحل: يستخدمون استراتيجية Viewpoint-Adaptive Monte Carlo Sampling.
- التشبيه: تخيل طاقم كاميرا يصور جلسة تدريبية. إذا استمرت الكاميرا في تصوير الممثل من الأمام، سيشعر الممثل بالملل ويصبح الطاقم كسولاً.
- لدى "طاقم الكاميرا الذكي" الخاص بـ WILDACTOR قاعدة: "إذا صورنا الممثل للتو من الأمام، يجب أن ننتقل إلى الجانب أو الخلف في اللقطة التالية".
- إنه يتجنب بنشاط التقاط الكثير من الصور المتشابهة. إنه يجبر الذكاء الاصطناعي على تعلم كيف يبدو الشخص من كل زاوية، مما يضمن أن الشخصية لن تبدو غريبة عندما تستدير.
4. "بطاقات الأسماء" (I-RoPE)
داخل عقل الذكاء الاصطناعي، يتم تقسيم كل شيء إلى قطع صغيرة تسمى "توكنز" (Tokens).
- المشكلة: يصاب الذكاء الاصطناعي بالارتباك بين "أجزاء الفيديو المتحركة" و "أجزاء المرجع الثابتة". الأمر يشبه أمين مكتبة يضع جميع الكتب على نفس الرف دون ملصقات، بحيث لا يمكنه التمييز بين نص سينمائي وبين صورة فوتوغرافية.
- الحل: يستخدمون I-RoPE (ترميز الموضع الدوار المدرك للهوية).
- التشبيه: هذا يشبه إعطاء صور "الهوية" بطاقة اسم خاصة أو رفاً بلون مختلف. الآن يعرف الذكاء الاصطناعي: "أوه، هذا التوكن هو الوجه الثابت (لا تحركه)، وهذا التوكن هو الساق التي تمشي (حركها!)". هذا يمنع الذكاء الاصطناعي من الخلط بين وجه الشخصية وحركتها.
النتيجة
عندما تجمع كل هذه القطع معاً، يمكن لـ WILDACTOR إنشاء فيديوهات حيث:
- يمكن للشخصية أن تمشي، تركض، وتستدير.
- يمكن للكاميرا أن تقترب (Zoom)، أو تطير حول المشهد، أو تغير الزوايا.
- يظل وجه الشخصية، وملابسها، وشكل جسدها متسقاً تماماً طوال الفيديو بأكمله.
إنه يشبه امتلاك ممثل رقمي لا ينسى نصه أبداً، ولا يفقد زيه أبداً، ويمكنه أداء أي حركة بهلوانية تطلبها منه، بغض النظر عن مدى جنون حركة الكاميرا. هذه خطوة كبيرة نحو جعل الأفلام المولدة بالذكاء الاصطناعي تبدو حقيقية واحترافية حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.