AniCrafter: Customizing Realistic Human-Centric Animation via Avatar-Background Conditioning in Video Diffusion Models
يُعد AniCrafter نموذجاً جديداً قائماً على الانتشار يتغلب على قيود الطرق الحالية المعتمدة على الهيكل من خلال تقديم آلية تكييف "الأفاتار-الخلفية"، مما يُمكّن من توليد رسوم متحركة واقعية متمحورة حول الإنسان ومدركة للاحتجاب ضمن خلفيات ديناميكية مفتوحة النطاق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول صنع فيلم حيث تخرج شخصية من صورة فوتوغرافية وتبدأ في الرقص في شارع مدينة مزدحم ومتحرك. في عالم علوم الحاسوب، هذه لغز صعب يسمى "توليد الفيديو". لفترة طويلة، كانت أجهزة الكمبيوتر بارعة في جعل الصور الثابتة تتحرك، أو على الأقل جعل الأشياء تتحرك في غرفة بسيطة وفارغة. ولكن عندما تحاول وضع شخص في فيديو واقعي ومعقد يحتوي على سيارات متحركة، وأشجار تتمايل، وإضاءة متغيرة، تصبح الأمور فوضوية. غالبًا ما يرتبك الكمبيوتر، مما يجعل الشخص يبدو كأنه شبح عائم أو ملصق مشوه لا يتناسب تمامًا مع المشهد.
لحل هذه المشكلة، يستخدم العلماء ما يسمى "نماذج انتشار الفيديو" (Video Diffusion Models). فكر في هذه النماذج كفنانين موهوبين للغاية قد شاهدوا الملايين من مقاطع الفيديو. هم لا يقومون بمجرد النسخ واللصق؛ بل يتعلمون "قواعد" كيفية عمل الضوء والظل والحركة. يمكنهم أخذ تلميح — مثل رسم لهيكل عظمي أو وضعية جسد — وتخيل فيديو كامل جديد بناءً عليه. ومع ذلك، فإن المحاولات السابقة لاستخدام هؤلاء الفنانين لوضع شخص محدد في خلفية جديدة غالبًا ما فشلت. كان الشخص يبدو متصلبًا، أو ملابسه لا تتحرك بشكل طبيعي، أو يبدو وكأنه مرسوم فوق المشهد بدلاً من كونه واقفًا فيه بالفعل. السؤال الكبير كان: كيف نجعل الكمبيوتر يفهم أن الشخص موجود داخل مشهد، ويتفاعل معه، وليس مجرد عائم فوقه؟
هنا يأتي دور AniCrafter، وهي أداة جديدة طورها باحثون في جامعة طوكيو ومؤسسات أخرى. فكر في AniCrafter كـ "محرك دمى رقمي" لا يكتفي بتحريك الشخصية فحًا، بل يعيد بناء علاقة الشخصية بالعالم من حولها. وجد الباحثون أن السر لا يكمن فقط في إخبار الكمبيوتر كيف يحرك الشخص، بل أيضًا في إعطائه "مسودة أولية" لما يجب أن يبدو عليه المشهد مع وجود الشخص فيه بالفعل.
إليك كيف فعلوا ذلك. بدلاً من مطالبة الذكاء الاصطناعي بتخمين الفيديو بأكمله من الصفر، قاموا أولاً ببناء "هيكل عظمي ثلاثي الأبعاد" للشخص باستخدام تقنية تسمى "التشتت الغاوسي ثلاثي الأبعاد" (3D Gaussian Splatting). تخيل التقاط صورة لشخص وتحويلها فورًا إلى سحابة من ملايين النقاط الثلاثية الأبعاد المتوهجة التي تحافظ على شكله. ثم جعلوا هذه السحابة ثلاثية الأبعاد ترقص على إيقاع الحركة المطلوبة. أنشأ هذا "فيديو أولي" حيث يتحرك الشخص بشكل صحيح، لكنه يبدو ضبابيًا بعض الشيء ويفتقر إلى التفاصيل الدقيقة للشعر أو القماش الحقيقي.
بعد ذلك، أخذوا هذا الفيديو الأولي ولصقوه على فيديو الخلفية الذي يريدون استخدامه. خلق هذا فيديو هجينًا غريبًا: الخلفية كانت مثالية، لكن الشخص بدا وكأنه نسخة ضبابية قليلة من نفسه بنموذج ثلاثي الأبعاد. هذه هي خدعة "الأفاتار والخلفية" (avatar-background). لقد أدخلوا هذا الفيديو الهجين في نموذج الذكاء الاصطناعي الخاص بهم وقالوا له: "أنت تعرف كيف تبدو الخلفية، وتعرف الشكل الأولي للشخص. الآن، يرجى إصلاح الشخص. اجعل شعره يتدفق بشكل طبيعي، واجعل ملابسه تتماوج مع الرياح، وتأكد من أن الإضاءة على بشرته تتناسب مع أضواء الشوارع في الخلفية".
تجادل الورقة البحثية بأن الطرق السابقة حاولت القيام بذلك عن طريق إعطاء الكمبيوتر وضعية هيكل عظمي فقط (مثل رجل العصا) والأمل في الحصول على نتيجة جيدة، أو من خلال محاولة بناء نموذج ثلاثي الأبعاد مثالي للشخص أولاً، وهو ما كان يبدو مزيفًا ومتصلبًا في كثير من الأحيان. AniCrafter يرفض تلك النهج؛ فهو يعامل المشكلة كعملية "ترميم". يبدأ بنسخة جيدة ولكن غير كاملة من المشهد ويستخدم عقل الذكاء الاصطناعي القوي لصقل التفاصيل.
النتائج مبهرة. في الاختبارات، تمكن AniCrafter من أخذ صورة لشخص وجعلها ترقص في فيديو مختلف تمامًا — مثل سوق صاخب أو حديقة عاصفة — مع الحفاظ على وجهه ليبدو تمامًا مثل الصورة الأصلية. لقد تعامل مع المواقف الصعبة حيث يسير الشخص خلف شجرة أو سيارة، مع التأكد من أن الشجرة تحجب جسم الشخص تمامًا كما ينبغي أن يحدث في الواقع. وعندما قارن الباحثون طريقتهم بأفضل الأدوات الموجودة، تفوق AniCrafter باستمرار بإنتاج فيديوهات تبدو أكثر واقعية، مع حركة أفضل وأخطاء تقنية أقل.
أحد الميزات الأكثر روعة هو كيفية تعامله مع الضوء. إذا التقطت صورة لشخص في حديقة مشمسة وحاولت وضعه في زقاق مظلم وممطر، فإن الطرق القديمة ستجعل الشخص يبدو وكأنه لا يزال واقفًا تحت الشمس. ومع ذلك، تعلم AniCrafter "إعادة إضاءة" الشخص. لقد أدرك أن الشخص يحتاج لأن يبدو أكثر قتامة وبللاً ليتناسب مع البيئة الجديدة، مما جعل الفيديو النهائي يبدو كأنها لحظة واحدة حقيقية التقطتها الكاميرا.
اختبر الباحثون هذه الأداة على آلاف الفيديوهات. ووجدوا أنه من خلال الجمع بين "المسودة ثلاثية الأبعاد الأولية" و"الخلفية المثالية"، يمكن للذكاء الاصطناعي تعلم ملء التفاصيل المفقودة — مثل الطريقة التي يرفرف بها الوشاح أو كيف يتحرك الشعر في الرياح — بشكل أفضل بكثير من ذي قبل. حتى أنهم أظهروا قدرته على التعامل مع أشخاص بأشكال أجسام مختلفة جدًا، وليس فقط الأشخاص ذوي الأجسام المتوسطة.
بينما تعد الأداة قوية، فإن المؤلفين صرحوا بصدق عن حدودها. حاليًا، لا يمكنها بعد إنشاء عالم ثلاثي الأبعاد كامل حيث يمكنك التجول حول الشخصية من أي زاوية؛ فهي لا تزال تركز على صنع فيديو مسطح يبدو حقيقيًا. ولكن بالنسبة للهدف المحدد المتمثل في جعل صورة ثابتة تنبض بالحياة في عالم ديناميكي ومتحرك، يقترح AniCrafter طريقًا جديدًا: لا تطلب من الكمبيوتر تخيل الشيء بأكمله؛ بل أعطه نقطة انطلاق جيدة واتركه يصلح التفاصيل. الأمر يشبه إعطاء نحات كتلة خشنة من الطين وطلب منه نحت التحفة النهائية، بدلاً من مطالبته ببناء الطين من لا شيء. تُظهر الورقة البحثية أن نهج "الإصلاح" هذا يعمل بشكل أفضل من محاولة بناء كل شيء من الصفر، مما يؤدي إلى فيديوهات تبدو حية حقًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.