Cinematic Compositing Using Character-Environment-Harmonized Video Generation Models
تقترح هذه الورقة إطار عمل لانتشار الفيديو من طرف إلى طرف يحقق تركيباً سينمائياً عالي الجودة من خلال النمذجة المشتركة للتفاعلات الفيزيائية بين الشخصية والبيئة وتناغم الإضاءة بين البيئة والشخصية عبر بنية موجهة بثلاثة أقنعة، وإزالة ضجيج مشتركة لبيانات RGB-D، وآلية مشروطة بمرجع.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مخرج في موقع تصوير سينمائي، ولكن بدلاً من بناء قلعة ضخمة ومكلفة أو مدينة مستقبلية، لديك شاشة خضراء وممثل موهوب. إن سحر صناعة الأفلام يكمن غالباً في "التركيب" (compositing) — وهو فن دمج الممثل في عالم جديد تماماً. لعقود من الزمن، كانت هذه العملية تشبه حل لغزاً فوضوياً؛ فالطرق التقليدية كانت قادرة على قص الممثل من الخلفية الخضراء ولصقه في مشهد جديد، لكنها كانت تعاني مع "الغراء غير المرئي" الذي يربط الواقع ببعضه: الضوء والفيزياء. إذا سار الممثل داخل كهف مظلم، لم تكن الطرق القديمة قادرة على جعل وجهه يبدو مظلماً؛ وإذا اتكأ على جدار، فإن الجدار لن يتفاعل مع وزنه. كان الأمر يشبه وضع ملصق على لوحة؛ الملصق يبقى مسطحاً وساطعاً، متجاهلاً العالم من حوله.
ولإصلاح ذلك، يستخدم العلماء الآن "نماذج انتشار الفيديو" (video diffusion models)، وهي نوع من الذكاء الاصطناعي الذي يتعلم توليد الفيديو عن طريق البدء بضجيج عشوائي وتنظيفه ببطء حتى تظهر صورة واضحة، تماماً مثل النحات الذي ينحت من الحجر ليكشف عن تمثال. هذه النماذج أصبحت بارعة في إنشاء مشاهد كاملة من الصفر. ومع ذلك، كان التحدي الكبير هو جعل الممثل والعالم الجديد "يتحدثان" مع بعضهما البعض. يجب على الممثل أن يلقي ظلاً على الأرضية الجديدة (تفاعل فيزيائي)، ويجب أن ينعكس ضوء الغرفة الجديدة على بشرة الممثل (تفاعل إضاءة). إذا أخطأ الذكاء الاصطناعي في ذلك، سيبدو المشهد مزيفاً، مثل شخصية لعبة فيديو ملصقة في صورة حقيقية. هذه هي المشكلة التي يعالجها بحث جديد: كيف نجعل الممثل والبيئة يرقصان معاً بانسجام تام، بدلاً من مجرد الوقوف بجانب بعضهما البعض.
قام الباحثون وراء هذا البحث، تياني شيانغ وفريقه، ببناء إطار عمل جديد للذكاء الاصطناعي يعمل مثل محرك الدمى الماهر لكل من الممثل والمشهد. فبدلاً من معاملة الممثل والخلفية كشيئين منفصلين ليتم لصقهما معاً، يقوم نظامهم بتوليدهما في وقت واحد، مما يضمن تفاعلهما مع بعضهما البعض في الوقت الفعلي. هم يسمون هذا "التفاعل ثنائي الاتجاه" (bidirectional interaction). في أحد الجوانب، يؤثر الممثل على العالم (C2E): إذا أمسك الممثل بأداة، يعرف الذكاء الاصطناعي كيفية الحفاظ على شكل الأداة مع تغيير لونها ليتناسب مع ضوء الغرفة الجديدة. وفي الجانب الآخر، يؤثر العالم على الممثل (E2C): إذا كان المشهد الجديد عبارة عن غرفة مظلمة مضاءة بالشموع، يقوم الذكاء الاصطناعي تلقائياً بتعتيم وجه الممثل وإضافة انعكاسات برتقالية دافئة، تماماً كما يفعل الضوء الحقيقي.
ولإنجاح ذلك، ابتكر الفريق نظام "القناع الثلاثي" (tri-mask) الذكي. تخيل إشارة مرور لتركيز انتباه الذكاء الاصطناي. الضوء الأحمر يخبر الذكاء الاصطناعي بالحفاظ على وجه الممثل والأشياء الحقيقية تماماً كما هي، مع تغيير الإضاءة فقط. الضوء الأصفر يخبره بالحفاظ على شكل الشيء (مثل مكان مخصص لسيف أخضر) ولكن إعادة طلاءه بالكامل ليبدو كسيف حقيقي. أما الضوء الأخضر فيخبره بابتكار شيء جديد تماماً، مثل كرة بلورية عائمة لم تكن موجودة من قبل. يتيح ذلك للنظام التعامل مع الأدوات الحقيقية، والأدوات المزيفة، والأدوات الخيالية جميعها في آن واحد دون ارتباك.
كما يشير البحث أيضاً إلى أن الطرق السابقة كانت تفشل غالباً لأنها تحاول القيام بالعمل في خطوتين منفصلتين: أولاً، توليد خلفية، ثم محاولة إصلاح الإضاءة على الممثل. يجادل المؤلفون بأن هذا النهج "المتتالي" (cascaded) يشبه محاولة طلاء جدار ثم محاولة طلاء شخص يقف أمامه دون السماح للطلاء بالتساقط على الشخص. هذا يؤدي إلى أخطاء حيث يبدو الممثل وكأنه يطفو، أو لا تتطابق الظلال. بدلاً من ذلك، يقوم هذا الإطار الجديد بكل شيء في خطوة واحدة، باستخدام عملية "إزالة ضجيج مشتركة" (joint denoising). فكر في الأمر كأن الذكاء الاصطناعي يتعلم رسم الممثل والخلفية في نفس الوقت، باستخدام خريطة خاصة للعمق (مدى بعد الأشياء) للتأكد من أن يد الممثل تلمس الطاولة بالفعل وتلقي الظل الصحيح.
لتعليم هذا الذكاء الاصطناعي، لم يستطع الباحثون تصوير ممثلين في كل ظروف الإضاءة الممكنة، لأن ذلك سيكون مكلفاً وبطيئاً للغاية. بدلاً من ذلك، أنشأوا مسار بيانات ذكياً؛ حيث أخذوا فيديوهات موجودة واستخدموا أدوات ذكاء اصطناعي أخرى لمحاكاة سيناريوهات إضاءة مختلفة، مما خلق فعلياً آلاف الجلسات التدريبية حيث يتم "إعادة إضاءة" الممثل في استوديو افتراضي. قاموا بتصفية هذه المحاكاة للاحتفاظ فقط بالأكثر واقعية، مما ضمن تعلم الذكاء الاصطناعي من أمثلة عالية الجودة دون الحاجة إلى طاقم تصوير ضخم.
عندما اختبروا نظامهم، كانت النتائج مبهرة. في مقارنة مباشرة مع الطرق الأخرى، كان نهجهم هو الفائز بوضوح؛ فقد حافظ على هوية الممثل بشكل أفضل، وجعل الإضاءة تبدو أكثر طبيعية، وصنع خلفيات تتطابق مع نصوص القصة بدقة أكبر. وفي دراسة مستخدمين حيث صوت الناس على أفضل الفيديوهات، تم اختيار طريقتهم من قبل أكثر من 60% من المشاركين من حيث الجودة الإجمالية، متفوقة بفارق كبير على الخيار التالي الأفضل. يشير البحث إلى أن هذا النهج الموحد يمثل خطوة كبيرة للأمام، ويثبت أنه عندما تسمح للممثل والبيئة بالتعلم والتفاعل معاً، فإن النتيجة تكون تجربة سينمائية تبدو حقيقية حقاً، وليست مجرد خدعة ذكية. ومع ذلك، يشير المؤلفون إلى أن نظامهم الحالي لا يزال لديه حدود؛ فهو لا يستطيع حتى الآن التعامل مع فيديوهات بدقة 4K فائقة الوضوح أو أفلام طويلة جداً، مما يشير إلى أنه بينما يعمل السحر، إلا أن المحرك لا يزال بحاجة إلى مزيد من القوة للتعامل مع أضخم إنتاجات هوليوود.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.