UniWorld-View: Large-Baseline View Synthesis via Video Diffusion Models

تخيل أنك تمسك بهاتف ذكي، وتصور مقطع فيديو سريعًا لغرفة معيشتك بينما تتحرك في أرجائها. الآن، تخيل خدعة سحرية حيث يمكنك نقل ذلك الفيديو فورًا إلى زاوية مختلفة تمامًا—على سبيل المثال، يطفو بالقرب من السقف أو يطل من نافذة لم تصورها أبدًا—وترى الغرفة من ذلك الموقع الجديد بوضوح تام. هذا هو حلم "تخليق المنظور الجديد" (novel view synthesis)، وهو مجال في علوم الحاسوب يحاول تعليم الآلات كيفية فهم الفضاء ثلاثي الأبعاد من صور مسطحة ثنائية الأبعاد. لفترة طويلة، كانت الحواسيب سيئة جدًا في هذا الأمر؛ فإذا طلبت منها تخمين ما يوجد خلف كرسي في صورة ما، غالبًا ما تخمن بشكل خاطئ، مما يؤدي إلى إنشاء كتل غريبة وممتدة أو ثقوب غير مرئية. لقد كانت إما بحاجة إلى مئات الصور الملتقطة من كل زاوية (وهو أمر ممل وصعب التنفيذ) أو حاولت "هلوسة" الأجزاء المفقودة، مما أدى غالبًا إلى كوابيس هندسية حيث تنحني الجدران مثل المطاط. ولكن ماذا لو استطعنا الجمع بين أفضل ما في العالمين: القواعد الصارمة للهندسة (لتبقى الجدران مستقيمة) مع القدرة الإبداعية للذكاء الاصطناست الحديث (لتبدو الأجزاء المفقودة حقيقية)؟ هذا هو السؤال الكبير الذي يعالجه الباحثون لجعل الواقع الافتراضي، والألعاب، ووسائل التواصل الاجتماعي تبدو غامرة حقًا.

إليك UniWorld-View، وهي طريقة جديدة طورها باحثون في جامعة بكين وشركة Rabbitpre AI، تعمل مثل مخرج ذكي للغاية لهذه الأفلام ثلاثية الأبعاد. المشكلة الجوهرية التي حلوها هي ما يحدث عندما تحاول النظر إلى مشهد من زاوية مختلفة جدًا عن الزاوية التي صورت منها. فكر في الأمر كأنك تحاول رسم خريطة لمدينة رأيتها فقط من زاوية شارع واحد؛ إذا حاولت تخمين ما يوجد على الجانب الآخر من مبنى، فقد ترسم بالخطأ الباب الأمامي للمبنى على الجدار الخلفي، أو تمد شجرة عبر السماء. غالبًا ما كانت طرق الذكاء الاصطناعي السابقة ترتكب أخطاء "التمزق" هذه لأنها لم تكن تعرف أي أجزاء من المشهد كانت مخفية (محجوبة) وأيها كانت مرئية.

يعالج UniWorld-View هذه المشكلة باستراتيجية ذكية مكونة من خطوتين. أولاً، يبني "سحابة نقاط" ثلاثية الأبعاد تقريبية (سحابة رقمية من النقاط تمثل المشهد) من الفيديو الخاص بك. ولكن بدلاً من مجرد إسقاط هذه النقاط على شاشة جديدة، فإنه يستخدم خدعة "إعادة الإسقاط الثلاثي". تخيل أنك تأخذ صورة لظل، ثم تأخذ صورة لانعكاس ذلك الظل، ثم تقارن بين الاثنين لمعرفة ما هو مخفي بالضبط خلف الجسم. يتيح ذلك للذكاء الاصطناعي إنشاء "قناع" مثالي يخبره بالضبط أي البكسلات حقيقية وأيها مجرد ثقوب فارغة. كما أنه يتحقق من "النواظم" (الاتجاه الذي يواجهه السطح) للتأكد من أنه لن يعرض بالخطأ ظهر جدار ما.

بمجرد أن يمتلك الذكاء الاصطناعي هذه الخريطة النظيفة والدقيقة هندسيًا لما يجب أن يكون موجودًا، فإنه يستخدم "نموذج انتشار فيديو" قويًا (نوع من الذكاء الاصطناعي الذي يولد الفيديو عن طريق تحويل الضجيج ببطء إلى صورة واضحة) لملء الفراغات. لكن الميزة الكبرى هنا هي أنه لا يخمن فحسب؛ بل يستخدم نظامًا "ثنائي المسارات". ينظر أحد المسارين إلى الخريطة الهندسية لضمان تحرك الكاميرا تمامًا حيث تريد، بينما ينظر المسار الآخر إلى الفيديو الأصلي لنسخ الأنسجة والألوان. وهذا يضمن أنه إذا حركت الكاميرا إلى مكان جديد، ستظل الأجسام صلبة ويبدو الإضاءة حقيقية، بدلاً من أن تذوب لتصبح عبارة عن حساء من البكسلات.

اختبر الباحثون هذه الطريقة على معيار "WorldScore"، وهو اختبار صعب لمدى قدرة الذكاء الاصطناعي على التحكم في حركات الكاميرا والحفاظ على اتساق المشاهد ثلاثية الأبعاد. سجل UniWorld-View أعلى درجة في المشاهد "الثابتة" (85.53) وكان ثاني أفضل النتائج في المشاهد الديناميكية، متفوقًا على نماذج رائدة أخرى. كما أظهر قدرته على توليد مناظر جديدة عالية الجودة من فيديوهات مفردة دون الحاجة إلى إعادة تدريبه على تلك المشاهد المحددة (تعلم الصفري/zero-shot learning). باختصار، يعلم UniWorld-View الذكاء الاصطناعي احترام قواعد الفيزياء والهندسة مع كونه مبدعًا بما يكفي لتخيل ما وراء الستار، مما يمهد الطريق لعوالم افتراضية أكثر واقعية حيث يمكنك النظر حولك بحرية، حتى لو كان الفيديو الأصلي مجرد مقطع سيلفي سريع.