BeyondMasks: Evaluating Causal and Physical Consistency in Video Object Removal

في عالم الفيديو الرقمي، تبرز قدرة متزايدة على تحرير الواقع بأمر بسيط. تخيل مشاهدة تسجيل لشارع مزدحم وتطلب من الحاسوب مسح سيارة معينة، تاركاً بقية المشهد سليماً تماماً. لسنوات، ركزت التكنولوجيا الكامنة وراء ذلك على مهمة ضيقة: ملء الفراغ حيث كان يوجد جسم ما. يشبه الأمر رساماً يعيد طلاء ثقب في جدار بعناية، محاولاً مطابقة ملمس ولون الطوب المحيط به. هذا النهج يعمل جيداً عندما يكون الجسم ساكناً في مكانه، لكنه غالباً ما يفشل عندما يكون الجسم قد تفاعل مع عالمه. في العالم الفيزيائي الحقيقي، لا تشغل الأشياء المساحة فحسب؛ بل تلقي بظلالها، وتعكس الضوء، وتغير طريقة إضاءة الغرفة، وتترك خلفها آثار حركتها، مثل التموجات في الماء أو الغبار الذي تثيره قدم تمشي. إذا أزلت الجسم ولكن تركت هذه العواقب الفيزيائية خلفه، سيبدو المشهد خاطئاً، كما لو أن شبحاً يطارد الإطار.

لقد أدرك فريق من الباحثين أن تحرير الفيديو الحقيقي يتطلب أكثر من مجرد ملء ثقب؛ إنه يتطلب فهم علاقات السبب والنتيجة التي تربط الجسم ببيئته. لقد قدموا طريقة جديدة لاختبار أدوات تحرير الفيديو، تسمى "BeyondMasks"، والتي تتحدى الحواسيب لإزالة ليس فقط الجسم، بل أيضاً الآثار الفيزيائية غير المرئية التي أحدثها. ولتحقيق ذلك، قاموا ببناء مجموعة من 180 مقطع فيديو، نصفها تم إنشاؤه بواسطة الحواسيب والنصف الآخر صُوّر في العالم الحقيقي. في كل مقطع، لديهم نسخة "قبل" بوجود جسم ما، ونسخة "بعد" حيث لم يكن ذلك الجسم موجوداً أصلاً، مما يشكل نموذج الإجابة المثالي. وهذا يسمح لهم برؤية ما يخطئ فيه الحاسوب بالضبط. وقد وجدوا أن أكثر أدوات الفيديو تقدماً، والتي يمكنها جعل المساحة الفارغة تبدو واقعية للغاية، تفشل باستمرار في إزالة التأثيرات الثانوية. فقد يبقى ظل على الأرض حيث كان يقف ثعلب ذات يوم، أو قد يظل انعكاس في نافذة بعد حذف مصباح. اكتشف الباحثون أن التكنولوجيا الحالية تعامل الجسم وبصمته الفيزيائية كمشكلتين منفصلتين، بينما في الواقع، هما شيء واحد.

ولقياس هذه الإخفاقات، طور الفريق نظام تسجيل جديد يعمل كعين ناقدة. فبدلاً من مجرد عد عدد البكسلات التي تطابق الإجابة المثالية، يستخدمون ذكاءً اصطناعياً متطوراً لمشاهدة الفيديوهات والحكم على ما إذا كان المشهد يبدو متسقاً فيزيائياً. يتحقق هذا النظام من أمرين: هل اختفى الجسم تماماً، وهل عادت البيئة إلى حالة طبيعية كما لو لم يكن الجسم موجوداً؟ وعندما اختبروا تسعة من أفضل نماذج تحرير الفيديو المتاحة اليوم، كانت النتائج كاشفة. فبينما سجلت بعض النماذج درجات عالية جداً في المقاييس التقليدية لجودة الصورة، سجلت درجات منخفضة في هذا الاختبار الجديد للمنطق الفيزيائي. على سبيل المثال، قد تنجح أداة في مسح بطة من بركة ما ولكنها تترك خلفها التموجات التي أحدثتها، أو تزيل إبريق شاي ولكن تترك الظل الذي ألقاه على الطاولة. تظهر الدراسة أن هذه الأدوات لا تزال تكافح لفهم فيزياء الضوء والمادة. يمكنها "هلوسة" خلفية تبدو منطقية، لكنها لا تستطيع التفكير في السلسلة السببية للأحداث التي يطلقها الجسم.

نظر الباحثون أيضاً في أسباب وقوع هذه الأخطاء. ووجدوا أن العديد من أدوات التحرير تعمل ببساطة عن طريق حجب المنطقة التي يوجد فيها الجسم وطلب التخمين من الحاسوب عما يجب أن يكون هناك. هذا النهج يتخلص من القرائن القيمة. فإذا كان هناك كوب زجاجي موضوع على طاولة، يمكن للحاسوب رؤية الطاولة من خلال الزجاج. وإذا قام الأداة بحجب الكوب بالكامل، فإنها تفقد هذه الرؤية للطاولة وتضطر لتخمين النمط، وغالباً ما تخطئ في ذلك. تشير الدراسة إلى أن أنظمة الإزالة المستقبلية يجب أن تدمج التفكير المدرك للسياق بدلاً من الاعتماد فقط على "الترميم بالماسك" (masked inpainting) لاستعادة المعلومات المفقودة بشكل أفضل. تسلط الدراسة الضوء على فجوة كبيرة بين ما يبدو سلساً بصرياً وما هو صحيح فيزيائياً بالفعل. وهي تشير إلى أنه لكي يبدو تحرير الفيديو حقيقياً حقاً، يجب أن تتجاوز التكنولوجيا مجرد إصلاح الصور البسيطة وتتعلم فهم القواعد غير المرئية للعالم الفيزيائي، لضمان أنه عند إزالة جسم ما، يعود العالم الذي عاش فيه إلى حالة من الاتساق التام.