ScaleVid: Geometry-Aware Video Object Scaling with Mesh-Free Inference
يقدم ScaleVid إطار تدريب من مرحلتين وخالٍ من الشبكات (mesh-free)، يحقق توسيعاً للأجسام في الفيديو مدركاً للهندسة عبر فصل تشوه ثلاثي الأبعاد للمقدمة عن الحفاظ على الخلفية باستخدام إعادة بناء المصدر الزائف، مما يتيح تغيير الحجم متباين الخواص بشكل واقعي دون إعادة بناء ثلاثي الأبعاد صريح عند الاستنتاج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تمسك بجهاز تحكم عن بعد سحري للواقع. توجهه نحو فيديو لقطة، تضغط على زر، وفجأة تصبح القطة ضعف عرضها، أو تصغر السيارة في الخلفية لتصبح بحجم لعبة. هذا هو حلم "تحرير الفيديو" المدعوم بالذكاء الاصطناعي. لفترة طويلة، كانت الحواسيب بارعة في تغيير "مظهر" الأشياء — مثل جعل قميص أحمر أو إزالة شخص من صورة. لكن تغيير "شكل" أو "حجم" جسم ما في فيديو مع الحفاظ على مظهره واقعيًا؟ هذا يشبه محاولة شد شريط مطاطي دون أن ينقطع أو يتحول إلى كتلة غريبة. يجب على الحاسوب أن يفهم أنه إذا مددت سيارة عرضيًا، فلا ينبغي لعجلاتها أن تتمدد مثل حلوى التافي؛ بل يجب أن تبدو وكأنها تصبح أعرض بالفعل في فضاء ثلاثي الأبعاد، ويجب أن يظل الجزء الخلفي منها ثابتًا تمامًا. إذا أخطأ الحاسوب في ذلك، سيبدو الفيديو ككابوس مليء بالخلل حيث تذوب الأجسام أو تطفو بطرق مستحيلة.
هنا تأتي فكرة جديدة تسمى "ScaleVid". أراد الباحثون وراءها حل لغز محدد: كيفية تغيير حجم الأجسام في الفيديو (تكبيرها، تصغيرها، جعلها أعرض أو أطول) دون الحاجة إلى بناء نموذج ثلاثي الأبعاد معقد للعالم أولاً. عادةً، للقيام بهذا النوع من تغيير الحجم، ستحتاج إلى مسح الجسم، وبناء شبكة ثلاثية الأبعاد (مثل الهيكل السلكي)، ثم شد هذا الهيكل، ثم إعادة طلاء الفيديو عليه. هذه العملية بطيئة ومكلفة وتتطلب الكثير من العمل اليدوي. تقترح ScaleVid طريقة أذكى وأسرع. فبدلاً من بناء نموذج ثلاثي الأبعاد، تستخدم طريقة "تدريب" من خطوتين. أولاً، تعلم الحاسوب كيفية شد الأشياء بطرق ثنائية الأبعاد بسيطة (مثل ضغط صورة لتصبح مسطحة). ثم، تعلم الحاسوب كيف تبدو عمليات الشد هذه عندما تحدث في فضاء ثلاثي الأبعاد، باستخدام فيديوهات "تدريبية" وهمية مصنوعة من نماذج ثلاثية الأبعاد. بمجرد التدريب، يمكن للحاسوب أن يأخذ فيديو حقيقي، ويشد الجسم تمامًا كما تريد، ويملأ الخلفية بشكل مثالي، وكل ذلك دون بناء نموذج ثلاثي الأبعاد خلال عملية التحرير الفعلية.
الورقة البحثية التي تحمل عنوان "ScaleVid: Geometry-Aware Video Object Scaling with Mesh-Free Inference"، تقدم طريقة تحقق ذلك من خلال تقسيم المهمة إلى مرحلتين متميزتين. يرى المؤلفون أن الطرق الحالية إما تعتمد على الأوامر النصية (والتي غالبًا ما تكون غير دقيقة، مثل قول "اجعلها كبيرة" دون تحديد مدى كبرها) أو تتطلب إعادة بناء ثلاثي الأبعاد ثقيل (وهو أمر بطيء جدًا للاستخدام في الوقت الفعلي). تقترح ScaleVid نهجًا "تدرجيًا". في المرحلة الأولى، يتعلم النظام كيفية التعامل مع التغييرات المسطحة (ثنائية الأبعاد) البسيطة، مثل شد مستطيل. هذا يعلمه كيفية الحفاظ على استقرار الخلفية بينما يتغير الجسم. في المرحلة الثانية، يتعلم التعامل مع التشوهات ثلاثية الأبعاد الحقيقية. هنا، يستخدم النظام وحدة "مشوه" (Deformer) خاصة تأخذ فيديو وتطبق شدًا ثلاثي الأبعاد محددًا بناءً على تعليمات المستخدم (مثل "زد العرض بمقدار 1.5 ضعف، والارتفاع بمقدار 0.8 ضعف"). والأهم من ذلك، يتم تدريب النظام باستخدام "مصادر وهمية" (pseudo-sources) — وهي فيديوهات مزيفة تم إنشاؤها عن طريق شد نماذج ثلاثية الأبعاد ثم رندرتها (تصويرها) مرة أخرى في شكل فيديو. وهذا يسمح للذكاء الاصطناعي بتعلم قواعد الهندسة ثلاثية الأبعاد دون الحاجة إلى فيديوهات حقيقية يكون فيها الجسم قد تم تغيير حجمه بالفعل (وهو أمر يكاد يكون مستحيلاً للعثور عليه).
النتائج مثيرة للإعجاب حقًا. فعند اختبارها على مجموعة متنوعة من الأجسام، من الكؤوس الزجاجية الشفافة إلى السيارات المعقدة، تمكنت ScaleVid من تغيير حجمها مع الحفاظ على صحة الهندسة. على سبيل المثال، إذا مددت عمق سيارة، ستصبح العجلات الخلفية مرئية بطريقة منطقية فيزيائيًا، وهو ما لا تستطيع عملية التمدد ثنائية الأبعاد البسيطة القيام به. تظهر الورقة أن ScaleVid تتفوق على الطرق الأخرى في الحفاظ على هوية الجسم (لا يزال يبدو كأنه نفس السيارة، لكنها أكبر فقط) والحفاظ على الخلفية (عدم وجود تشوه غريب في السماء أو الطريق). وقد قاس المؤلفون ذلك باستخدام عدة مقاييس، ووجدوا أن طريقتهم حققت درجة دقة في الحجم بلغت 0.804 (IoU) وخطأ محاذاة هندسي قدره 0.237 درجة فقط لزاوية الانحراف (yaw)، وهو أفضل بكثير من المنافسين مثل "DiffHandles" أو "GeoDiffuser".
ومع ذلك، فإن الورقة البحثية حريصة على ملاحظة أن هذا ليس عصا سحرية تصلح كل شيء. فلا يزال النظام لديه قيود. إذا كان الجسم متماثلًا للغاية، مثل كرة مثالية أو أسطوانة، فقد يرتبك الحاسوب بشأن أي اتجاه هو "العرض" وأيها هو "العمق"، مما يؤدي إلى نتائج غامضة. أيضًا، إذا انكمش الجسم بشكل كبير، يجب على النظام "ابتكار" الخلفية التي كانت مخفية خلف الجسم سابقًا، وأحيانًا قد يبتكر تفاصيل غريبة في تلك المناطق الجديدة. يشير المؤلفون إلى أنه بينما تعد طريقتهم خطوة كبيرة للأمام، فإن العمل المستقبلي يمكن أن يركز على التعامل بشكل أفضل مع مهام "الابتكار" هذه وجعل التمدد ثلاثي الأبعاد أكثر قوة للأشكال الصعبة.
في الجوهر، ScaleVid تشبه طباخًا ماهرًا يتعلم طبخ طبق معقد من خلال التدرب أولاً على نسخة بسية وزائفة من المكونات، ثم تطبيق تلك المهارات على طعام حقيقي وطازج. من خلال فصل منطق "التمدد" عن منطق "الطلاء"، ابتكر الباحثون نظامًا يمكنه تغيير حجم الأجسام في الفيديوهات بمستوى من الواقعية الهندسية كان بعيد المنال بالنسبة للطرق السريعة التي لا تعتمد على الشبكات (mesh-free). إنها تشير إلى أننا لسنا بحاجة دائمًا لبناء عالم ثلاثي الأبعاد كامل لتحريره؛ أحيانًا، تعليم الذكاء الاصطناعي فهم قواعد الفضاء ثلاثي الأبعاد من خلال تدريب ذكي يكفي لجعل السحر يحدث.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.