From Dense Prediction to Visual Editing: Structured Supervision for Unified Image and Video Creation
تقترح هذه الورقة إطار عمل موحداً لإنشاء الصور والفيديو يعزز التحرير الدقيق والمتسق زمنياً من خلال دمج التنبؤ بالعمق والناظم السطحي كإشراف بصري مهيكل ضمن عمود فقري مشترك لمحول انتشار متعدد الوسائط، مما ينقل المعرفة الهيكلية المفيدة إلى مهام التوليد اللاحقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا يستطيع فيه الكمبيوتر فقط رسم لوحة بناءً على وصف، بل يمكنه أيضاً أخذ فيديو موجود وتغيير تفصيل محدد — مثل تحويل يوم ممطر إلى يوم مشمس أو إضافة كلب يركض — دون تغيير بقية المشهد أو جعل الفيديو يرتعش. هذا هو الوعد الذي يقدمه الإبداع البصري الموحد، وهو مجال تتعلم فيه الذكاء الاصطناعي كيفية إنشاء وتحرير كل من الصور والفيديوهات من مجموعة واحدة من التعليمات. ولكي تعمل هذه الأنظمة بشكل جيد، يجب ألا تكتفي بفهم معنى كلمات مثل "أضف كلباً"، بل يجب أن تفهم أيضاً البنية الفيزيائية للمشهد: أين توجد الأشياء، وكيف تتداخل، وكيف تتحرك عبر الزمن. فبدون هذا الفهم الهيكلي، قد يطيع الكمبيوتر التعليمات بإضافة كلب، لكنه قد يمحل بالخطأ الشخص الواقف بجانبه، أو يجعل الحيوان الجديد يظهر ويختفي بشكل متقطع أثناء تشغيل الفيديو. التحدي يكمن في تعليم نموذج واحد اتباع أوامر متنوعة مع الحفاظ على الهندسة والهوية الكامنة للعالم البصري سليمة.
لقد طور الباحثون نهجاً جديداً يعلم الكمبيوتر رؤية العالم بأبعاد ثلاثة بينما يتعلم كيفية ابتكاره. فبدلاً من مجرد عرض أزواج من الصور أو الفيديوهات على النموذج ومطالبته بتخمين التغييرات، أضاف الفريق طبقة تدريب جديدة. لقد طلبوا من النموذج التنبؤ بشيئين محددين لكل صورة يعالجها: عمق المشهد، الذي يخبرنا بمدى بعد الأشياء، والمنظمات السطحية (surface normals)، التي تصف اتجاه مواجهة السطح، مثل ميل الجدار أو انحناء الكرة. هذه التنبؤات ليست الهدف النهائي؛ فالباحثون لا يحاولون بناء أفضل ماسح ضوئي ثلاثي الأبعاد. بدلاً من ذلك، يستخدمون هذه المهام كوسيلة لإجبار النموذج على الانتباه إلى الهيكل الخفي للصورة. ومن خلال تعلم إعادة بناء هذه الخرائط الهيكلية، يكتسب النموذج إحساساً أفضل بالحدود وكيفية ارتباط الأشياء ببعضها البعض، مما يساعده على الحفاظ على تلك التفاصيل عندما يُطلب منه تحرير المحتوى لاحقاً.
ولجعل هذا الأمر يعمل، بنى الفريق نظاماً يفصل بين معنى الأمر وبين الدليل البصري الذي يجب اتباعه. حيث يقوم جزء من النظام بقراءة التعليمات النصية وفهم القصد، بينما ينظر جزء آخر إلى البكسلات الفعلية للصورة أو الفيديو المصدر للحفاظ على حدة التفاصيل المكانية. ويتم دمج هذين التدفقين من المعلومات في "عقل مشترك" يتعلم توليد محتوى جديد. ومن الأهمية بمكان أن الباحثين ابتكروا أيضاً طريقة خاصة لتوليد بيانات التدريب. فبدلاً من مجرد تحرير الإطار الأول من الفيديو ونسخ ذلك التغيير للأمام، وهو ما يؤدي غالاً إلى أخطاء، علموا النظام توليد أزواج من الفيديوهات حيث يحدث التغيير في أوقات مختلفة. فقد يظهر فيديو مشهداً ما، ويظهر الفيديو المقابل له نفس المشهد مع تغيير يبدأ في منتصف الطريق أو ينتهي قبل انتهاء المقطع. هذا يعلم النموذج بالضبط متى وأين يطبق التغيير، مما يضمن بقاء بقية الفيديو مستقراً ومتسقاً.
تظهر نتائج هذا النهج أن إضافة هذه الدروس الهيكلية تحسن جودة التعديلات بشكل كبير. فعند اختبار النموذج على مجموعة قياسية من مهام تحرير الفيديو، سجل النموذج الذي تلقى هذا التدريب الإضافي درجات أعلى من الأنظمة السابقة، لا سيما في المهام التي تتطلب إضافة أو تغيير أشياء محلية دون المساس بالخلفية. وكان التحسن أكثر وضوحاً في القدرة على جعل الأجزاء غير المعدلة من الفيديو تبدو طبيعية وثابتة. ووجد الباحثون أن هذه الطريقة تعمل بشكل جيد عبر مجموعة واسعة من المهام، من إنشاء فيديوهات جديدة من الصفر إلى تحرير الفيديوهات الموجودة بناءً على تعليمات نصية أو صور مرجعية. وقد أثبتوا أن نموذجاً واحداً يمكنه التعامل مع كل هذه الوظائف المختلفة، محققاً درجة إجمالية عالية تفوق الأنظمة الموحدة المتاحة حالياً.
ومع ذلك، فإن الباحثين حذرون في تحديد حدود نجاحهم. فقد ذكروا صراحة أن هدفهم لم يكن إنشاء أداة متفوقة لقياس العمق أو زوايا السطح، ولم يختبروا نموذجهم في تلك المهام المحددة. إن قيمة تنبؤات العمق والمنظمات السطحية تكمكمن كلياً في كيفية مساعدتها لعملية الابتكار، وليس في دقة الخرائط نفسها. وتشير الدراسة إلى أن انتقال المعرفة الهيكلية هذا هو أمر حقيقي وقابل للقياس، لكنها لا تدعي أن النموذج قد حقق فهماً عاماً للعالم الفيزيائي. فلا يزال النظام يعاني مع الفيديوهات الطويلة جداً، حيث قد تنجرف الشخصيات أو يتغير مظهرها، ويمكن أن يواجه صعوبة مع الأشياء الصغيرة جداً أو عندما تتعارض مراجع متعددة. ويمثل هذا العمل خطوة مهمة نحو تحرير بصري أكثر موثوقية، موضحاً أن تعليم النموذج فهم هيكل المشهد يجعله فناناً أفضل، حتى وإن لم يكن هذا الفنان مهندساً معمارياً مثالياً بعد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.