Reshoot-Anything: A Self-Supervised Model for In-the-Wild Video Reshooting
يقدم هذا البحث Reshoot-Anything، وهو إطار عمل ذاتي الإشراف يتغلب على ندرة البيانات متعددة المشاهد المزدوجة للمشاهد غير الصلبة من خلال توليد ثلاثيات تدريب وهمية من فيديوهات أحادية العدسة لتمكين إعادة تصوير الفيديو بدقة عالية واتساق زمني مع تحكم دقيق في الكاميرا باستخدام محول الانتشار (diffusion transformer).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد فيديو منزلي لحفلة عيد ميلاد. الكاميرا مهتزة، والشخص الذي يصور يقف في مكان واحد. تتمنى لو كان بإمكانك التجول حول الطاولة، أو رؤية الكعكة من الجانب، أو التقريب (الزووم) على الشموع دون أن يتحرك الشخص الذي يحمل الكاميرا فعلياً.
في الماضي، كان القيام بذلك رقمياً يشبه محاولة إعادة بناء منزل باستخدام صورة واحدة فقط للباب الأمامي. كنت بحاجة إلى مكتبة ضخمة من الفيديوهات "المزدوجة" (نفس المشهد مصور من عشرات الزوايا المختلفة في وقت واحد) لتعليم الكمبيوتر كيفية تحريك الكاميرا. لكن تلك الفيديوهات نادرة للغاية ومكلفة للغاية في إنتاجها.
"Reshoot-Anything" هو نموذج ذكاء اصطناعي جديد يحل هذه المشكلة عبر تعليم نفسه كيفية تحريك الكاميرا باستخدام فيديوهات عادية ومنفردة فقط موجودة على الإنترنت.
إليك كيف يعمل، مشروحاً عبر تشبيهات بسيطة:
1. المشكلة: "قطعة اللغز المفقودة"
عادةً، إذا أردت رؤية خلفية كوب في فيديو ما، لكن الكاميرا تظهر الواجهة فقط، فإن الكمبيوتر يعلق. هو لا يعرف ما الذي يوجد خلف الكوب لأن هذه المعلومة ليست موجودة في الإطار الحالي.
تحاول معظم نماذج الذكاء الاصطنا_ي تخمين الأمر أو مجرد تمديد البكسلات، مما يؤدي إلى تشوهات غريبة وضبابية (مثل النظر إلى انعكاس في مرآة ملاهي تعكس الأشكال بشكل مشوه).
2. الحل: "المحقق المسافر عبر الزمن"
ابتكر مؤلفو هذه الورقة البحثية حيلة ذكية. فبدلاً من الحاجة إلى كاميرتين تصوران في نفس الوقت، استخدموا كاميرا واحدة وعلموا الذكاء الاصطناعي أن يكون محققاً يسافر عبر الزمن.
- الإعداد: يأخذون فيديو عادياً ويقطعون منه "مقطعين" مختلفين:
- المقطع أ (المصدر): الفيديو الأصلي.
- المقطع ب (الهدف): عرض مختلف قليلاً لنفس الفيديو، كما لو أن الكاميرا قد تحركت.
- الحيلة: بما أن الكاميرا قد تحركت، فإن المقطع (ب) يظهر أجزاءً من المشهد كانت مخفية في المقطع (أ) (مثل جانب الكوب).
- الدرس: لملء تلك الأجزاء المفقودة في المقطع (ب)، يُجبر الذكاء الاصطناعي على النظر للخلف وللأمام في المقطع (أ). يجب عليه أن يقول: "آه، أنا لا أرى جانب الكوب في هذا الإطار، ولكن إذا نظرت قبل ثانيتين في فيديو المصدر، كانت الكاميرا في زاوية مكنتني من رؤيته!"
يتعلم الذكاء الاصطناعي دمج هذه اللمحات "المسافرة عبر الزمن" لإنشاء فيديو جديد تماماً وسلس من زاوية جديدة كلياً.
3. "المرساة": الرسم التخطيطي الأولي
لتوجيه الذكاء الاصطناعي، يقومون بإنشاء فيديو ثالث يسمى "المرساة" (Anchor).
- تخيل أنك ترسم لوحة. لديك صورة عالية الجودة (المصدر) ورسم تخطيطي مهتز وخشن (المرساة) يوضح بالضبط المكان الذي تريد أن تذهب إليه الكاميرا.
- المرساة غالباً ما تكون غير دقيقة وبها ثغرات (لأنها تخمين ناتج عن الكمبيوتر).
- مهمة الذكاء الاصطناعي هي النظر إلى الرسم التخطيطي الفوضوي لفهم الحركة، مع تجاهل التفاصيل الفوضوية. ثم يقوم بجلب التفاصيل الدقيقة وعالية الجودة من فيديو المصدر ليرسم الصورة النهائية.
4. لماذا يعد هذا أمراً هاماً؟
- لا مزيد من الندرة: في السابق، كنت بحاجة إلى استوديو خاص به 50 كاميرا لتدريب الذكاء الاصطناعي على تحريك الكاميرا. الآن، يمكنك تدريبه على ملايين فيديوهات اليوتيوب العشوائية، أو مقاطع تيك توك، أو الأفلام المنزلية.
- يتعلم منطق "الـ 4D": من خلال إجبار الذكاء الاصطناعي على البحث عن الأنسجة المفقودة في إطارات مختلفة، فإنه يتعلم بالصدفة كيف يعمل العالم في الفضاء والزمن ثلاثي الأبعاد (4D). هو يفهم أن الأشياء لا تختفي ببساطة؛ بل تتحرك فقط خارج نطاق الرؤية ويمكن رؤيتها مرة أخرى لاحقاً.
- الواقعية: نظرًا لأنه يتعلم من فيديوهات حقيقية (وليس فقط من الرسومات الحاسوبية)، فإنه يتعامل مع الأشياء المعقدة مثل تدفق المياه، أو الدخان، أو حركة الناس بشكل طبيعي، وهو ما تفشل فيه نماذج الذكاء الاصطناي الأخرى غالباً.
الخلاصة
فكر في Reshoot-Anything كأداة تحرير سحرية. تعطيها فيديو واحداً مهتزاً من كاميرا واحدة، وتقول لها: "فهمت". ثم تقول لها: "أريد رؤية هذا المشهد من اليسار"، فتقوم بإنشاء فيديو جديد تماماً يبدو وكأن مصوراً محترفاً كان يتجول حول المشهد، وكل ذلك دون الحاجة أبداً إلى كاميرا ثانية.
إنه يحول الإنترنت بأك-مله من الفيديوهات المنفردة إلى استوديو أفلام ضخم ثلاثي الأبعاد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.