Generating Humanless Environment Walkthroughs from Egocentric Walking Tour Videos
تقدم هذه الورقة نهجاً توليدياً يستخدم مجموعة بيانات شبه اصطناعية ونموذج انتشار فيديو مضبوط بدقة لإزالة البشر وظلالهم بشكل واقعي من فيديوهات جولات المشي من منظور الشخص الأول، مما يتيح إنشاء نماذج بيئية ثلاثية الأبعاد ورباعية الأبعاد عالية الجودة خالية من البشر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تمسك بكاميرا وتتجول في ساحة مدينة مزدحمة في طوكيو، أو سوق صاخب في مراكش، أو شارع هادئ في باريس. تريد حفظ هذا الفيديو لإنشاء نموذج ثلاثي الأبعاد رقمي مثالي لهذا المكان لاحقاً—ربما للعبة فيديو، أو لروبوت للتنقل، أو لجولة افتراضية.
لكن هناك مشكلة: الفيديو مليء بالناس.
في كل مرة تسير فيها، يقطع طريقك غرباء، مما يحجب رؤيتك للمباني، والأشجار، والأرض. إذا حاولت بناء نموذج ثلاثي الأبعاد من هذه اللقطات الفوضوية، فسيصاب الكمبيوتر بالارتباك. سيعتقد أن الناس جزء من المبنى، أو سيفقد المسار لأن الرؤية تتغير باستمرار. لا يمكنك الحصول على صورة نظيفة لـ "هيكل" المدينة.
تقدم هذه الورقة حلاً يسمى CrowdEraser. فكر فيه كأنه "فوتوشوب للفيديو"؛ فهو لا يكتفي بقص الأشخاص فحسب، بل يعيد بناء العالم خلفهم بدقة متناهية تجعلك لا تشعر أبداً بأن أي شخص كان موجوداً هناك.
إليك كيف فعلوا ذلك، مقسماً إلى خطوات بسيطة:
1. المشكلة: تشبيه "الغرفة المزدحمة"
تخيل أنك تحاول التقاط صورة للوحة جميلة على حائط، لكن مئات الأشخاص يقفون أمامها، يلوحون بأيديهم. إذا حاولت تعديل الصورة لإزالتهم، فقد تترك مجرد ثقب أبيض فارغ أو بقعة ضبابية مشوهة.
أدوات الذكاء الاصطناعي الحالية (مثل تلك التي كانت تُستخدم قبل هذه الدراسة) جيدة في إزالة شخص واحد يقف بعيداً. ولكن عندما تكون الكاميرا قريبة من الأرض (مثل شخص يمشي) ويكون الشارع مكتظاً بالحشود، تفشل تلك الأدوات. فهي تترك ظلالاً غريبة، أو بقعاً ضبابية، أو قد "تتخيل" (تخلق) أشخاصاً أو أشياء وهمية في المساحة الفارغة.
2. الحل: مجموعة بيانات "فرانكنشتاين"
لتعليم الكمبيوتر كيفية إصلاح هذا، تحتاج عادةً إلى فيديو "قبل" وفيديو "بعد". أنت بحاجة إلى فيديو للشارع مع الناس، ونفس الفيديو تماماً للشارع بدون ناس.
العقبة: لا يمكنك تصوير نفس الشارع مرتين. لا يمكنك جعل 100 شخص يتجمدون في مكانهم، ثم يرحلون، ثم تصوير الشارع الفارغ بنفس حركة الكاميرا والإضاءة تماماً. هذا مستحيل.
الحل الذكي: قام الباحثون ببناء مجموعة بيانات شبه اصطناعية (لنسمّها "EgoCrowds").
- الخلفية: وجدوا مئات الفيديوهات لشوارع فارغة (أو شوارع بها عدد قليل جداً من الناس) من جميع أنحاء العالم.
- المقدمة: وجدوا فيديوهات لحشود تمشي.
- المزيج السحري: استخدموا الكمبيوتر لعملية "قص ولصق" للأشخاص الذين يمشون فوق الخلفيات الفارغة.
- خدعة الظل: لصق شخص ما فقط يجعل الأمر يبدو مزيفاً لأن الشخص لا يلقي بظله. لذا كتب الباحثون نصاً برمجياً خاصاً لمحاكاة ظلال واقعية تتحرك وتتمدد تمام التماثل مع ضوء الشمس الحقيقي.
الآن، أصبح لدى الكمبيوتر معلم مثالي: فهو يرى الفيديو "المزيف" المزدحم، ويعرف بالضبط كيف يجب أن تبدو الخلفية "الحقيقية" الفارغة الموجودة تحته.
3. التدريب: تعليم الذكاء الاصطناعي كيف "لا يرى" الناس
أخذوا نموذج ذكاء اصطناعي قوياً (يُسمى Casper، وهو يشبه محرر فيديو ذكي جداً) وقاموا بتدريبه على مجموعة بيانات "فرانكنشتاين" هذه.
- الدرس: "هذا فيديو به شخص وظل. الآن، أخبرني كيف يبدو الفيديو إذا مسحتهم".
- النتيجة: تعلم الذكاء الاصطناعي ليس فقط حذف الشخص، بل إعادة بناء العالم خلفه. تعلم أنه إذا حجب شخص ما جداراً من الطوب، فإن الجدار يستمر خلفه. وإذا ألقى شخص ما ظلاً على الرصيف، فإن الرصيف لا يزال موجوداً بمجرد اختفاء الظل.
4. الأداة السحرية: CrowdEraser
المنتج النهائي هو أداة تسمى CrowdEraser.
- المدخلات: تعطيها فيديو لجولة مشي فوضوي وقناع (Mask) وهو عبارة عن تحديد رقمي لمكان وجود الناس.
- العملية: ينظر الذكاء الاصطناत्मक إلى حركة الكاميرا والبكسلات المحيطة ليخمن ما هو مخفي.
- المخرجات: يخرج لك فيديو جديداً تماماً حيث اختفى الناس وظلالهم، وحل محلهم نسخة سلسة وواقعية للشارটি الفارغ.
5. لماذا هذا مهم: "مدينة الأشباح"
اختبر الباحثون هذا من خلال أخذ فيديوهاتهم الجديدة "الخالية من البشر" وتغذيتها في نظام إعادة بناء ثلاثي الأبعاد.
- قبل: عندما استخدموا الفيديوهات المزدحمة الأصلية، كان النموذج ثلاثي الأبعاد مكسوراً، مهتزاً، ومليئاً بالثقوب لأن الكمبيوتر لم يستطع الاتفاق على شكل المباني.
- بعد: عندما استخدموا فيديوهات CrowdEraser، كان النموذج ثلاثي الأبعاد صلباً، مفصلاً، ومستقراً. وكأنهم ساروا عبر "مدينة أشباح" حيث اختفى الجميع، تاركين وراءهم الهندسة المعمارية فقط.
الملخص
فكر في CrowdEraser كآلة زمن للفيديو. إنه يأخذ لحظة فوضوية ومزدحمة من الزمن و"يعيد" الناس من الوجود، مالئاً الفجوات بالواقع المثالي الذي كان مخفياً تحتهم. وهذا يسمح لنا بتحويل جولات المشي الفوضوية والحقيقية من يوتيوب إلى مخططات نظيفة وقابلة للاستخدام للروبوتات، وألعاب الفيديو، والعوالم الافتراضية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.