FullCircle: Effortless 3D Reconstruction from Casual 360 Captures
تقدم ورقة "FullCircle" مسار عمل عملي ومجموعة بيانات مرجعية جديدة لإعادة بناء المشاهد ثلاثية الأبعاد بشكل قوي وسهل مباشرة من لقطات كاميرا 360 درجة الخام، متجاوزةً بذلك بفعالية قيود الطرق الحالية عبر إلغاء الحاجة إلى بروتوكولات خاصة ومعالجة رؤية المشغل البشري، مع التفوق على كل من تقنية (3DGS) القياسية والأساليب المرجعية القائمة على المنظور.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد بناء نموذج ثلاثي الأبعاد مثالي لغرفة معيشتك، ولكن ليس لديك سوى كاميرا عادية. للحصول على نموذج جيد، عليك التجول في أرجاء الغرفة، والتقاط مئات الصور من كل زاوية، مع التأكد من عدم تفويت أي بقعة. إنه أمر مرهق، وإذا التقطت صورة ليدك بالخطأ وهي تمسك الكاميرا، فسيصاب الكمبيوتر بالارتباك وينتهي الأمر بالنموذج ثلاثي الأبعاد بشكل غريب.
الآن، تخيل أن لديك كاميرا 360 درجة (مثل كرة تلتقط صوراً في جميع الاتجاهات دفعة واحدة). هذا يشبه امتلاك قوة خارقة: يمكنك الوقوف في منتصف الغرفة، والدوران دورة واحدة، لتلتقط العالم بأكمله في لقطة واحدة. هذا أسرع بكثير ويغطي مساحة أكبر بكثير.
لكن هناك عقبة: لأن الكاميرا ترى كل شيء، فهي تراك أنت أيضاً. في صورة الـ 360 درجة، يكون الشخص الذي يحمل الكاميرا مرئياً دائماً، عادة ما يكون في المنتصف تماماً أو ينعكس في كل مكان. إذا حاولت بناء نموذج ثلاثي الأبعاد من هذه الصور، سيعتقد الكمبيوتر أنك جزء من الأثاث. سيحاول بناء تمثال ثلاثي الأبعاد ليدك، أو قميصك، أو وجهك، مما يفسد نموذج الغرفة.
إليك "FullCircle"
تقدم الورقة البحثية التي شاركتها طريقة جديدة تسمى FullCircle. فكر في FullCircle كفريق تنظيف ذكي وآلي لصورك ثلاثية الأبعاد. وإليك كيف تعمل، مقسمة إلى خطوات بسيطة:
1. قاعدة "لا تشوه الصورة"
يحاول معظم الناس إصلاح صور الـ 360 درجة عن طريق "بسطها" لتصبح مستطيلاً مسطحاً (مثل تحويل الكرة الأرضية إلى خريطة مسطحة). المشكلة هي أن هذا التمدد يخلق تجاعيد غريبة وحواف ضبابية، مثل محاولة تقشير قشرة برتقالة بشكل مثالي دون تمزيقها.
- خدعة FullCircle: بدلاً من تسطيح الصورة، تحافظ على الصور في شكلها الأصلي المنحني قليست "عين السمكة" (fisheye). إنها تعلم الكمبيوتر فهم الانحناء مباشرة. هذا يشبه تعلم قراءة خريطة لا تزال ملفوفة حول كرة، بدلاً من إجبارها على أن تصبح مسطحة وفقدان التفاصيل.
2. صائد "الأشباح الخفية"
المشكلة الأكبر هي الشخص الذي يحمل الكاميرا.
- الطريقة القديمة: يحاول الكمبيوتر تخمين من هو "الشخص السيئ" (المصور) من خلال البحث عن أشياء تتحرك أو تبدو مختلفة. ولكن إذا وقفت ثابتاً للحظة لالتقاط صورة جيدة، فسيصاب الكمبيوتر بالارتبونة ويعتقد أنك كرسي.
- خدعة FullCircle: تستخدم لعبة "تحديد المتسلل" المكونة من خطوتين:
- البحث عن الشخص: تستخدم ذكاءً اصطناعياً ذكياً (مثل حارس أمن) للعثور على مكان وجود الشخص الذي يحمل الكاميرا.
- زوم "السيلفي": تقوم بعد ذلك بتدوير عالم الـ 360 درجة رقمياً بحيث يكون الشخص الذي يحمل الكاميرا دائماً في مركز الرؤية تماماً، مثل صورة سيلفي مثالية.
- القص: نظرًا لأن الشخص أصبح الآن متمركزاً بشكل مثالي وثابتاً، يمكن لأداة ذكاء اصطناعي قوية (تسمى SAMv2) رسم تحديد نظيف حوله و"قصه" من الصورة بسهولة.
- النتيجة: تعيد تجميع الصورة، ولكن الآن أصبح الشخص مختفياً، تاركاً خلفه غرفة نظيفة خالية من الأشباح.
3. تأثير "الممحاة السحرية"
بمجرد إزالة الشخص، يقوم الكمبيوتر ببناء النموذج ثلاثي الأبعاد. ولأن كاميرا الـ 360 درجة رأت الغرفة من كل الزوايا في وقت واحد، فإن الكمبيوتر لديه "أحجية" أفضل بكثير ليحلها مقارنة بما لو كنت قد استخدمت كاميرا عادية. إنه يملأ الفجوات بسهولة، مما يخلق عالماً ثلاثي الأبعاد عالي الجودة وواقعياً للغاية دون أي عيوهات غريبة ناتجة عن المصور.
لماذا يعد هذا أمراً هاماً؟
- للشخص العادي: يمكنك فقط التجول في منزلك بكاميرا 360 درجة، وتمسكها بيدك، وتحصل على نموذج ثلاثي الأبعاد مثالي. لست بحاجة لأن تكون مصوراً محترفاً، ولا داعم للقلق بشأن ظهور يدك في اللقطة.
- للمستقبل: هذا يجعل من الممكن بناء مكتبات ضخمة من العوالم ثلاثية الأبعاد بسرعة. تخيل مستقبلاً حيث يمكنك دخول مدينة جديدة، وتدوير كاميرتك، وتحصل فوراً على خريطة ثلاثية الأبعاد مثالية، جاهزة لألعاب الواقع الافتراضي أو تطبيقات الملاحة.
باخت الاختبار، تأخذ FullCircle "الواقع الفوضوي" لحمل الكاميرا (حيث تكون أنت دائماً في طريق الرؤية) وتستخدم الرياضيات الذكية والذكاء الاصطناعي لمسح أثرك، تاركة وراءها عالماً ثلاثي الأبعاد مثالياً وبدون مجهود. إنها تحول الصورة "العادية" إلى إعادة بناء احترافية ثلاثية الأبعاد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.