One View Is Enough! Monocular Training for In-the-Wild Novel View Generation
تقدم الورقة البحثية OVIE، وهو إطار عمل تدريب أحادي العدسة مبتكر يقوم بتخليق مناظر جديدة من صور إنترنت غير مقترنة عبر الاستفادة من سقالة هندسية قائمة على العمق مع خسائر مقنعة أثناء التدريب، مما ينتج نموذج استدلال خالٍ من الهندسة يحقق أداءً رائدًا في مستوى الصفر (zero-shot) بسرعة أكبر بكثير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تنظر إلى صورة فوتوغرافية واحدة لكاتدرائية. يمكنك رؤية الواجهة الأمامية، لكن لا يمكنك رؤية الخلفية. إن العقل البشري مذهل؛ إذ يمكنه فوراً تخيل كيف تبدو الكاتدرائية من الجانب، أو من الخلف، أو حتى من منظور عين الطائر، فيملأ الأجزاء المفقودة بناءً على ما يعرفه عن كيفية عمل المباني.
لفترة طويلة، عانت الحواسيب للقيام بذلك. لتعليم الكمبيوتر كيف "يرى" ما وراء الزوايا، كان على الباحثين عادةً استخدام مجموعات بيانات متعددة المشاهد—وهي ببساطة آلاف الصور لنفس الشيء ملتقطة من كل زاوية ممكنة. الأمر يشبه محاولة تعليم شخص ما قيادة سيارة من خلال إظهار فيديو لسيارة محددة على مسار محدد فقط. إذا وضعتهم في سيارة مختلفة على طريق مختلف، فسيضيعون. هذا المتطلب لبيانات متطابقة ومثالية حدّ من قدرة الحواسيب إلى سيناريوهات محددة ومملة للغاية.
إليك OVIE (رؤية واحدة تكفي! التدريب أحادي العدسة لتوليد مشاهد جديدة في الواقع الحر). هذه الطريقة الجديدة تشبه الساحر الذي يمكنه تعلم قيادة أي سيارة على أي طريق بمجرد النظر إلى صورة واحدة.
إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:
1. المشكلة: "عنق زجاجة" الأزواج
تقليدياً، لتعليم الكمبيوتر توليد مشهد جديد، كان عليك عرض صورة "مصدر" وصورة "هدف" (نفس المشهد من زاوية مختلفة) جنباً إلى جنب. الأمر يشبه معلماً يمسك ببطاقتين تعليميتين ويقول: "انظر كيف تحركت الشجرة؟ الآن خمن أين ذهبت".
- المشكلة: العثور على هذه الأزواج المثالية على الإنترنت أمر مستحيل تقريباً. معظم الصور هي مجرد لقطات منفردة. وهذا يعني أن الذكاء الاصطناعي لم يكن بإمكانه التعلم إلا من مجموعات بيانات صغيرة ومنتقاة.
2. الحل: "السقالة السحرية"
أدرك المؤلفون أنهم ليسوا بحاجة إلى صور "هدف" حقيقية. يمكنهم تزييفها باستخدام خدعة ذكية.
- الخدعة: يستخدمون "مقدّر عمق" مدرب مسبقاً (أداة تخمن مدى بعد الأشياء في الصورة المسطحة).
- التشبيه: تخيل أخذ رسم ثنائي الأبعاد لمنزل واستخدام مسطرة سحرية لتحويله إلى نموذج طيني ثلاثي الأبعاد. بمجرد أن يصبح نموذجاً ثلاثي الأبعاد، يمكنك التجول حوله في عقلك والتقاط صورة من الخلف.
- العقبة: بما أن الصورة الأصلية كانت مسطحة، فإن "النموذج الطيني" سيكون فوضوياً بعض الشيء. عندما تتحرك حوله، قد ترى "ثقوباً" حيث ينبغي أن تكون خلفية المنزل (لأن الذكاء الاصطناعي لم يكن يعرف ما كان هناك).
- الإصلاح: يتم تدريب الذكاء الاصطناعي على تجاهل تلك الثقوب. إنه يتعلم فقط من أجزاء "الصورة المزيفة" التي تبدو منطقية. الأمر يشبه طالباً يدرس خريطة بها بعض الأجزاء المفقودة؛ فهو يتعلم الطرق الموجودة بالفعل ويصبح بارعاً جداً في تخمين الباقي.
3. التدريب: التعلم من "الواقع الحر"
بدلاً من استخدام مجموعة بيانات صغيرة ومثالية، تم تغذية OVIE بـ 30 مليون صورة عشوائية من الإنترنت.
- التشبيه: تخيل محاولة تعلم لغة ما. معظم الطلاب يستخدمون كتاباً مدرسياً ذا قواعد نحوية مثالية (الطرق القديمة). أما OVIE، فقد قضى 30 مليون ساعة في التسمع على المحادثات في مدينة مزدحمة وفوضوية (الإنترنت "الحر").
- لأن OVIE رأى أشياء مختلفة كثيرة—غرف داخلية، شوارع خارجية، لوحات فنية، وأشياء—فقد تعلم القواعد العامة لكيفية عمل الفضاء ثلاثي الأبعاد، بدلاً من مجرد حفظ غرف محددة.
4. النتيجة: سرعة فائقة وتعميم فائق
بمجرد تدريبه، لا يحتاج OVIE إلى "المسطرة السحرية" (مقدر العمق) بعد الآن. هو فقط يأخذ صورة وزاوية كاميرا مرغوبة ويخرج فوراً المشهد الجديد.
- السرعة: إنه أسرع بـ 600 مرة من الطريقة التالية الأفضل.
- التشبيه: إذا كانت الطرق القديمة تشبه حلزوناً يحاول رسم لوحة فنية، فإن OVIE يشبه طائرة مقاتلة ترسم لوحة فنية وهي تطير بسرعة تفوق سرعة الصوت (Mach 1). يمكنه العمل في الوقت الفعلي، مما يتيح لك "الطيران" عبر غرفة بمجرد تحريك الماوس.
- تعدد الاستخدامات: نظرًا لأنه تعلم من 30 مليون صورة عشوائية، فإنه يعمل على أشياء لم يتم تعليمه إياها صراحة. يمكنه توليد مشاهد جديدة للوحة فنية، أو لقطة شاشة من لعبة فيديو، أو شارع في العالم الحقيقي، وكل ذلك بنفس السهولة.
لماذا هذا مهم؟
قبل هذا، إذا كنت تريد استكشاف نسخة ثلاثية الأبعاد لمبنى تاريخي أو قطعة فنية، كنت بحاجة إلى فريق من المصورين لالتقاط مئات الصور. الآن، مع OVIE، يمكنك التقاط صورة واحدة فقط واستكشاف المشهد من أي زاوية، فوراً.
إنه يحول الإنترنت بأكدله من الصور ثنائية الأبعاد إلى ساحة لعب ثلاثية الأبعاد، ويثبت أنك لا تحتاج إلى بيانات مثالية لتعلم هندسة مثالية—كل ما تحتاجه هو الكثير من البيانات وطريقة ذكية للتعلم منها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.