UFO-4D: Unposed Feedforward 4D Reconstruction from Two Images
يقدم UFO-4D إطار عمل موحد للتغذية الأمامية يعيد بناء تمثيلات رباعية الأبعاد كثيفة وصريحة من مجرد صورتين غير محددتي الوضعية، وذلك عبر التقدير المشترك لشرائح غاوس ثلاثية الأبعاد الديناميكية، والهندسة، والحركة، ووضعية الكاميرا من خلال نهج ذاتي الإشراف يستفيد من البدائيات الهندسية المشتركة ليتفوق بشكل كبير على الأساليب السابقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تنظر إلى لقطتين لمشهد شارع مزدحم تم التقاطهما بفارق جزء من الثانية. في الصورة الأولى، هناك سيارة تمر بجانب مبنى. وفي الصورة الثانية، تحركت السيارة، كما تحركت الكاميرا قليلاً.
عقلك يدرك فوراً ثلاثة أشياء:
- أين توجد الأشياء (الشكل ثلاثي الأبعاد للسيارة والمبنى).
- كيف تحركت (السيارة اندفعت للأمام، بينما ظل المبنى ثابتاً).
- كيف تحركت أنت (الكاميرا انحرفت جهة اليمين).
القيام بذلك رياضياً هو أمر صعب للغاية على الحواسيب، خاصة عندما لا تعرف بالضبط أين كانت الكاميرا تشير (الصور غير المحددة الوضعية). عادةً، تضطر الحواسيب إلى إجراء حسابات ثقيلة وبطيئة لساعات لتخمين هذه الإجابات، أو تحتاج إلى كمية هائلة من البيانات المُصنفة مسبقاً والتي لا توجد في العالم الحقيقي.
إليك UFO-4D.
لا تفكر في UFO-4D كآلة حاسبة، بل كـ نحات ثلاثي الأبعاد سحري وفوري. إليك كيف يعمل، باستخدام بعض التشبيهات من الحياة اليومية:
1. "الغبار السحري" (الغاوسيات الديناميكية ثلاثية الأبعاد)
تحاول معظم عمليات إعادة البناء ثلاثية الأبعاد بناء المشهد من مليون قطعة "ليغو" صغيرة وصلبة. إذا تحركت قطعة واحدة، عليك إعادة بناء الجدار بأكتها.
يستخدم UFO-4D شيئاً مختلفاً: "غباراً سحرياً" ثلاثي الأبعاد (الغاوسيات). تخيل أن المشهد مكون من آلاف السحب المتوهجة والضبابية من الطلاء.
- كل سحابة لها موقع، ولون، وسرعة (تعليمات مدمجة حول مدى سرعة واتجاه حركتها).
- عندما ينظر الكمبيوتر إلى صورتيك، فإنه لا يخمن الشكل فحسب؛ بل يرش هذا "الغبار السحري" في الهواء فوراً لتشكيل السيارة، والمبنى، والطريق.
- ولأن الغبار يحتوي على تعليمات السرعة، يعرف الكمبيوتر تماماً كيف ستنتقل سحب السيارة لتطابق الصورة الثانية، وكيف ستظل سحب المبنى في مكانها.
2. "المتجر الشامل" (التغذية الأمامية الموحدة)
الأساليب القديمة تشبه توظيف ثلاثة متخصصين مختلفين: أحدهم لتخمين الشكل، وآخر لتخمين الحركة، وثالث لتخمين زاوية الكاميرا. غالباً ما يختلفون مع بعضهم البعض، وعليك الانتظار حتى يتجادلوا (عملية تحسين بطيئة).
أما UFO-4D فهو مقاول عام فائق الذكاء.
- ينظر إلى الصورتين، وفي لحظة واحدة (تمريرة "تغذية أمامية")، يسلمك النموذج ثلاثي الأبعاد المكتمل، وخريطة الحركة، وحركة الكاميرا جميعها في آن واحد.
- ولأنه يبني كل شيء من نفس مجموعة "الغبار السحري"، فإن الشكل والحركة وزاوية الكاميرا متزامنة تماماً. لا يمكنهم الاختلاف لأنهم جميعاً جزء من نفس الكائن.
3. "المرآة ذاتية التصحيح" (الإشراف الذاتي)
هذا هو الجزء الأكثر ذكاءً. عادةً، لتعليم الكمبيوتر الأبعاد الثلاثية، تحتاج إلى معلم يمتلك نموذج إجابة مثالي. لكن البيانات ثلاثية الأبعاد المثالية نادرة.
يستخدم UFO-4D مرآة ذاتية التحقق.
- يقوم ببناء نموذجه ثلاثي الأبعاد، ثم يحاول "رسم" الصورتين الأصليتين مرة أخرى على لوحة باستخدام ذلك النموذج.
- إذا بدت الصورة المرسومة مختلفة عن الصورة الحقيقية، يدرك النموذج: "عذراً، لقد أخطأت في الشكل أو الحركة".
- يقوم بتصحيح نفسه فوراً. هو لا يحتاج إلى معلم بشري؛ بل يحتاج فقط للتأكد من أن توقعاته تبدو مثل العالم الحقيقي. وهذا يسمح له بالتعلم من البيانات الواقعية الفوضوية حيث لا توجد إجابات مثالية.
4. "آلة الزمن" (الاستيفاء رباعي الأبعاد)
بما أن النموذج يعرف "سرعة" كل جزيء من الغبار، فإنه يستطيع القيام بشيء مذهل: السفر عبر الزمن.
إذا أردت رؤية المشهد في وقت ما بين الصورتين، أو من زاوية كاميرا غير موجودة، يقوم UFO-4D ببسا ج بتحريك سحب الغبار إلى مواقعها الجديدة ثم يعيد رسم المشهد.
- يمكنه إنشاء فيديو سلس وعالي الجودة للسيارة وهي تمر، حتى لو أعطيته صورتين ثابتتين فقط.
- يمكنه أن يريك السيارة من خلف المبنى، رغم أن المبنى كان يحجبها في الصور الأصلية (لأن النموذج "يعرف" أن السيارة موجودة هناك).
لماذا يعد هذا أمراً هاماً؟
- السرعة: إنه يعمل في الوقت الفعلي (مثل ألعاب الفيديو)، بينما كانت الأساليب القديمة تستغرق ساعات.
- الدقة: هو أفضل بـ 3 مرات في تخمين الحركة والشكل من الطرق الرائدة السابقة.
- تعدد الاستخدامات: يحل لغز "الشكل"، و"الحركة"، و"الكاميرا" معاً، بدلاً من محاولة حل كل منها على حدة.
باخت-صار: UFO-4D يشبه منح الكمبيوتر نظارات تحول الصور المسطحة فوراً إلى عالم ثلاثي الأبعاد حيّ ونابض، حيث يعرف كل كائن كيفية التحرك، ويمكن للكمبيوتر مشاهدة ذلك العالم وهو يحدث بالحركة البطيئة أو من أي زاوية يريدها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.