SplatGuide: Geometric Priors from 3D Gaussians for Pose-Free Novel View Synthesis
يحقق SplatGuide أحدث ما توصل إليه العلم في مجال تركيب المشاهد من زوايا رؤية جديدة دون الحاجة لمعرفة الوضعية، وذلك عبر توحيد الصور المُصيغة، وخرائط التصويت للرؤية لكل غاوسيان على حدة، ورموز إعادة البناء من مشهد غاوسيان ثلاثي الأبعاد واحد، لتوفير توجيه هندسي وميزاتي شامل لعمليات الانتشار متعددة المشاهد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تمسك بهاتف ذكي وتلتقط بضع صور عفوية لغرفة ما أثناء تجولك فيها. ليس لديك أي معدات خاصة، ولا مسافات مقاسة، ولا سجل يوضح أين كانت الكاميرا موجهة. الآن، تخيل أنك تطلب من حاسوب توليد صورة جديدة تماماً، واقعية للغاية، لنفس الغرفة من نقطة لم تقف فيها قط، ربما تنظر حول زاوية لم ترها من قبل. هذا هو تحدي إنشاء مشاهد جديدة من صور غير محددة الوضعية. لسنوات، اعتمد العلماء على أداتين منفصلتين لمعالجة هذا الأمر؛ إحدى الأداتين ممتازة في فهم شكل وتخطيط المشهد، حيث تبني خريطة ثلاثية الأبعاد تقريبية من صور مسطحة، لكنها تعاني في ابتكار تفاصيل لم ترها من قبل. أما الأداة الأخرى فهي مولد صور قوي يمكنه إنشاء صور مذهلة، لكنه يتطلب عادةً تعليمات دقيقة حول مكان الكاميرا بالضبط، وهي تعليمات نادراً ما تتوفر في اللقطات العفوية. وعندما حاول الباحثون دمج هاتين الأداتين، وجدوا غالباً أن الربط بين الخريطة ثلاثية الأبعاد ومولد الصور كان ضعيفاً، مما يترك النظام يخمن الهندسة أو يتجاهل الخريطة تماماً.
لقد نجح فريق من الباحثين الآن في سد هذه الفجوة بطريقة جديدة تسمى "SplatGuide". فبدلاً من معاملة إعادة البناء ثلاثي الأبعاد وتوليد الصور كخطوتين منفصلتين، صمموا نظاماً يعيد استخدام نفس النموذج ثلاثي الأبعاد ثلاث مرات مختلفة لتوجيه العملية. أولاً، يأخذ النظام الصور غير المحددة الوضعية ويبني مشهداً ثلاثي الأبعاد مكوناً من ملايين السحب الصغيرة الملونة، المعروفة باسم "Gaussians". هذه طريقة قياسية لتمثيل الفضاء ثلاثي الأبعاد، لكن الباحثين لاحظوا أن الطرق الحالية تتخلص من معظم المعلومات التي يحملها هذا النموذج. يحافظ "SplatGuide" على كل قطعة من البيانات؛ فهو يستخدم النموذج ثلاثي الأبعاد لرسم صورة هندسية تقريبية لما يجب أن يبدو عليه المنظر الجديد، مما يوفر مرساة صلبة لمولد الصور. ثم يستخدم النموذج لمعرفة أي من الصور الأصلية مرئية بالفعل من الزاوية الجديدة، متجاهلاً تلك التي تحجبها الجدران أو الأثاث، مما يضمن أن النظام ينظر فقط إلى المراجع الأكثر فائدة. وأخيراً، يستخرج سمات عالية المستوى من النموذج ثلاثي الأبعاد ليخبر المولد عن النمط العام وهيكل الغرفة، وليس فقط البكسلات التي يمكنه رؤيتها.
تظهر النتائج أن هذا النهج يعمل بشكل جيد للغاية. فمن خلال تغذية مولد الصور بهذه الإشارات الثلاث المتميزة — الصورة الهندسية التقريبية، والاختيار الذكي للصور المرجعية، والسمات الهيكلية — ينشئ النظام مشاهد جديدة أكثر حدة ودقة من الطرق السابقة. وفي الاختبارات على مجموعات البيانات القياسية، أنتجت الطريقة صوراً كانت مقنعة للغاية لدرجة أنها تفوقت حتى على الأنظمة التي أُعطيت مواقع كاميرا مثالية وحقيقية، بشرط توفر عدد كافٍ من الصور المدخلة. ووجد الباحثون أن التحسن الأبرز جاء من كيفية اختيارهم للصور المرجعية التي سيستخدمونها؛ فبدلاً من مجرد اختيار الصور التي التقطت من زوايا قريبة، نظر نظامهم إلى الخريطة ثلاثية الأبعاد ليرى أي الصور تعرض بالفعل أجزاء المشهد المرئية من الموقع الجديد. وقد منع هذا النظام من إضاعة الوقت في صور مكررة أو الارتباك بسبب الأجسام التي تحجب الرؤية.
ما يجعل هذا العمل قوياً بشكل خاص هو مرونته؛ فالنظام لا يعتمد على طريقة واحدة محددة لبناء الخريطة ثلاثية الأبعاد، إذ يمكنه استبدال أدوات إعادة البناء المختلفة دون الحاجة إلى إعادة تدريبه، مما يعني أنه سيتحسن تلقائياً مع تحسن تلك الأدوات الأساسية. كما اختبر الباحثون النظام على مشاهد لم يسبق له رؤيتها، بما في ذلك بيئات خارجية واسعة ومساحات داخلية معقدة، وحافظ على جودته العالية. ورغم أن النظام ليس مثالياً وقد يواجه صعوبات إذا كانت الصور الأصلية ضبابية جداً أو إذا كان المشهد يحتوي على أجسام متحركة، إلا أنه يمثل خطوة كبيرة للأمام. فهو يثبت أنه من خلال إعادة استخدام المعلومات الموجودة بالفعل في إعادة البناء ثلاثي الأبعاد بعناية، يمكن للحواسيب أن تتعلم رؤية العالم بأبعاد ثلاثية وتخيل منظورات جديدة بمستوى من الوضوح كان بعيد المنال سابقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.