💻 computer science

VidSplat: Gaussian Splatting Reconstruction with Geometry-Guided Video Diffusion Priors

إن VidSplat هو إطار عمل توليدي لا يتطلب تدريباً يستفيد من مسبقات الانتشار بالفيديو لتوليد مناظر جديدة بشكل تكراري وتوجيه عملية إزالة الضجيج الواعية بالهندسة، مما يتيح إعادة بناء مشهد ثلاثي الأبعاد بشكل قوي من مدخلات شحيحة أو حتى من صورة واحدة.

المؤلفون الأصليون: Jimin Tang, Wenyuan Zhang, Junsheng Zhou, Zian Huang, Kanle Shi, Shenkun Xu, Yu-Shen Liu, Zhizhong Han

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jimin Tang, Wenyuan Zhang, Junsheng Zhou, Zian Huang, Kanle Shi, Shenkun Xu, Yu-Shen Liu, Zhizhong Han

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء نموذج ثلاثي الأبعاد مفصل لغرفة، ولكن ليس لديك سوى خمس صور ضبابية التُقطت من زوايا مختلفة. معظم برامج الكمبيوتر ستحاول تخمين بقية الغرفة بناءً على هذه الصور الخمس، لكنها تنتهي عادة بنموذج مليء بالثقوب، أو الشوائب العائمة، أو التشوهات الغريبة لأنها لا تملك معلومات كافية لمعرفة ما يختبئ خلف الجدران أو الأثاث.

VidSplat هي أداة جديدة تحل هذه المشكلة من خلال العمل كـ "مهندس معماري مبدع" لا يكتفي بمجرد التخمين، بل يقوم فعلياً بـ "تخيل" الأجزاء المفقودة باستخدام "دماغ فيديو" قوي، ثم يتحقق من عمله مقابل قوانين الفيزياء (الهندسة) لضمان صمود البناء.

إليك كيف يعمل، مقسماً إلى خطوات بسيطة:

1. المشكلة: "النقطة العمياء"

فكر في إعادة البناء ثلاثي الأبعاد التقليدية مثل محاولة إكمال أحجية (بازل) بينما تملك 5% فقط من القطع. إذا حاولت دمج القطع بالقوة، ستبدو الصورة مكسورة. الطرق الموجودة تحاول ملء الفجوات، لكنها غالباً ما تهلوس (تخترع) أشياء لا تتناسب مع الشكل الحقيقي للغرفة، أو تترك الأجزاء غير المرئية كفراغات فارغة.

2. الحل: "حالم فيديو" مع "بوصلة هندسية"

يستخدم VidSplat نوعاً خاصاً من الذكاء الاصطناعي يسمى نموذج انتشار الفيديو (Video Diffusion Model). يمكنك التفكير في هذا الذكاء الاصطناعي كـ "حالم فيديو" شاهد ملايين الساعات من الأفلام ويعرف كيف تبدو الأشياء عندما تتحرك حولها.

الحلم: يأخذ الذكاء الاصطناعي صورك القليلة ويبدأ في "تخيل" زوايا كاميرا جديدة، متصوراً كيف يبدو المشهد من الجانب الآخر من الجدار.
البوصلة (الموجهة هندسياً): المشكلة في الحالمين هي أنهم قد يخترعون أحياناً أشياء مستحيلة (مثل كرسي يطفو في الهواء). لإصلاح ذلك، يمنح VidSplat الذكاء الاصطناعي "بوصلة هندسية".
- يقوم بإنشاء خريطة ثلاثية الأبعاد تقريبية للغرفة بناءً على صورك.
- بينما يحاول الذكاء الاصطناعي توليد إطارات فيديو جديدة، تقوم البوصلة بالتحقق باستمرار: "هل هذه الصورة الجديدة تتطابق مع الشكل ثلاثي الأبعاد الذي نعرفه بالفعل؟"
- إذا حاول الذكاء الاصطناعي رسم جدار في مكان خاطئ، تقوم البوصلة بتوجيهه للعودة إلى الهندسة الصحيحة. هذا يضمن أن "الحلم" يظل وفياً للواقع الفيزيائي للمشهد.

3. العملية: دورة من "التخمين، والتحقق، والتحسين"

لا يقوم VidSplat بهذا مرة واحدة فقط؛ بل هي حلقة مستمرة، مثل النحات الذي ينحت قطعة من الحجر:

المخطط الأولي: يبدأ بصورك القليلة ويبني هيكلاً عظمياً ثلاثي الأبعاد تقريبياً (سحابة نقاط).
التوسع: يختار زاوية كاميرا جديدة لم يرهَا من قبل (مثل المشي حول زاوية).
الحلم: يطلب من "ذكاء الفيديو" توليد كيف يجب أن تبدو تلك الزاوية الجديدة.
التحقق من الواقع: يستخدم "البوصلة الهندسية" للتأكد من أن الفيديو المولد يتطابق مع الهيكل ثلاثي الأبعاد. إذا هلس الذكاء الاصطناعي، تقوم البوصلة بتصحيحه.
التحديث: يأخذ هذه الصور "المتخيلة" المصححة ويضيفها إلى مجموعة التدريب. الآن، أصبح لدى النموذج ثلاثي الأبعاد بيانات أكثر.
التكرار: يقوم بذلك مراراً وتكراراً، لملء الثقوب تدريجياً، وتوسيع الرؤية، وتحسين التفاصيل حتى يكتمل المشهد ويصبح ناعماً.

4. "السحر المرحلي"

إحدى الحيل الذكية التي يستخدمها VidSplat هي كيفية التعامل مع عملية "الحلم":

المرحلة المبكرة (المخطط الخارجي): في البداية، يكون الذكاء الاصطناعي صارماً جداً. هو يسمح فقط بالتغييرات التي تتبع الأشكال المعروفة بدقة. الأمر يشبه رسم الخطوط الخارجية لمنزل؛ فأنت لا تريد أن يطير السقف بعيداً.
المرحلة الوسطى (التفاصيل): مع وضوح الصورة، يُسمح للذكاء الاصطناعي بأن يكون أكثر إبداعاً لملء الأنسجة والألوان.
المرحلة المتأخرة (التلميع): أخيراً، يصبح الذكاء الاصطناعي حراً في إضافة التفاصيل الصغيرة والواقعية (مثل الغبار على الطاولة أو ملمس الطوب) لجعله يبدو حقيقياً، لكنه لا يزال لا يستطيع تغيير الشكل الأساسي للمنزل.

5. النتيجة

تظهر الورقة البحثية أن VidSput يمكنه أخذ 5 صور فقط (أو حتى صورة واحدة) وتحويلها إلى مشهد ثلاثي الأبعاد كامل وعالي الجودة.

يمكنه "رؤية" ما وراء الزوايا التي لم ترها الكاميرا أبداً.
يمكنه ملء الجزء الخلفي من جسم كان مخفياً عن الأنظار.
النتيجة النهائية هي نموذج ثلاثي الأبعاد يبدو صلباً وواقعياً، دون الثقوب أو التشوهات الغريبة التي تنتجها الطرق الأخرى.

باختختصار، يجمع VidSplat بين خيال الذكاء الاصطناعي المولد للفيديو وبين انضباط المهندس المعماري ثلاثي الأبعاد، مما يسمح له ببناء عوالم ثلاثية الأبعاد كاملة من مجرد حفنة من اللقطات.

ملخص تقني: VidSplat

بيان المشكلة

يعد إعادة بناء الهندسة ثلاثية الأبعاد من صور متعددة المشاهد مهمة أساسية في الرؤية الحاسوبية، وقد تم تحقيق طفرات نوعية مؤخرًا من خلال حقول الإشعاع العصبية (NeRF) والتقطيع الغاوسي ثلاثي الأبعاد (3DGS). ومع ذلك، تعتمد هذه النماذج بشكل كبير على الاتساق الضوئي متعدد المشاهد، مما يؤدي إلى تدهور كبير عند توفر عدد قليل فقط من المشاهد المدخلة. في حالات المشاهد الشحيحة، تصبح عملية التحسين غير محددة وصعبة الحل.

تنقسم الحلول الحالية عمومًا إلى فئتين: الطرق القابلة للتعميم التي تتدرب مسبقًا على مجموعات بيانات ضخمة لتعلم الارتباطات بين المشاهد، والطرق الخاصة بمشهد معين التي تفرط في التكيف مع مشاهد مفردة باستخدام أولويات أحادية أو ستيريو. وبينما تحسن هذه النهج الأداء، إلا أنها تظل مقيدة باستعادة المناطق المرئية فقط من المشاهد المدخلة المعطاة. فهي تواجه صعوبة في استنتاج الهندسة في المناطق غير المرئية، أو المحجوبة، أو ضعيفة القيود خارج مجال الرؤية المدخل، مما يؤدي إلى أسطح غير مكتملة ومجزأة. علاوة على ذلك، فإن النهج التوليدية الحديثة لتخليق المشاهد من زوايا جديدة غالبًا ما تتطلب تدريبًا مسبقًا مكلفًا، وتفشل في استعادة المناطق المستبعدة (مما ينتج فجوات)، أو تولد عمليات رندرة تبدو واقعية بصريًا ولكنها غير متسقة هندسيًا.

المنهجية: VidSplat

لمعالجة هذه القيود، يقترح المؤلفون VidSplat، وهو إطار عمل توليدي لإعادة البناء لا يتطلب تدريبًا. يستفيد VidSplat من نماذج الانتشار الفيديوية (video diffusion priors) القوية لتخليق مشاهد جديدة بشكل تكراري لتعويض التغطية المفقودة، مما يسمح باستعادة مشاهد ثلاثية الأبعاد كاملة من مدخلات شحيحة (حتى من صورة واحدة). يدمج إطار العمل التوليد وإعادة البناء من خلال حلقة تحسين تكرارية تتضمن مرحلتين رئيسيتين: التهيئة والتدريب.

1. إطار التحسين

تبدأ العملية بـ $\{V_{input}\}_0$ من المشاهد المدخلة الشحيحة.

التهيئة: يتم إنشاء سحابة نقاط أولية باستخدام DUSt3R. وبناءً على ذلك، يقوم النظام بأخذ عينات من مسارات الكاميرا القائمة على الرؤية ويقوم بعمل رندرة لصور RGB والأقنعة (mask). يتم تغذية هذه الصور في نموذج انتشار فيديو (VDM) يتم التحكم فيه عبر الكاميرا لتخليق مقاطع فيديو متسقة ثلاثية الأبعاد. تشكل الإطارات الرئيسية (keyframes) من هذه المقاطع مجموعة مولدة $\{V_{gen}\}_0$ ، والتي تُدمج مع المدخلات لإنشاء سحابة نقاط أكثر كثافة لتهيئة الـ Gaussians ثنائية الأبعاد.
التدريب التكراري: أثناء تدريب الـ Gaussian، يقوم النظام بعدة دورات تحسين. في كل دورة $t$ ، يتم أخذ عينات من مسارات جديدة، ويتم توليد تسلسلات جديدة لتشكيل $\{V_{gen}\}_t$ . يتم دمج هذه التسلسلات مع مجموعة المشاهد الحالية لتوسيع التغطية. على عكس مرحلة التهيئة، لا تُستخدم المشاهد المولدة لإعادة التهيئة، بل يتم إسقاطها عكسيًا في الفضاء ثلاثي الأبعاد عبر أعماق أحادية لإنشاء مراكز Gaussian إضافية. يتم تحسين إعادة البناء بشكل تكراري، وتُستخرج الأسطح النهائية باستخدام تقنية "marching tetrahedra".

2. أخذ عينات وضع الكاميرا القائم على الرؤية

لاستكشاف المناطق غير المغطاة بفعالية، يستخدم VidSplat استراتيجية أخذ عينات مبتكرة. بدلاً من الاستكمال البسيط أو المسارات الدائرية، يقوم ببناء مسارات حيث تدور الكاميرا حول نقاط تقاطع أشعة الكاميرا مع سطح المشهد على كرة. يتم التحقق من المسارات بناءً على العمق والقناع لضمان تجنب حالات الحجب بالقرب من المستوى (مثل الجدران التي تسد الرؤية) وتغطية قدر مناسب من المناطق غير المرئية. وللحد من تراكم الهلوسة، يتم تمديد المسار بنسبة 25% أثناء التوليد، ويتم التخلص من الإطارات النهائية.

3. توليد الفيديو الموجه بالهندسة

الابتكار الأساسي يكمن في استراتيجية إزالة الضجيج (denoising) المرحلية والخالية من التدريب المصممة لضمان الاتساق ثلاثي الأبعاد. غالبًا ما تؤدي عملية توليد الفيديو القياسية إلى حدوث انزياح في المحتوى وديناميكيات تنتهك القيود الهندسية. يعالج VidSplat ذلك من خلال:

الانعكاس (Inversion): استخدام الانعكاس الانتشار (diffusion inversion) على صور RGB والأقنعة المرندرة لإنشاء كامنات (latents) مشوشة تشفر أولويات التخطيط المستحثة بحركة الكاميرا.
المزج التكيفي: في كل خطوة إزالة ضجيج، يمزج النموذج الكامن المتوقع مع الكامن المرجعي المنعكس باستخدام قناع مكاني $M(t)$ .
التحكم ثلاثي المراحل:
1. المرحلة المبكرة ( $T_0 \to T_1$ ): يكون اتجاه إزالة الضجيج في المناطق المعروفة مقيدًا بصرامة لاتباع المراجع المرندرة ( $M(t) = M_{ref}$ )، مما يثبت هيكل المشهد ويمنع انزياح المحتوى.
2. المرحلة المتوسطة ( $T_1 \to T_2$ ): يتم تخفيف القيد تدريجيًا، مما يسمح للنموذج بتحسين عمليات الرندرة غير الكاملة.
3. المرحلة النهائية ( $T_2 \to 0$ ): يتم إزالة القيد تمامًا لتخليق تفاصيل محلية واقعية وإصلاح العيوب.

4. دالة الخسارة (Loss Function)

يجمع هدف التحسين بين خسائر المشاهد المدخلة والمشاهد المولدة. بالنسبة للمشاهد المدخلة، يستخدم خسارة ضوئية قياسية، وتنظيمًا (regularization)، وأولوية طبيعية (normal prior). بالنسبة للمشاهد المولدة، يتم استبدال الخسارة الضوئية بخسارة لابلاس (Laplacian loss) للتخفيف من العيوب عالية التردد، ويُستخدم خريطة ثقة لكل بكسل مستمدة من دمج سحابة النقاط لوزن الإشراف.

المساهمات الرئيسية

إطار عمل توليدي: إطار عمل مبتكر يدمج إعادة البناء بالتقطيع الغاوسي (Gaussian Splatting) مع توليد الفيديو بشكل تكراري، مما يسمح بالتحسين المستمر واستعادة مشاهد ثلاثية الأبعاد كاملة من مدخلات شحيحة.
إزالة الضجيج الموجهة بالهندسة: استراتيجية إزالة ضجيج مرحلية وخالية من التدريب توجه عملية الانتشار الفيديوية بشكل تكيفي نحو الهندسة الكامنة، مما يضمن الاتساق ثلاثي الأبعاد دون الحاجة إلى ضبط دقيق (finetuning) للنموذج.
أداء رائد (State-of-the-Art): يحقق الأسلوب نتائج متفوقة في كل من إعادة بناء السطح وتخليق المشاهد من زوايا جديدة على مجموعات البيانات الواقعية المعتمدة، متفوقًا على الطرق الحالية ذات المشاهد الشحيحة والطرق التوليدية.

النتائج التجريبية

قيم المؤلفون VidSplat على مجموعات بيانات واقعية متنوعة، بما في ذلك Tanks and Temples و Replica و DL3DV، والتي تغطي السيناريوهات الداخلية والخارجية.

إعادة بناء السطح: في مجموعتي بيانات Tanks and Temples و Replica، حقق VidSplat مقاييس كمية أفضل بكثير (مسافة Chamfer، و F-Score، واتساق الطبيعيات) مقارنة بالنماذج المرجعية مثل FSGS و MAtCha و GuidedVD. توضح التصورات القدرة على إعادة بناء أسطح كاملة وعالية الدقة بدون ثقوب، حتى مع وجود 5 مشاهد مدخلة فقط.
تخليق المشاهد من زوايا جديدة: في مجموعة بيانات DL3DV، حققت الطريقة أفضل درجات PSNR و SSIM و LPIPS لكل من المشاهد الداخلية والخارجية، حيث نجحت في رندرة تفاصيل عالية الجودة في المناطق التي تغطيها المدخلات بشكل شحيح.
توليد الفيديو: عند مقارنته بطرق انتشار الفيديو المتحكم فيها بالكاميرا (مثل ViewCrafter و TrajectoryCrafter)، أظهر VidSplat اتساقًا فائقًا مع الهندسات الحقيقية وتنوعًا توليديًا أكبر.
توليد المشهد من صورة واحدة: أظهر إطار العمل بنجاح القدرة على توليد مشاهد ثلاثية الأبعاد كاملة من صورة مدخلة واحدة، مستعيدًا مناطق واسعة غير مرئية.

الأهمية

يزعم البحث أن VidSplat يمثل تقدمًا كبيرًا في إعادة البناء ثلاثي الأبعاد من المشاهد الشحيحة من خلال الربط الفعال بين نماذج الفيديو التوليدية وإعادة البناء الهندسي. ومن خلال تقديم استراتيجية إزالة ضجيج موجهة بالهندسة، تغلب المؤلفون على القيد الحرج للأساليب التوليدية السابقة التي تفشل في الحفاظ على الاتساق ثلاثي الأبعاد أو استنتاج الهندسة غير المرئية. إن قدرة إطار العمل على العمل دون تدريب (training-free) ومتانته عبر مختلف نماذج الانتشار الفيديوية (بما في ذلك SVD و Hunyuan) تسلط الضوء على عمليته وقابليته للتوسع. في النهاية، يتيح VidSplat استعادة مشاهد ثلاثية الأبعاد كاملة وعالية الدقة من بيانات محدودة للغاية، مما يفتح آفاقًا جديدة لتطبيقات إنشاء المحتوى الرقمي، والواقع الافتراضي/المعزز، والذكاء المتجسد حيث يكون الالتقاط متعدد المشاهد الكثيف غير عملي.