💻 computer science

CylinderSplat: 3D Gaussian Splatting with Cylindrical Triplanes for Panoramic Novel View Synthesis

يُعد CylinderSplat إطار عمل للتغذية الأمامية لتقنية Gaussian Splatting ثلاثية الأبعاد بانورامية، حيث يقدم تمثيلاً أسطوانياً جديداً للـ Triplane وبنية ذات فرعين للتعامل بفعالية مع حالات الحجب والتشوهات الهندسية في المشاهد ذات الـ $360^\circ$ ، محققاً نتائج رائدة في كل من تركيب المشاهد من منظور واحد ومن منظورات متعددة.

المؤلفون الأصليون: Qiwei Wang, Xianghui Ze, Jingyi Yu, Yujiao Shi

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qiwei Wang, Xianghui Ze, Jingyi Yu, Yujiao Shi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك كاميرا بزاوية 360 درجة تلتقط صورة شاملة لغرفة ما. الآن، تخيل أنك تريد "الخطو" داخل هذه الصورة والنظر حولك من زاوية مختلفة تماماً، كما لو كنت هناك بالفعل. يُسمى هذا توليد الرؤية من زوايا جديدة (Novel View Synthesis).

لفترة طويلة، كان القيام بذلك باستخدام صورة واحدة أو بضع صور يشبه محاولة بناء منزل ثلاثي الأبعاد من مخطط ثنائي الأبعاد واحد فقط: ستنتهي بجدران بها ثقوب أو سقف لا يتناسب تماماً مع البناء.

هنا يأتي دور CylinderSplat، وهي طريقة ذكاء اصطناعي جديدة تحل هذه المشكلة. إليك كيف تعمل، مشروحة من خلال تشبيهات بسيطة.

1. المشكلة: "الخريطة المسطحة" مقابل "العالم المستدير"

معظم أدوات الرؤية الحاسوبية ثلاثية الأبعاد مبنية مثل الخرائط المسطحة (شبكات ديكارتية). وهي ممتازة للغرف الصغيرة أو كاميرات الثقب الصغير، ولكن عندما تحاول استخدام خريطة مسطحة لوصف عالم بزاوية 360 درجة، تصبح الأمور غريبة.

التشبيه: تخيل محاولة لف ورقة مسطحة بدقة حول كرة قدم (بالمناسبة، المقصود هنا كرة مستديرة ككرة السلة). سيتعين عليك شد الورقة عند الأعلى والأسفل، مما يؤدي إلى تمزقها أو تكتلها عند الجوانب.
النتيجة: تحاول أساليب الذكاء الاصطناعي الحالية حشر صور الـ 360 درجة في هذه الشبكات المسطحة، مما يؤدي إلى صور ضبابية، ممتدة، أو مشوهة، خاصة عند النظر إلى الأرضية أو السقف.

2. الحل: "المستوى الأسطواني الثلاثي" (Cylindrical Triplane)

أدرك مؤلفو هذه الورقة البحثية أنه بدلاً من استخدام خريطة مسطحة، يجب عليهم استخدام شكل يطابق العالم: الأسطوانة.

التشبيه: فكر في علبة رقائق القصدير أو علبة الصودا. إذا قمت بلف ملصق حول علبة صودا، فإنه يناسبها تماماً دون تمدد أو تمزق.
الابتكار: لقد ابتكروا طريقة جديدة لتخزين البيانات ثلاثية الأبعاد تسمى المستوى الأسطواني الثلاثي (Cylindrical Triplane). بدلاً من ثلاث ورقات مسطحة (X, Y, Z)، يستخدمون ثلاث ورقات ملفوفة حول أسطوانة.
- ورقة واحدة تلف حول الجدران (مثالية للجدران المستقيمة في المنازل).
- ورقة أخرى تغطي الأرضية والسقف (مثالية للأرضيات المسطحة).
- هذا يتوافق مع كيفية بناء معظم المباني الحقيقية (افتراض "عالم مانهاتن")، مما يجعل الرياضيات أسهل بكثير والنتائج أكثر حدة ووضوحاً.

3. نظام "الدماغين" (بنية الفرع المزدوج)

لا يستخدم الذكاء الاصطناعي خدعة واحدة فقط؛ بل يستخدم "دماغين" يعملان معاً لبناء المشهد ثلاثي الأبعاد.

الدماغ (أ): "محقق البكسل" (Pixel Branch)

ماذا يفعل: ينظر هذا الدماغ إلى الصور التي قدمتها له ويجد الأشياء التي يمكنه رؤيتها بوضوح. إنه يشبه المحقق الذي لا يبلغ إلا عن الأدلة الموجودة أمامه مباشرة.
القصور: إذا كان لديك صورة واحدة فقط، فلن يستطيع المحقق رؤية ما خلف الأريكة أو في الزوايا. سيحتوي النموذج ثلاثي الأبعاد حينها على ثقوب كبيرة.

الدماغ (ب): "المهندس المعماري الخيالي" (Volume Branch)

ماذا يفعل: يستخدم هذا الدماغ المستوى الأسطواني الثلاثي لملء الفراغات. ينظر إلى المساحات الفارغة ويستخدم معرفته بكيفية ظهور الغرف عادةً لـ "تخيل" (تخمين) ما يجب أن يكون هناك.
السحر: نظرًا لأنه يستخدم الشكل الأسطواني، فإنه يخمن شكل الجدر والأرضيات بشكل صحيح، بدلاً من تمديدها مثل الخريطة المسطحة.

معاً: يبني "المحقق" الأجزاء الحادة والواضحة من الصورة، بينما يقوم "المهندس المعماري" بملء الزوايا المظلمة والمخفية. النتيجة هي عالم ثلاثي الأبعاد كامل وصلب.

4. لماذا هذا مهم؟

السرعة: كانت الطرق القديمة تستغ-رق ساعات لبناء مشهد ثلاثي الأبعاد من الصفر. أما CylinderSplat فيقوم بذلك في جزء من الثانية (التغذية الأمامية)، مثل التقاط صورة سريعة.
المرونة: يعمل سواء أعطيته صورة واحدة (مثل لقطة سائح) أو صوراً عديدة (مثل طائرة بدون طيار تطير عبر غرفة).
الواقعية: يتعامل مع الأجزاء الصعبة في صور الـ 360 درجة — مثل الأرضية والسقف — دون التشوهات الغريبة التي تعاني منها أدوات الذكاء الاصطناعي الأخرى.

الملخص

فكر في CylinderSplat كبناء ماهر أدرك أخيراً أنه لبناء منزل ثلاثي الأبعاد من صورة 360 درجة، لا ينبغي استخدام مخطط مسطح. بدلاً من ذلك، يجب استخدام قالب أسطواني يناسب شكل العالم تماماً. ومن خلال الجمع بين محقق حاد البصر ومهندس معماري مبدع، يمكنه تحويل صورة مسطحة بزاوية 360 درجة فوراً إلى غرفة يمكنك التجول فيها، والنظر حولك، واستكشافها.

إليك ملخص تقني مفصل لورقة البحث "CYLINDERSPLAT: 3D GAUSSIAN SPLATTING WITH CYLINDRICAL TRIPLANES FOR PANORAMIC NOVEL VIEW SYNTHESIS".

1. بيان المشكلة

تعالج الورقة التحديات المتعلقة بـ تخليق المشاهد الجديدة البانورامية (Panoramic Novel View Synthesis - NVS) باستخدام التقطير الغاوسي ثلاثي الأبعاد (3D Gaussian Splatting - 3DGS). وبينما أحدثت تقنية 3DGS ثورة في الرندرة (Rendering) في الوقت الفعلي لكاميرات الثقب (Pinhole cameras)، فإن تكييفها مع الصور البانورامية بزاوية 360 درجة يواجه عائقين رئيسيين في الطرق الحالية ذات التغذية الأمامية (Feed-forward):

التشويه الهندسي والتمويه (Aliasing): التمثيلات الحجمية القياسية (مثل الـ Triplanes الكارتيزية) غير مناسبة للمشاهد البانورامية 360 درجة. فهي تعاني في التقاط الهندسة المتأصلة في البيانات البانورامية، مما يؤدي إلى تشويه شديد، خاصة في بيئات "عالم مانهاتن" (Manhattan-world) (المشاهد الداخلية أو الحضرية التي تتميز بجدران وأرضيات متعامدة).
الانسداد والمشاهد الشحيحة: تعتمد طرق التغذية الأمامية الحالية غالبًا على أحجام تكلفة متعددة المشاهد (Multi-view cost volumes) لتحسين الهندسة. وتفشل هذه النهج في سيناريوهات المشاهد الشحيحة أو المشهد الواحد، لا سيما عندما تتسبب خطوط الأساس (Baselines) الكبيرة في انسدادات كبيرة، مما يؤدي إلى ظهور فجوات، وعيوب، وعدم دقة في العمق في المشهد المعاد بناؤه.

2. المنهجية: CylinderSplat

يقترح المؤلفون CylinderSplat، وهو إطار عمل للتغذية الأمامية مصمم للتعامل مع أعداد متغيرة من المشاهد المدخلة (من مشهد واحد إلى مشاهد بانورامية متعددة) باستخدام بنية ثنائية الفروع (Dual-branch architecture) يتم تدريبها عبر منهج تعليمي ثلاثي المراحل.

أ. الابتكار الجوهري: تمثيل الـ Triplane الأسطواني

بدلاً من أنظمة الإحداثيات الكارتيزية أو الكروية القياسية، تقدم الطريقة تمثيل الـ Cylindrical Triplane.

الدافع: استلهاماً من فرضية "عالم مانهاتن"، تتوافق الإحداثيات الأسطوانية بشكل طبيعي مع الجدران الرأسية والأرضيات الأفقية في البيئات التي صنعها الإنسان.
الهيكل: لكل كاميرا مدخلة، يتم تحديد حجم أسطواني محلي بالأبعاد $(R, \Theta, Z)$ . يتكون الـ Triplane من ثلاث مستويات ميزات متعامدة: $F_{r\theta}$ و $F_{\theta z}$ و $F_{zr}$ .
الكفاءة: يضغط هذا التمثيل شبكة الميزات ثلاثية الأبعاد الكثيفة، مما يقلل من تعقيد التخزين من $O(\Theta \cdot Z \cdot R)$ إلى $O(\Theta \cdot Z + Z \cdot R + R \cdot \Theta)$ .
الميزة: يقلل من التشويه عند الأقطاب (على عكس النظام الكروي) ويتجنب عيوب التمدد الناتجة عن الشبكات الكارتيزية عند إسقاطها على الصور البانورامية متساوية التمثيل (Equirectangular panoramas).

ب. البنية ثنائية الفروع

فرع البكسل (الملاحظة - Pixel Branch):
- الوظيفة: يعيد بناء المناطق المرصودة جيداً باستخدام آلية قائمة على الانتباه (Self-attention داخل الإطارات، و Cross-attention عبر الإطارات).
- العملية: يقوم بتجميع سياق متعدد المشاهد للتنبؤ بخريطة عمق وخريطة ميزات محسنة، مع إسقاط البكسلات إلى سحابة نقاط ميزات ثلاثية الأبعاد ( $P_{feat}$ ) لتوليد Gaussians عالية الجودة ( $G_{pixel}$ ).
- القصور: يفشل في المناطق المسدودة أو المشاهد الشحيحة، مما يترك فجوات في إعادة البناء.
فرع الحجم (الإكمال - Volume Branch):
- الوظيفة: يكمل الهندسة في المناطق المسدودة باستخدام الـ Cylindrical Triplane.
- العملية:
  - التهيئة: يتم تهيئة الـ Triplanes المحلية بالميزات من فرع البكسل التي تقع ضمن حجمها.
  - التحسين: يستخدم Cross-Plane Attention لتبادل المعلومات بين مستويات الميزات الثلاثة، و Triplane-to-Image Attention لدمج الأدلة البصرية من الصور المصدر.
  - فك التشفير (Decoding): يأخذ عينات من شبكة كثيفة داخل الحجم الأسطواني، ويستعلم من ميزات الـ Triplane المحسنة، ويستخدم MLP للتنبؤ بمعلمات الـ Gaussian المحلية (إزاحات الموضع، المقاييس متباينة الخواص، الدوران، والعتامة).
  - تحويل الإحداثيات: تتضمن الخطوة الحرجة تحويل السمات الأسطوانية المحلية (الإزاحات والمقاييس) إلى إحداثيات كارتيزية عالمية باستخدام مصفوفة جاكوبي (Jacobian matrix) لضمان الرندرة الصحيحة في راندلر (Rasterizer) الـ 3DGS القياسي.
  - استرجاع RGB: لضمان ألوان واقعية، تستخدم الطريقة آلية استرجاع RGB؛ حيث تقوم بإسقاط مراكز الـ Gaussian في المشاهد المصدر، وتحسب درجات الرؤية بناءً على أولويات العمق، وتجمع الألوان من المشاهد الأكثر وضوحاً وغير المسدودة.

ج. المنهج التعليمي (Training Curriculum)

يتم تدريب النموذج في ثلاث مراحل لضمان الاستقرار والأداء:

المرحلة 1: تدريب فرع البكسل فقط (لتأسيس خط أساس عالي الجودة للمناطق المرئية).
المرحلة 2: تجميد فرع البكسل وتدريب فرع الحجم (لتعلم كيفية إكمال الهندسة المسدودة).
المرحلة 3: ضبط مشترك (Fine-tuning) لكلا الفرعين لدمج التفاصيل والاكتمال في مشهد واحد عالي الدقة.

3. المساهمات الرئيسية

تمثيل الـ Cylindrical Triplane: تمثيل هندسي مبتكر مصمم خصيصاً لـ 3DGS البانورامي يلتزم بفرضية "عالم مانهاتن"، مما يقلل التشويه بشكل كبير مقارنة بالبدائل الكارتيزية أو الكروية.
إطار عمل التغذية الأمامية ثنائي الفروع: بنية قوية تجمع بين إعادة البناء القائم على البكسل للمناطق المرصودة وإعادة البناء القائم على الحجم للمناطق المسدودة، مما يسمح بالتعامل المرن مع المشاهد المفردة أو المتعددة.
الرندرة البانورامية المباشرة: استخدام راندلر 3DGS متخصص يرندر الصور متساوية التمثيل الكاملة في تمريرة واحدة، متجنباً عدم كفاءة تجميع صور الـ Cubemaps.
أداء رائد (State-of-the-Art): أظهر نتائج متفوقة في كل من جودة إعادة البناء (WS-PSNR, SSIM) والدقة الهندسية (PCC) عبر مجموعات البيانات الاصطناعية والواقعية.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات اصطناعية (Matterport3D, Replica, Residential) ومجموعة بيانات واقعية (360Loc)، بالإضافة إلى مجموعة بيانات Kansas واسعة النطاق.

الأداء الكمي:
- المشهد الواحد والمشهد المزدوج: تفوقت CylinderSplat على الطرق الرائدة (PanSplat, Splatter360, OmniScene, MVSplat) في جميع المقاييس. على سبيل المثال، في Matterport3D (بخط أساس 2.0 متر)، حققت PCC قدره 0.851 مقابل 0.732 لـ OmniScene، و WS-PSNR قدره 23.76 مقابل 22.75.
- سيناريوهات خط الأساس الواسع: في سيناريوهات المشاهد الشحيحة للغاية (مثل خطوط الأساس 20م-30م في مجموعة بيانات Kansas)، تتسع فجوة الأداء بشكل كبير، حيث تفوقت CylinderSplat على أفضل المنافسين بـ +3.95 dB في WS-PSNR.
- الهندسة: تظهر الطريقة اتساقاً فائقاً في العمق، خاصة في الأرضيات والأسقف حيث تنتج الطرق الأخرى عيوباً.
دراسات الاستئصال (Ablation Studies):
- نظام الإحداثيات: تفوقت الـ Cylindrical Triplanes بشكل كبير على النسخ الكارتيزية والكروية.
- استراتيجية التدريب: حقق المنهج التعليمي ثلاثي المراحل نتائج أفضل من التدريب المتكامل (End-to-end) أو استخدام الفروع بشكل منفصل.
- استرجاع RGB: ضروري لاستعادة التفاصيل عالية التردد التي قد تفقدها ميزات الحجم وحدها.
الكفاءة:
- النموذج خفيف الوزن (13.6 مليون معلمة) وأسرع من المنافسين (وقت استدلال 0.29 ثانية مقابل 0.32 ثانية - 0.54 ثانية للمنافسين).
- يتوسع بفعالية مع 3 و 4 مشاهد مدخلة دون تغيير في البنية.

5. الأهمية

تمثل CylinderSplat تقدماً كبيراً في إعادة البناء البانورامي ثلاثي الأبعاد من خلال سد الفجوة بين كفاءة الـ 3DGS ذات التغذية الأمامية والتعقيدات الهندسية للصور بزاوية 360 درجة.

الأثر العملي: تتيح تخليق مشاهد جديدة عالية الدقة وفي الوقت الفعلي من مدخلات شحيحة (حتى المشاهد المفردة)، وهو أمر بالغ الأهمية لتطبيقات الواقع الافتراضي/المعزز (VR/AR)، والقيادة الذاتية، والتوائم الرقمية.
المساهمة النظرية: تتحدى هيمنة التمثيلات الكارتيزية في 3DGS من خلال إثبات أن أنظمة الإحداثيات المتوافقة مع مقدمات المشهد (عالم مانهاتن) وهندسة الكاميرا (الأسطوانية) تعطي نتائج متفوقة.
المتانة: قدرة الإطار على التعامل مع المشاهد الديناميكية (عبر استراتيجيات تهيئة محددة) وخطوط الأساس القصوى تجعل منه حلاً قوياً للنشر في العالم الحقيقي حيث تكون البيانات غالباً غير مكتملة أو مشوشة.