GSM-GS: Geometry-Constrained Single and Multi-view Gaussian Splatting for Surface Reconstruction

إليك ملخص تقني مفصل لورقة البحث بعنوان "GSM-GS: إعادة بناء الأسطح باستخدام التوزيع الغاوسي أحادي ومتعدد المنظور المقيد هندسيًا."

1. بيان المشكلة

بينما أحدثت تقنية التوزيع الغاوسي ثلاثي الأبعاد (3DGS) ثورة في إعادة البناء ثلاثي الأبعاد وتوليد مناظر من زوايا جديدة بفضل سرعة التدريب العالية ودقة الرندرة (Rendering) الفائقة، إلا أنها تواجه تحديات كبيرة في الدقة الهندسية، لا سيًا في إعادة بناء الأسطح.

• الطبيعة غير المهيكلة: غالبًا ما تؤدي الطبيعة غير المهيكلة وغير المنتظمة لسحب النقاط الغاوسية إلى عدم دقة في التقاط البنى المجهرية المعقدة للأسطح.
• الاعتماد على النسيج (Texture Dependency):
  • في المناطق الغنية بالنسيج (Texture-rich): تتداخل مكونات النسيج عالية التردد مع قيود الاتساق الضوئي، مما يسبب غموضًا بين اتجاه المتجه العمودي (Normal vector) وتباين الخواص الغاوسي (Gaussian anisotropy).
  • في المناطق الخالية من النسيج أو الملساء (Texture-less): يؤدي نقص معلومات التدرج (Gradient) إلى وقوع في القيم الصغرى المحلية (Local minima) عند تقدير المتجهات العمودية، مما ينتج عنه هندسة مفرطة التنعيم وتشويه في انحناء السطح.
• عدم الاتساق متعدد المنظور: تفتقر العناصر الغاوسية المنفصلة غالبًا إلى قيود الهندسة والمظهر عبر المنظورات المختلفة، مما يؤدي إلى ظهور عيوب في إعادة البناء وتشويه هندسي في المناظر الجديدة.

تعاني الطرق الحالية (مثل NeRF، و3DGS القياسي، وPGSR) من صعوبة في الموازنة بين كفاءة التدريب وإعادة البناء الهندسي عالي الدقة، خاصة في المشاهد ذات جودة النسيج المختلطة أو التي تحتوي على عوائق (Occlusions).

2. المنهجية: إطار عمل GSM-GS

يقترح المؤلفون GSM-GS، وهو إطار تحسين تآزري يدمج وزن المناطق الفرعية التكيفي أحادي المنظور وصقل البنية المكانية متعدد المنظور. يعتمد المنطق الجوهري على استراتيجية ذات فرعين للمناظر الفردية واستراتيجية أخذ عينات موجهة هندسيًا للمناظر المتعددة.

أ. التحسين أحادي المنظور: قيود المناطق الفرعية التكيفية

تقوم الطريقة بتقسيم المشهد ديناميكيًا بناءً على ميزات تدرج الصورة لتطبيق قيود متمايزة:

1. تقسيم المناطق:
   • المناطق الغنية بالنسيج ($R$): يتم تحديدها باستخدام تدرجات صورة "سوبل" (Sobel).
   • المناطق الخالية من النسيج ($B$): يتم تحديدها حيث تكون التدرجات أقل من عتبة معينة (المئوية 75).
2. وزن الثقة:
   • يتم إنشاء خريطة وزن $W$ بناءً على التفاوت بين العمق المُرندَر (Rendered depth $D$) والعمق غير المنحاز ($\hat{D}$). تُعطى الأولوية للمناطق ذات التفاوت المنخفض (الثقة العالية).
3. استراتيجية القيود ثنائية الفرع:
   • للمناطق الغنية بالنسيج: يتم تطبيق قيد ثنائي الفرع. يجمع بين فقدان الفرق في المتجهات العمودية القياسي وقيد التعامد ($L_{cross}$). يفرض هذا القيد التعامد بين تدرج العمق واتجاه المتجه العمودي، مما يمنع الغموض الهندسي الناتج عن الأنسجة عالية التردد.
   • للمناطق الخالية من النسيج: يتم استخدام حد تنظيم التباين الكلي (Total Variation - TV) الموزون بتشابه الألوان. يعمل هذا على تنعيم الهندسة مع الحفاظ على الانقطاعات الفيزيائية، مما يمنع التنعيم المفرط وانتشار الضجيج في المناطق الموحدة.

ب. التحسين متعدد المنظور: الاتساق الموجه هندسيًا

لفرض الاتساق عبر المنظورات، تستخدم الطريقة نموذج ارتباط هندسي مستمر ثلاثي الأبعاد:

1. أخذ العينات الديناميكي الموجه بالأوزان:
   • يتم حساب أوزان الثقة العالمية ($W_{avg}$) عن طريق دمج أوزان المنظور الخاصة من المنظور الحالي والمناظير المجاورة.
   • يتم استخدام قناع صلاحية هندسية ثنائي لتصفية الضجيج القريب والعوائق.
   • أخذ العينات التكيفي: يتم أخذ عينات من السحب النقطية ذات الثقة العالية بناءً على الأوزان العالمية، مما يضمن تطبيق القيود فقط على العناصر الهندسية المستقرة.
2. قيود المتجهات العمودية عبر المنظورات:
   • يتم محاذاة السحب النقطية من المنظور الحالي والمناظير المجاورة عبر تحويل صلب ($SE(3)$).
   • تقدير المتجه العمودي القائم على PCA: يتم استخراج رقع السطح المحلية (3x3)، ويُستخدم تحليل المكونات الرئيسية (PCA) لحساب متجهات السطح العمودية.
   • وزن الانحناء: يتم تطبيق وزن اضمحلال أسي بناءً على الانحناء المحلي (القيم الذاتية لـ PCA). تحصل المناطق الأكثر استواءً واستقرارًا على أوزان أعلى.
   • دالة الفقد: يقلل فقد تشابه جيب التمام الموزون ($L_{mvgeo}$) من فرق الزاوية بين المتجهات العمودية للنقاط المتقابلة في الإطارات المتجاورة، مما يفرض الاتساق الهندسي.

ج. دالة الفقد الكلية

يجمع هدف التدريب النهائي بين فقد الفوتومترية (Photometric loss) والقيود الهندسية المقترحة:
$$L = L_{rgb} + L_{svgeo} + \lambda_3 L_{mvgeo}$$
حيث أن $L_{svgeo}$ هو فقد الفرع المزدوج أحادي المنظور، و $L_{mvgeo}$ هو فقد الاتساق متعدد المنظور.

3. المساهمات الرئيسية

1. قيد المنطقة الفرعية التكيفي أحادي المنظور: استراتيجية تحسين ثنائية الفرع تفصل بين المناطق الغنية بالنسيج والخالية منه. تستخدم تدرجات الصورة للتقسيم وتفاوتات العمق لوزن الثقة، وتطبق قيود التعامد للمناطق التفصيلية وتنظيم TV للمناطق الملساء.
2. الاتساق متعدد المنظور الموجه هندسيًا: استراتيجية أخذ عينات ديناميكية موجهة بالأوزان مقترنة بارتباط المتجهات العمودية عبر المنظورات. يبني هذا نموذجًا هندسيًا مستمرًا ثلاثي الأبعاد، مما يعالج بفعالية فقد الاتساق متعدد المنظور في المشاهد المعقدة عن طريق تصفية العناصر غير المستقرة.
3. تقييم شامل: تجارب مكثفة على مجموعات بيانات مرجعية (DTU, Mip-NeRF360, Tanks and Temples) تظهر أداءً فائقًا في كل من إعادة بناء الأسطح وتوليد المناظر من زوايا جديدة مقارنة بالطرق الحديثة (3DGS, PGSR, 2DGS, إلخ).

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث مجموعات بيانات رئيسية:

• مجموعة بيانات DTU (الدقة الهندسية):

  • حققت متوسط مسافة شامفر (Chamfer Distance - CD) قدرها 0.51 مم، متفوقة على PGSR (0.53 مم) ومتفوقة بشكل كبير على النماذج الأخرى مثل 2DGS (0.76 مم) وGOF (0.81 مم).
  • حققت أفضل النتائج في 13 من أصل 15 مشهدًا.
  • زاد وقت التدريب قليلاً (0.45 ساعة مقابل 0.28 ساعة لـ PGSR) ولكنها حققت دقة هندسية أعلى بكثير.

• مجموعة بيانات Tanks and Temples (درجة F1-Score):

  • حققت متوسط F1-Score قدره 0.36، وهو ما يمثل تحسنًا بنسبة 16.4% إلى 63.6% مقارنة بـ 2DGS وGOF وRaDe-GS، وتحسنًا بنسبة 5.9% عن PGSR.
  • أظهرت قوة في البيئات واسعة النطاق وغير المقيدة ذات الإضاءة الديناميكية.

• مجموعة بيانات Mip-NeRF360 (توليد المناظر من زوايا جديدة):

  • حققت نتائج تنافسية في PSNR وSSIM وLPIPS.
  • حققت بشكل ملحوظ أفضل قيمة LPIPS (0.175) في متوسط جميع المشاهد، مما يشير إلى جودة إدراكية فائقة.
  • أظهرت النتائج النوعية حفظًا أفضل للتفاصيل الدقيقة (مثل خطوط الأرض وهياكل الأشجار) وتقليل العيوب (مثل عدم استواء الأرض) مقارنة بالنماذج الأخرى.

• دراسات الاستئصال (Ablation Studies):

  • أكدت أن كل من القيود أحادية المنظور ($L_{svgeo}$) ومتعددة المنظور ($L_{mvgeo}$) يحسنان الأداء بشكل مستقل.
  • الجمع بينهما أعطى أفضل النتائج، مما يثبت التأثير التآزري للإطار العملي.

5. الأهمية

يمثل GSM-GS تقدمًا كبيرًا في مجال التوزيع الغاوسي ثلاثي الأبعاد (3DGS) من خلال معالجة الفجوة الحرجة بين سرعة الرندرة والدقة الهندسية.

• المتانة: تستهدف الط้ำة تحديدًا نقاط الضعف في الطرق الحالية في المناطق الخالية من النسيج والبنى المجهرية المعقدة، وهي نقاط فشل شائعة في 3DGS القياسي.
• الكفاءة مقابل الدقة: تحقق إعادة بناء عالية الدقة مع زيادة طفيفة جدًا في العبء الحسابي، مما يجعلها قابلة للتطبيق في مجالات الروبوتات، والواقع المعزز/الافتراضي، والقيادة الذاتية حيث تتطلب هذه المجالات السرعة والدقة الهندسية معًا.
• التعميم: تسمភាព القيود التكيفية يسمح للطريقة بالتعميم بشكل جيد عبر بيئات متنوعة، من البيئات الداخلية إلى التضاريس الخارجية واسعة النطاق.

تخلص الورقة إلى أنه بينما لا تزال هناك تحديات تتعلق بالمواد الشفافة والأسطح شديدة الانعكاس، فإن GSM-GS يضع معيارًا جديدًا للتوزيع الغاوسي المقيد هندسيًا، حيث يقلل بفعالية من العيوب الهندسية ويعزز دقة إعادة بناء الأسطح.