3DGS-HPC: Distractor-free 3D Gaussian Splatting with Hybrid Patch-wise Classification

إليك ملخص تقني مفصل لورقة البحث بعنوان: "3DGS-HPC: إسقاط غاوس ثلاثي الأبعاد (3D Gaussian Splatting) خالٍ من المشتتات باستخدام التصنيف الهجين القائم على الرقع (Hybrid Patch-wise Classification)."

1. بيان المشكلة

أحدثت تقنية إسقاط غاوس ثلاثي الأبعاد (3DGS) ثورة في مجال تخليق المناظر من زوايا جديدة وإعادة البناء ثلاثي الأبعاد بفضل قدراتها على التقديم (Rendering) في الوقت الفعلي وجودتها العالية. ومع ذلك، تفترض تقنية 3DGS القياسية أن جميع صور التدريب تلتقط مشهداً ثابتاً تماماً. وفي السيناريوهات الواقعية، يتم انتهاك هذا الافتراض بشكل متكرر بسبب المشتتات العابرة (مثل المشاة المتحركين، والمركبات، والظلال المتغيرة).

تحاول الطرق الحالية التخفيف من ذلك عن طريق إنشاء أقنعة ثنائية (Binary Masks) لتصفية البكسلات العابرة أثناء التدريب. ومع ذلك، تعاني النهج الحالية من قصورين حرجين:

1. عدم التطابق الدلالي (Semantic Mismatch): تعتمد الطرق التي تستخدم نماذج الرؤية التأسيسية مسبقة التدريب (مثل SAM أو DINO) على أولويات دلالية عامة (مثل "شخص" أو "سيارة") لا تتوافق تماماً مع التمييز الثنائي المحدد بين "ثابت" و"عابر". يؤدي هذا إلى خطأ في التصنيف (على سبيل المثال، الفشل في فصل ظل أحد المشاة عن الأرض).
2. الهشاشة الدلالية (Semantic Fragility): المقاييس الإدراكية المستخدمة في هذه الطرق حساسة للغاية للاضطرابات الطفيفة في المظهر (مثل التمويه أو تذبذب الألوان) التي يتم إدخالها أثناء تحسين 3DGS. يتسبب هذا في استجابات غير مستقرة، مما يؤدي إلى تصنيف المناطق الثابتة خطأً على أنها عابرة، خاصة في المناطق ذات الأنسجة المنخفضة (Low-texture).

2. المنهجية: التصنيف الهجين القائم على الرقع (HPC)

يقترح المؤلفون 3DGS-HPC، وهو إطار عمل يتجنب الاعتماد على الأولويات الدلالية الخارجية من خلال الجمع بين مبدأين متكاملين: التصنيف القائم على الرقع (Patch-wise Classification) ومقياس التصنيف الهجين (Hybrid Classification Metric).

أ. نهج التصنيف القائم على الرقع (درجة التفصيل)

بدلاً من إجراء تصنيف على مستوى البكسل (الذي يكون مشوشاً) أو الاعتماد على تجميع المناطق الدلالية المعقدة (التي تعاني من عدم التطابق)، يستفيد HPC من افتراض الاتساق المكاني المحلي.

• الآلية: يتم تقسيم الصورة المدخلة إلى رقع منتظمة وغير متداخلة (مثل $16 \times 16$).
• العملية: يتم تجميع خريطة الخطأ (الفرق بين الصور المُصورة والمُخرجة) على مستوى الرقعة (متوسط الخطأ لكل رقعة).
• التصنيف: تُصنف الرقع كـ "ثابتة" أو "عابرة" بناءً على الخطأ المجمع الخاص بها.
  • القائم على المئينات (Percentile-based): إذا كان الجزء الثابت من المشهد معروفاً، يتم تطبيق حد معين.
  • القائم على نموذج الخليط الغاوسي (GMM-based): يقوم نموذج الخليط الغاوسي ثنائي المكونات (GMM) بملاءمة توزيع الخطأ للتمييز تلقائياً بين المكونات ذات الخطأ المنخفض (الثابتة) والخطأ العالي (العابرة).
• الميزة: يلتقط هذا النهج سياقاً محلياً أغنى من الطرق القائمة على البكسل، وهو مقاوم للاضطرابات المحلية، وفعال حاسوبياً دون الحاجة إلى نماذج تقسيم خارجية.

ب. مقياس التصنيف الهجين (الموثوقية)

لمعالجة هشاشة المقاييس الإدراكية البحتة، يقدم HPC مقياساً هجيناً يدمج بين الإشارات الضوئية (Photometric) والإدراكية (Perceptual).

• الخطأ الضوئي ($\epsilon^{(c)}$): يُحسب باستخدام خسارة RGB L1. وهو قوي تجاه الغموض الدلالي ولكنه مشوش في المناطق الخالية من الأنسجة.
• الخطأ الإدراكي ($\epsilon^{(p)}$): يُحسب باستخدام تشابه جيب التمام للميزات من نماذج الرؤية التأسيسية (مثل DINOv2، ResNet، VGG). هو يلتقط الاختلافات الدلالية ولكنه يفشل في المناطق ذات الأنسجة المنخفضة بسبب عدم استقرار الميزات.
• الصيغة الهجينة:
  1. يتم تصنيف خريطة الخطأ الضوئي باستخدام GMM لتقدير النسبة الثابتة العالمية ($T^{(c)}$) للمشهد.
  2. تُستخدم هذه النسبة المقدرة كحد لتصنيف خريطة الخطأ الإدراكي (باستخدام طريقة المئينات).
  3. القناع الثابت النهائي هو تقاطع الأقنعة المستمدة من كلا المقياسين: $M^{(f)} = M^{(c)} \cap M^{(p)}$.
• النتيجة: يسمح هذا التآزر للمقياس الضوئي بتوجيه نسبة البكسلات الثابتة، مما يصحح نزعات الإفراط في التقسيم التي تظهر في المقاييس الإدراكية في المناطق ذات الأنسجة المنخفضة.

3. المساهمات الرئيسية

1. إطار عمل مبتكر (HPC): إطار عمل 3DGS خالٍ من المشتتات يلغي الحاجة إلى الأولويات الدلالية الخارجية، مما يعالج مشكلات عدم التطابق الدلالي والهشاشة.
2. استراتيجية الرقع (Patch-wise Strategy): نهج تصنيف يستفيد من الاتساق المكاني المحلي، مما يوفر توازناً بين الوعي بالسياق والكفاءة الحسابية.
   {% 3. المقياس الهجين: مقياس خطأ مبتكر يدمج بشكل تكيفي بين الإشارات الضوئية والإدراكية، مما يضمن فصلاً قوياً بين المناطق الثابتة والعابرة حتى في السيناريوهات الصعبة ذات الأنسجة المنخفضة.
3. التحقق الشامل: تجارب مكثفة تثبت الأداء المتفوق في كل من جودة إعادة البناء والمتانة عبر مجموعات بيانات متنوعة من العالم الحقيقي.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعتي بيانات قياسيتين: RobustNeRF (مشاهد داخلية مع مشتتات محكومة) و On-the-go (مشاهد داخلية/خارجية تم التقاطها بشكل عشوائي مع معدلات احتجاب متفاوتة).

• الأداء الكمي:
  • تفوق HPC باستمرار على الطرق الرائدة (بما في ذلك WildGaussians، و SLS-mlp، و T-3DGS، و HybridGS) في مقاييس PSNR و SSIM و LPIPS.
  • في مجموعة بيانات RobustNeRF، حقق HPC متوسط PSNR قدره 29.81 dB، وهو أعلى بكثير من 3DGS الأصلي (26.46 dB) ومن النماذج المرجعية الأخرى.
  • أظهرت الطريقة أداءً ثابتاً بغض النظر عن نموذج الرؤية المستخدم للمكون الإدراكي (VGG أو ResNet أو DINOv2)، مما يثبت قابليتها للتعميم.
• الأداء النوعي:
  • تظهر المقارنات البصرية أن HPC يزيل بفعالية الآثار الناتجة عن المشاة والظلال مع الحفاظ على التفاصيل الثابتة الدقيقة (مثل أنسجة الجدران وأنماط الأرضية) التي قد تقوم الطرق الأخرى بتصفيتها بالخطأ.
  • الأقنعة الثابتة المولدة أكثر نظافة ودقة، وتتجنب "عدم التطابق الدلالي" الذي تظهره الطرق التي تستخدم SAM أو superpixels.
• الكفاءة:
  • يعد HPC فعالاً للغاية، حيث يتطلب ذاكرة GPU أقل بكثير (حوالي 2.0 جيجابايت مقابل 16 جيجابايت لـ WildGaussians) وأوقات تدريب أسرع مقارنة بالطرق التي تعتمد على أولويات دلالية ثقيلة.

5. الأهمية

تعالج هذه الورقة عقبة أساسية في نشر 3DGS للتطبيقات الواقعية: عدم القدرة على التعامل مع البيئات الديناميكية غير المنضبطة. من خلال الابتعاد عن الاعتماد على نماذج دلالية خارجية (التي غالباً ما تكون غير متوافقة مع المهمة المحددة لإزالة المشتتات) والتركيز بدلاً من ذلك على الاتساق المكاني المحلي ومقاييس الخطأ الهجينة، قدم المؤلفون حلاً أكثر قوة وكفاءة وقابلية للتعميم.

يشير هذا العمل إلى أنه بالنسبة لإعادة البناء الخالي من المشتتات، فإن التحسين الخاص بالمهمة (باستخدام الاتساق المحلي ونمذجة توزيع الخطأ) أكثر فعالية من الأولويات الدلالية العامة. يمهد هذا النهج الطريق لإعادة بناء مشاهد ثلاثية الأبعاد أكثر موثوقية في مجموعات الصور غير المنظمة ("في البرية").