Eulerian Gaussian Splatting using Hashed Probability Pyramids

ملخص تقني: التقطيع الغاوسي الأويلري باستخدام الهرم الاحتمالي المعتمد على التجزئة (Hashed Probability Pyramids)

بيان المشكلة
تحقق طرق "التقطيع الغاوسي ثلاثي الأبعاد" (3DGS) الحالية عرضاً في الوقت الفعلي من خلال تمثيل المشاهد باستخدام نماذج غاوسية منفصلة. ومع ذلك، فإن تحسين هذه المشاهد يعتمد على "التحكم التكيفي في الكثافة" (ADC)، وهو مجموعة من الاستدلالات (heuristics) التي يتم ضبطها يدوياً (مثل التقسيم، والاستنساخ، والحذف) لإضافة أو إزالة النماذج الأولية أثناء التدريب. يمكن أن تكون هذه الاستدلالات هشة وقد تؤدي إلى نهايات صغرى محلية غير مثالية. وفي المقابل، تقوم حقول الإشعاع العصبي (NeRFs) بتحسين كثافات حجمية مستمرة عبر الانحدار الاشتقاقي، مما يوفر استقراراً أكبر ولكنه يعاني من بطء سرعة العرض. تعالج الورقة البحثية الحاجة إلى إطار عمل يحافظ على كفاءة العرض الخاصة بـ 3DGS مع تبني التحسين القائم على الاشتقاق لـ الحقول المستمرة، مما يلغي الحاجة إلى التلاعب بالنماذج الأولية عبر الاستدلالات اليدوية.

المنهجية
يقترح المؤلفون "التقطيع الغاوسي الأويلري" (EGS)، وهو إطار عمل احتمالي ينتقل من الرؤية "اللاغرانجية" (تحريك النماذج الأولية بشكل صريح) إلى الرؤية "الأويلرية" (تحسين دالة كثافة احتمالية فوق حجم المشهد).

1. نموذج العرض الاحتمالي:
بدلاً من تحسين مواضع غاوس الفردية، يُعرف EGS دالة كثافة احتمالية حجمية $p_\theta(\mu)$ عبر الفضاء ثلاثي الأبعاد. في كل تكرار تدريبي، يتم أخذ مجموعة منفصلة من $N$ من مراكز غاوس $\mu_i$ من هذا التوزيع. ثم يتم عرض هذه المراكز المأخوذة باستخدام تقنية التقطيع القياسية لـ 3DGS. يتم تقليل الخسارة عن طريق تحسين معاملات التوزيع الاحتمالي الأساسي $\theta$ وسمات غاوس $\phi$ (اللون، المقياس، الدوران، والعتامة).

2. الهرم الاحتمالي المعتمد على التجزئة (Hashed Probability Pyramid):
لتمثيل كثافة الاحتمال $p_\theta(\mu)$ بكفاءة عند دقات عالية دون نمو غير معقول في الذاكرة، قدم المؤلفون "هرم الاحتمال المعتمد على التجزئة":

• الهيكل: هو شبكة هرمية متعددة المقاييس حيث يتم تمثيل كثافة الاحتمال كحاصل ضرب دوال ثابتة جزئياً عبر $L$ من المستويات.
• كفاءة الذاكرة: لتجنب النمو التكعيبي للمعاملات، تستخدم الطريقة ترميز التجزئة (hash encoding). في كل مستوى، يتم تقسيم الشبكة باستخدام ميزانية محدودة ($B$) من الكتل بحجم $2\times2\times2$. تقوم دالة تجزئة بربط مؤشرات الشبكة بهذه الكتل، مما يسمح بتمثيل توزيع عالي الدقة (على سبيل المثال $4096^3$) باستخدام مجموعة مدمجة من المعاملات (حوالي 86 مليون معامل لشبكة $4096^3$، مما يتطلب 0.33 جيجابايت فقط).
• أخذ العينات: يتم أخذ العينات بكفاءة عبر التنقل في الهيكل من المستويات الخشنة إلى الناعمة. وقد جعلت هذه العملية قابلة للاشتقاق بالكامل من خلال ربط العينات العشوائية عبر المستويات باستخدام دوال الجزء الكسري الحتمية.

3. تقدير الاشتقاق وتقليل التباين:
إن تحسين توزيع عبر الانحدار الاشتقاقي العشوائي يؤدي إلى تباين عالٍ. وُجد أن مقدر المسار القياسي (باستخدام الاشتقاق التلقائي عبر عملية أخذ العينات) غير مستقر.

• المتغيرات الضابطة (Control Variates): اشتق المؤلفون مقدراً غير متحيز للاشتقاق بناءً على "دالة الدرجة" (score function)، معززاً بالمتغيرات الضابطة.
• الرؤية الجوهرية: يتم وزن مساهمة الاشتقاق لعينة محددة بتأثيرها الفردي على الصورة المعروضة. وتحديداً، يتم استخدام الفرق بين الصورة الكاملة $I$ والصورة المعروضة بدون الغاوس رقم $i$ ($I_{-i}$).
• الكفاءة: من المهم ملاحظة أن $(I - I_{-i})$ يمكن حسابه مباشرة من العتامة $o_i$ واشتقاق الخسارة بالنسبة للعتامة ($\partial I / \partial o_i$) أثناء تمرير الخلف (backward pass) القياسي. وهذا يتجنب التكلفة الحسابية لعرض $M$ من الصور المنفصلة مع تقليل تباين الاشتقاق بشكل كبير.

4. استراتيجيات التدريب:

• أخذ العينات الدفاعي (Defensive Sampling): يتم إضافة ضوضاء غاوسية إلى مجموعة فرعية من العينات في وقت مبكر من التدريب لمنع كثافة الاحتمال من الانهيار إلى الصفر في المناطق التي قد تصبح مهمة لاحقاً.
• تقريب العينات (Sample Rounding): يتم تقريب مواضع العينات إلى مركز أصغر خلية في الشبكة لتقليل التباين الناتج عن الإزاحات الموضعية الطفيفة.
• إزالة التكرار: يتم إزالة العينات المكررة (الناتجة عن التقريب) قبل العرض، مما يؤدي طبيعياً إلى تقليم عدد نماذج غاوس أثناء تحسين النموذج.
• التحسين (Refinement): بعد تحسين شبكات الاحتمال والسمات، تتم خطوة تحسين نهائية تعتمد على التحسين القياسي القائم على الاشتقاق لمجموعة من نماذج غاوس المنفصلة لمدة 5,000 تكرار.

المساهمات الرئيسية

• الصياغة الأويلرية: نهج جديد يربط بين NeRF و3DGS عبر تحسين حقل احتمالي مستمر للتحكم في وضع نماذج غاوس المنفصلة، مما يلغي الحاجة إلى التحكم في الكثافة عبر الاستدلالات اليدوية.
• الهرم الاحتمالي المعتمد على التجزئة: تمثيل متعدد المقاييس، عالمي التطبيع، وموفر للذاكرة لكثافات الاحتمال ثلاثية الأبعاد، مما يسمح بتحسين عالي الدقة على وحدة معالجة رسومات واحدة (GPU).
• مقدر اشتقاق منخفض التباين: مقدر يعتمد على المتغيرات الضابطة يعزل مساهمة كل نموذج غاوس في الصورة المعروضة، مما يسمح بتدريب مستقر لتوزيع الاحتمال دون التباين العالي لمقدرات المسار القياسية.
• تدريب خالٍ من الاستدلالات: يحقق الأسلوب نتائج هي الأفضل حالياً (SOTA) بدءاً من تهيئة عشوائية موحدة، دون الاعتماد على نقاط (SfM) أو قواعد التقسيم/الحذف اليدوية.

النتائج
تم تقييم الطريقة على مجموعات بيانات mip-NeRF 360 وTanks & Temples وDeep Blending.

• الأداء: يحقق EGS جودة إعادة بناء هي الأفضل حالياً بين النماذج التي تم تهيئتها عشوائياً، متفوقاً على النماذج المرجعية مثل 3DSG-MCMC وTaming-3DGS في قيمة PSNR الإجمالية.
• المقارنة مع الطرق المعتمدة على SfM: بينما تؤدي النماذج التي تم تهيئتها بنقاط COLCOMP أداءً أفضل قليلاً، فإن EGS الذي يبدأ من تهيئة عشوائية يقلص الكثير من هذه الفجوة، مما يظهر متانة الطريقة.
• دراسات الاستئصال (Ablation Studies): تم تحديد مقدر الاشتقاق المخصص كأكثر المكونات أهمية؛ فبدونه، يصبح التدريب غير مستقر ويصل إلى نتائج سيئة. كما توفر تنظيمات العتامة وأخذ العينات الدفاعي فوائد كبيرة للاستقرار.
• الكفاءة: رغم أن عملية التدريب أبطأ وأكثر استهلاكاً للذاكرة من 3DGS القياسي بسبب العدد الكبير من العينات واستعلامات شبكة التجزئة، إلا أن سرعة العرض النهائية تظل مماثلة لـ 3DGS.

الأهمية
تزعم الورقة أن EFS يقدم "جسراً مبدئياً" بين تحسين الحقول المستمرة والتقطيع الغاوسي المنفصل. ومن خلال استبدال الاستدلالات الهشة بتوزيع احتمالي قابل للتعلم، يسمح إطار العمل بهندسة المشهد بالظهور تماماً من خلال إشارات الاشتقاق. وهذا يتيح إجراء تدريب بسيطاً وقابلاً للانتهاء (end-to-end) يمكن تعميمه عبر مشاهد متنوعة دون الحاجة إلى تهيئة هندسية مسبقة (SfM) أو تدخل يدوي، مما يثبت أن الصياغات القائمة على أخذ العينات يمكن أن تحقق عمليات إعادة بناء عالية الجودة مع الحفاظ على كفاءة العرض القائم على التقطيع (splat-based rendering).