ملخص تقني: LocusGS

بيان المشكلة

تحولت أساليب "Gaussian Splatting" ثلاثية الأبعاد (3DGS) الحديثة ذات التغذية الأمامية (feed-forward) من التحسين المكلف لكل مشهد إلى التنبؤ المباشر من المشاهد المدخلة. ومن بين هذه الأساليب، تمثل النهج القائمة على الاستعلام (مثل TokenGS) المشهد باستخدام مجموعة ثابتة من الاستعلامات القابلة للتعلم (الرموز/tokens). يقوم كل رمز بتجميع الأدلة من زوايا متعددة عبر "Transformer decoder"، ويتم فك تشفيره إلى مجموعة من الـ Gaussians ثلاثية الأبعاد.

ومع ذلك، لاحظ المؤلفون عيباً حرجاً في الأساليب الحالية القائمة على الاستعلام: ضعف التماسك المكاني. فبينما ينبغي نظرياً أن تتخصص الاستعلامات المختلفة في مناطق محلية متميزة ومتماسكة في المشهد، فإن الـ Gaussians التي يتم فك تشفيرها من استعلام كامن واحد غالباً ما تتشتت عبر مناطق بعيدة وغير مرتبطة في المشهد. يؤدي هذا إلى توزيع منتشر مكانياً لا يتوافق بشكل جيد مع بنية المشهد الأساسية. ويعزو المؤلفون هذا الفشل إلى التمثيل الكامن الصرف لاستعلامات Gaussian الحالية، والتي تفتقر إلى مفهوم صريح لـ أين يعمل الاستعلام في الفضاء ثلاثي الأبعاد أو مدى حجم المنطقة التي يغطيها. وبناءً على ذلك، فإن الأدلة متعددة المشاهد التي يجمعها الاستعلام والـ Gaussians الناتجة عنها لا تكون مقيدة بمنطقة محلية متماسكة.

المنهجية: LocusGS

لمعالجة ذلك، يقترح المؤلفون LocusGS (الرموز المرتبطة مكانياً)، والذي يعزز كل استعلام Gaussian بـ حالة مرساة ثلاثية الأبعاد (3D anchor state) صريحة. تتكون هذه الحالة من مركز ثلاثي الأبعاد ($\mu$) ونصف قطر دعم ($r$).

المكونات الرئيسية

1. حالات المرساة ثلاثية الأبعاد الصريحة:
   بدلاً من تمثيل الاستعلام فقط كمتجه سمات كامن، يربط LocusGS كل استعلام $i$ عند طبقة فك التشفير $l$ بحالة مرساة $a^l_i = (\mu^l_i, r^l_i)$.

   • المركز ($\mu$): يحدد الموقع المرجعي ثلاثي الأبعاد الحالي للاستعلام.
   • نصف القطر ($r$): يحدد مدى منطقة الدعم المحلية للاستعلام. يتم تمثيل نصف القطر عبر متغير غير مقيد $\rho$ يمر عبر دالة softplus لضمان الإيجابية.
   • هذه الحالات قابلة للتعلم، مشتركة عبر المشاهد، ويتم تحسينها تدريجياً عبر طبقات فك التشفير.

2. فك التشفير الموجه بالمرساة (Anchor-Guided Decoder):
   يستخدم فك التشفير حالات المرساة لتوجيه آليات الانتباه الذاتي (self-attention) والانتباه المتقاطع (cross-attention):

   • الانتباه الذاتي المدرك للمرساة: يتم حقن تضمين موضعي مشتق من مركز المرساة $\mu$ في سمات الرموز (token features). يسمح هذا بالتفاعلات بين رموز Gaussian بأن تعتمد على مواقعها ثلاثية الأبعاد النسبية، وليس فقط على تشابه السمات الكامنة.
   • الانحياز الهندسي من المرساة إلى الشعاع (الانتباه المتقاطع): لتجميع الأدلة من زوايا متعددة، تقدم الطريقة انحيازاً هندسياً بناءً على المسافة بين مركز مرساة الاستعلام $\mu^l_i$ وأشعة الكاميرا $\ell_j$ المرتبطة برموز الصور.
     • يتم تعريف الانحياز كـ $b^l_{ij} = -\frac{1}{2} \left( \frac{D(\mu^l_i, \ell_j)}{\sigma_0 r^l_i} \right)^2$، حيث $D$ هي المسافة الإقليدية من النقطة إلى الشعاع.
     • يعاقب هذا الانحياز رموز الصور التي تكون أشعتها بعيدة عن المرساة، مما يوجه الاستعلام للتركيز على الملاحظات ذات الصلة هندسياً. يتحكم نصف القطر $r^l_i$ في عرض نطاق هذا التفضيل المكاني.

3. التحسين الديناميكي للمرساة:
   بعد كل طبقة فك تشفير، تتنبأ سمات الرموز بتحديثات متبقية ($\Delta \mu, \Delta \rho$) لمركز المرساة ونصف القطر. يسمح هذا لحالة المرساة بتكييف موقعها ثلاثي الأبعاد ومقياس دعمها مع المشهد المدخل المحدد مع تقدم عملية فك التشفير.

4. فك تشفير Gaussian المتمركز حول المرساة:
   في مرحلة فك التشفير النهائية، لا يتم التنبؤ بالـ Gaussians بطريقة غير مقيدة تماماً. بدلاً من ذلك، يتنبأ النموذج بإزاحات محلية ($\delta$) بالنسبة لمركز المرساة النهائي المنقح. يتم حساب مركز Gaussian النهائي كالتالي:
   $$\mu^G_{i,k} = \mu^L_i + r^L_i \delta_{i,k}$$
   هنا، يوفر مركز المرساة المرجع العالمي، بينما يقوم نصف القطر بتوسيع الإزاحات المحلية. تفرض هذه الصيغة أن تشكل الـ Gaussians التي يتم فك تشفيرها من رمز واحد مجموعة محلية مدمجة حول المرساة، بدلاً من التشتت بحرية.

5. الإشراف على التصيير متعدد الطبقات:
   يتضمن هدف التدريب الإشراف على التصيير في طبقات فك التشفير المتوسطة (بالإضافة إلى الطبقة النهائية). يجمع الفقد (loss) بين إعادة بناء الصورة (MSE + SSIM) مع تنظيم الرؤية (visibility regularization) المطبق على مراكز Gaussian المفككة ومراكز المرساة، مما يشجع على التنظيم المكاني المتماسك طوال عملية فك التشفير.

المساهمات الرئيسية

• الربط المكاني للاستعلامات: تقديم حالات مرساة ثلاثية الأبعاد صريحة (المركز ونصف القطر) لـ 3DGS القائم على الاستعلام، متجاوزاً التمثيلات الكامنة البحتة.
• الآليات المدركة للمرساة: تصميم انحيازات هندسية للانتباه المتقاطع (من المرساة إلى الشعاع) وتضمينات موضعية للانتباه الذاتي تستخدم حالة المرساة لفرض التماسك المكاني.
• توليد Gaussian مهيكل: استراتيجية فك تشفير تتنبأ بإزاحات محلية موسعة بنصف قطر المرساة، مما يضمن أن تولد الرموز مجموعات Gaussian مدمجة مكانياً.
• التحسين التدريجي: آلية لتحسين مواقع المرساة وأنصاف أقطار الدعم بشكل متكرر عبر طبقات فك التشفير، مما يسمح للنموذج بالتكيف مع هندسة المشهد.

النتائج التجريبية

يقيم المؤلفون LocusGS في اختبارات تركيب الرؤية الجديدة، وتحديداً RealEstate10K (RE10K) و DL3DV، مقارنة بالنماذج المرجعية مثل TokenGS و MVSplat و DepthSplat.

• جودة التصيير: تحت ميزانيات متساوية للرموز والـ Gaussians، يتفوق LocusGS باستمرار على النماذج المرجعية القائمة على الاستعلام (TokenGS) في PSNR و SSIM و LPIPS. على سبيل المثال، في DL3DV مع 4 مشاهد مدخلة، يحقق LocusGS (4096 رمزاً) PSNR قدره 24.80 مقارنة بـ 23.44 لـ TokenGS.
• التنظيم المكاني: تظهر التحليلات النوعية والكمية أن LocusGS ينتج توزيعات Gaussian أكثر هيكلية بشكل ملحوظ.
  • تماسك مستوى الرمز: قدمت الورقة مقياس $C_{centroid}$ لقياس تشتت الـ Gaussians داخل الرمز. يقلل LocusGS بشكل كبير من هذا التشتت (على سبيل المثال، من 5.11 إلى 0.19 في RE10K)، مما يشير إلى أن الـ Gaussians من رمز واحد متجمعة بإحكام.
  • تخطيطات المرساة: تشكل المراسي المتعلمة هيكلاً مكانياً خشناً ومتماسكاً فوق المشهد، تغطي الهياكل الرئيسية وتكيف أنصاف أقطارها مع التعقيد المحلي (أنصاف أقطار أكبر في المناطق المتفرقة، وأصغر في المناطق التفصيلية).
• التعميم: يحافظ النموذج على ميزانية ثابتة لـ Gaussian بغض النظر عن عدد المشاهد المدخلة، على عكس الطرق الكثيفة المعتمدة على البكسل. كما أظهر أداءً قوياً عند اختباره مع أعداد متفاوتة من مشاهد السياق (2، 4، و 6 مشاهد) في DL3DV.
• الكفاءة: على الرغم من أن LocusGS لديه عدد بارامترات أعلى قليلاً (241.5 مليون مقابل 222.0 مليون لـ TokenGS) وزمن انتقال أمامي (latency) أعلى، إلا أنه يحقق جودة إعادة بناء فائقة دون زيادة في عدد الـ Gaussians المتنبأ بها.

الأهمية والادعاءات

تدعي الورقة أن حالات المرساة ثلاثية الأبعاد الصريحة توفر سابقاً مكانياً فعالاً لـ 3DGS ذي التغذية الأمامية القائم على الاستعلام. من خلال ربط الاستعلامات بالفضاء ثلاثي الأبعاد، يحول LocusGS رموز Gaussian من مجرد تضمينات كامنة ضمنية إلى استعلامات إعادة بناء مكانية قابلة للتفسير.

ويجادل المؤلفون بأن هذا النهج لا يحسن دقة التصيير فحسب، بل يعزز بشكل أساسي التنظيم المكاني والقابلية للتفسير للتمثيل. وتظهر النتائج أن الحالات المكانية الصريحة تشجع الاستعلامات على التخصص في مناطق محلية متماسكة، مما يؤدي إلى توزيعات Gaussian أكثر هيكلية تتوافق بشكل أفضل مع هندسة المشهد. يشير العمل إلى أن دمج الحالات الهندسية في آلية الاستعلام هو خطوة حاسمة نحو إعادة بناء مشهد ثلاثي الأبعاد أكثر قوة وهيكلية.