ملخص تقني: OpenGaFF

بيان المشكلة

يواجه فهم المشاهد ثلاثية الأبعاد ذات المفردات المفتوحة (open-vocabulary) باستخدام التمثيلات القائمة على "الغاوسيان" (Gaussian-based representations) تحديات كبيرة تتعلق بالتماسك المكاني والاتساق الدلالي. وبينما توفر تقنية "تشتت الغاوسيان ثلاثي الأبعاد" (3DGS) تمثيلات مشهدية فعالة وصريحة، فإن الطرق الحالية لدمج الدلالات (semantics) تعاني غالباً من ضعف الارتباط بين الهندسة والدلالة. يؤدي هذا إلى تنبؤات مجزأة، وتمثيلات دلالية غير متسقة مكانياً، وإسناد دلالي غير موثوق، لا سيما بالنسبة للأجسام الشفافة أو السيناريوهات المعقدة متعددة الرؤى. تندرج النهج الحالية عموماً ضمن ثلاث فئات ذات قيود متميزة:

1. الضغط ثم فك التشفير (Compress-then-decode): تقوم هذه الطرق بإسقاط سمات اللغة عالية الأبعاد إلى تضمينات منخفضة الأبعاد، مما يؤدي إلى فقدان المعلومات الدلالية دقيقة التفاصيل ويحد من الفهم ذو المفردات المفتوحة.
2. تجميع السمات (Feature aggregation): تقوم بدمج سمات الرؤى المتعددة باستخدام أوزان العتامة المستندة إلى المظهر، والتي غالباً ما تفشل في التوافق مع الأهمية الدلالية (على سبيل المثال، تخصيص عتامة تقترب من الصفر للزجاج الشفاف).
3. القائم على كتاب الرموز (Codebook-based): بينما تقوم هذه الطرق بتجزئة الدلالات إلى تضمينات مشتركة، إلا أنها غالباً ما تعين السمات بطريقة غير مرتبطة بالهندسة، مما يؤدي إلى تنبؤات غير متسقة مكانياً وتمثيلات مجزأة للأجسام.

المنهجية

OpenGaFF (حقل سمات الغاوسيان ذو المفردات المفتوحة مع انتباه كتاب الرموز) هو إطار عمل مبني على 3DGS مصمم لفرض الاتساق الهندسي والتماسك الدلالي على مستوى الأجسام. تعمل الطريقة في مرحلتين أساسيتين:

1. المعالجة المسبقة وتهيئة كتاب الرموز

يبدأ خط الإنتاج بمعالجة صور RGB باستخدام النماذج التأسيسية (SAM للتقسيم، وCLIP لميزات الرؤية واللغة) لتوليد خرائط سمات لغوية ثنائية الأبعاد. وخلافاً للأعمال السابقة التي تستخدم كتب رموز عشوائية التهيئة ذات حجم ثابت، يقوم OpenGaFF ببناء كتاب رموز لغوي مهيكل (Structured Language Codebook) بطريقة مدفوعة بالبيانات. يتم تجميع كافة سمات CLIP وتجميعها عبر خوارزمية k-means، حيث يتم تحديد عدد المجموعات ($N_c$) تلقائياً بناءً على بنية المشهد. تشكل مراكز المجموعات كتاب الرموز، لتعمل كمجموعة من الأوليات الدلالية المشتركة. بالإضافة إلى ذلك، يتم تطبيق تحليل المكونات الرئيسية (PCA) لإسقاط السمات في فضاء منخفض الأبعاد (LD) لتوفير إشراف فعال لحقل السمات.

2. المرحلة الأولى: حقل سمات الغاوسيان

بدلاً من تخصيص سمات دلالية مستقلة قابلة للتعلم لكل "غاوسيان" (مما يفصل الهندسة عن الدلالة)، يقدم OpenGaFF حقل سمات الغاوسيان (Gaussian Feature Field). يقوم هذا الحقل بنمذجة الدلالات كدالة مستمرة لهندسة وظهور الغاوسيان. وتحديداً، يتم التنبؤ بالسمة الدلالية منخفضة الأبعاد $m_i$ للغاوسيان بواسطة وحدة فك تشفير تعتمد على MLP، مشروطة بموقع الغاوسيان (عبر ترميز الموضع فوريه $\phi(\mu_i)$) ولونه $c_i$:
$$m_i = F(\phi(\mu_i), c_i)$$
هذه الصيغة تربط الهندسة والدلالة بشكل صريح، مما يشجع على تمثيلات سمات متسقة مكانياً. وللتعامل مع الأجسام التي لا تتوافق فيها عتامة المظهر مع الأهمية الدلالية (مثل الزجاج الشفاف)، يتم إدخال عتامة دلالية منفصلة ($\alpha^s_i$). يتم إجراء عملية التشتت (rasterization) للسمات منخفضة الأبعاد باستخدام هذه العتامة الدلالية والإشراف عليها مقابل خرائط السمات منخفضة الأبعاد الحقيقية باستخدام مزيج من تشابه جيب التمام وفقدان L1.

3. المرحلة الثانية: الانتباه مع كتاب الرموز

لاستعادة التعبير اللغوي عالي الأبعاد الذي فُقد أثناء الضغط، يستخدم OpenGaFF آلية انتباه موجهة بكتاب الرموز (codebook-guided attention mechanism). تعمل خريطة السمات منخفضة الأبعاد المُشتتة كاستعلام (query)، بينما يعمل كتاب الرموز المهيكل كـ مفتاح (key) وقيمة (value). ومن خلال آلية الانتباه، يسترجع النموذج سمات اللغة عالية الأبعاد المقابلة. تُعامل هذه العملية كعملية تبادلية مع التشتت (rendering)، مما يسمح للنموذج بتعلم كتاب الرموز باستخدام الإشراف ثنائي الأبعاد فقط مع التوسع طبيعياً إلى "غاوسيان" ثلاثي الأبعاد عند الاستنتاج.
لضمان تركيز كل استعلام على وحدة دلالية واحدة ومتميزة، يتم تطبيق حد تنظيم الإنتروبيا (entropy regularization) على أوزان الانتباه، مما يعزز الاستقلالية عبر مدخلات كتاب الرموز. يتم الإشراف على السمات اللغوية النهائية مقابل خرائط اللغة عالية الأبعاد الحقيقية.

المساهمات الرئيسية

1. حقل سمات الغاوسيان: آلية مبتكرة تشترط تنبؤات السمات على هندسة ومظهر الغاوسيان، مما يربط التمثيل الدلالي ثلاثي الأبعاد بالتماسك المكاني ويقلل من تفتت السمات.
2. كتاب الرموز اللغوي المهيكل: تهيئة مدفوعة بالبيانات لقاموس دلالي يفرض الاتساق على مستوى الأجسام من خلال تقييد السمات اللغوية لتكون مختارة من أوليات دلالية مشتركة، مما يقلل من التباين داخل الجسم الواحد.
3. الانتباه الموجه بكتاب الرموز: آلية استرجاع تمكن من التفكير القوي ذو المفردات المفتوحة عبر مطابقة تضمينات الاستعلام مع مدخلات كتاب الرموز المتعلمة، مما يضمن تمثيلاً دلالياً متسقاً ومعبراً في المشاهد ثلاثية الأبعاد.

النتائج التجريبية

تم تقييم OpenGaFF على معايير قياسية ثنائية وثلاثية الأبعاد للمفردات المفتوحة، وتحديداً LERF-OVS و ScanNet-v2.

• الأداء الكمي: يتفوق المنهج باستمرار على الأساليب الرائدة (بما في ذلك LangSplat، و LangSplatV2، و GALA، و OpenGaussian) في كل من التقسيم ثنائي وثلاثي الأبعاد ذي المفردات المفتوحة. في LERF-OVS، حقق OpenGaFF متوسط mIoU قدره 64.98 في 2D و 54.36 في 3D، متجاوزاً أفضل النتائج السابقة (LangSplatV2) بفوارق كبيرة. وفي ScanNet-v2، حقق أفضل أداء عبر جميع المقاييس (على سبيل المثال، 36.55 mIoU لـ 19 فئة)، مما يثبت اتساقاً مكانياً فائقاً.
• التحسينات النوعية: تظهر التصورات أن OpenGaFF ينتج تقسيمات أكثر اكتمالاً وتماسكاً مكانياً. وخلافاً للنماذج المرجعية التي غالباً ما تعطي نتائج مجزأة أو تفقد أجزاء من الأجسام الشفافة، ينجح OpenGaFF في تقسيم أجسام معقدة مثل "التفاحة الحمراء" و "كوب الماء" بدقة عالية.
• قابلية تفسير كتاب الرموز: يكشف تحليل كتاب الرموز المتعلم أن OpenGaFF يتعلم وحدات دلالية منفصلة، حيث تقابل المدخلات الفردية مناطق دلالية فريدة ومتماسكة. في المقابل، تظهر الأساليب المرجعية مثل LangSplatV2 قواعد سمات متشابكة حيث تتوزع الدلالات عبر عدة مدخلات أو تنشط على ضوضاء الخلفية.
• الكفاءة: يظهر OpenGaFF كفاءة عالية، حيث يتطلب 12 جيجابايت فقط من الذاكرة و15 دقيقة من وقت التدريب على بطاقة RTX 4090 واحدة، مع الحفاظ على سرعة استنتاج تصل إلى 35 إطاراً في الثانية.

الأهمية

تفترض الورقة أن القيد الأساسي في فهم المشاهد ثلاثية الأبعاد حالياً هو ضعف الارتباط بين الهندسة والدلالة، مما يؤدي إلى تمثيلات مجزأة وغير متسقة. يعالج OpenGaFF ذلك من خلال معاملة الدلالات كدالة مستمرة للهندسة وفرض الاتساق على مستوى الأجسام من خلال كتاب رموز مهيكل. تكمن أهمية هذا العمل في قدرته على إنتاج تمثيلات ثلاثية الأبعاد متسقة هندسياً و قابلة للتفسير دلالياً دون العبء الحسابي للطرق الحجمية الكثيفة أو فقدان المعلومات الناتج عن ضغط السمات الشديد. ومن خلال إثبات أن النهج المهيكل القائم على الانتباه يمكن أن يربط بفعالية بين النماذج التأسيسية ثنائية الأبعاد وتمثيلات الغاوسيان ثلاثية الأبعاد، يدفع OpenGaFF بالقدرة على إدراك الآلات للبيئات ثلاثية الأبعاد المعقدة بطريقة متسقة مكانياً وذات معنى دلالي.