Weight Space Representation Learning on Diverse NeRF Architectures

إليك ملخص تقني مفصل لورقة البحث بعنوان "تعلم تمثيل فضاء الأوزان على بنيات NeRF المتنوعة".

1. بيان المشكلة

أصبحت حقول الإشعاع العصبي (NeRFs) معيارًا لتمثيل المشاهد ثلاثية الأبعاد من خلال تشفير الهندسة والمظهر في أوزان الشبكة العصبية. وبينما أثبتت الأعمال الحديثة (مثل nf2vec وCardace et al.) أن أوزان NeRF يمكن معالجتها مباشرة للمهام اللاحقة (التصنيف، الاسترجاع، اللغة) دون الحاج عملية التصيير (rendering)، إلا أن هذه الأطر الحالية تعاني من قصور حاسم وهو: الجمود البنيوي.

• صُممت الطرق الحالية لبنيات NeRF محددة (مثل MLPs القياسية أو Tri-planes بدقات ثابتة).
• لا يمكنها معالجة NeRFs ذات معاملات مختلفة (مثل جداول الهاش متعددة الدقة - Multi-resolution Hash Tables) أو اختلافات في المعلمات الفائقة (مثل أحجام الطبقات المخفية المختلفة).
• هذا يحد من قابليتها للتطبيق في مجال يتطور بسرعة حيث تُقترح باستمرار تصميمات جديدة لـ NeRF.

التحدي الجوهي هو تعلم تمثيل كامن لأوزان NeRF يكون مستقلاً عن البنية (architecture-agnostic)، مما يعني أن المسافة في الفضاء الكامن يجب أن تعكس التشابه الدلالي للمحتوى ثلاثي الأبعاد (الشكل/المظهر) بدلاً من البنية العصبية المحددة المستخدمة لتشفيره.

2. المنهجية

يقترح المؤلفون إطار عمل جديد يعالج أوزان NeRF باستخدام شبكة ميتا رسومية (Graph Meta-Network - GMN) ضمن بيئة تعلم تمثيل غير خاضعة للإشراف.

أ. من NeRFs إلى الرسوم البيانية (رسوم المعاملات البيانية)

لتغذية أوزان NeRF في شبكة عصبية رسومية (GNN)، اعتمد المؤلفون تحويل البنيات العصبية إلى رسوم معاملات بيانية (parameter graphs):

• MLPs وTri-planes: تبنوا صياغة الرسم البياني للمعاملات الموجودة من قبل Lim et al. (2024)، حيث تمثل العقد الخلايا العصبية/التنشيطات وتمثل الحواف الأوزان.
• جداول الهاش متعددة الدقة (مساهمة مبتكرة): قدم المؤلفون بناءً رسومياً جديداً لجداول الهاش. بدلاً من نمذجة شبكة الفوكسل (voxel grid) الأساسية بشكل صريح (والذي سيكون مستهلكاً للذاكرة ويتوسع تكعيبياً مع الدقة)، قاموا ببناء رسم فرعي حيث:
  • تمثل العقد مدخلات الجدول وأبعاد ناقلات الميزات (feature vectors).
  • تربط الحواف بين عقد المدخلات وعقد الميزات، وتخزن قيم الميزات.
  • يحافظ هذا على كفاءة الذاكرة لجداول الهاش مع جعلها متوافقة مع شبكات GNN.

ب. بنية المشفر-المفكك (Encoder-Decoder)

• المشفر (Encoder): شبكة ميتا رسومية (GMN) تستقبل الرسم البياني للمعاملات. تستخدم تمرير الرسائل (message-passing) لتحديث ميزات العقد والحواف، يليه تجميع متوسط (average pooling) لميزات الحواف لإنتاج متجه كامن ثابت الحجم (embedding).
• المفكك (Decoder): مفكك MLP قياسي (بناءً على nf2vec) يأخذ التمثيل الكامن وإحداثيات ثلاثية الأبعاد $(x, y, z)$ مشفرة بالتردد ليعيد بناء قيمة حقل الإشعاع $(r, g, b, \sigma)$.

ج. هدف التدريب

يتم تدريب إطار العمل بشكل كامل (end-to-end) باستخدام مزيج من دالتي خسارة:

1. خسارة التصيير ($L_R$): تضمن قدرة المفكك على إعادة بناء NeRF الأصلي من التمثيل الكامن. وهذا يجبر التمثيل الكامن على التقاط التفاصيل الهندسية والمظهرية للمشهد.
2. الخسارة التباينية ($L_C$): تحديداً، هدف SigLIP (خسارة Sigmoid لتدريب اللغة والصورة مسبقاً).
   • الأزواج الإيجابية: NeRFs لنفس الكائن ولكن بـ بنيات مختلفة (على سبيل المثال، نسخة MLP ونسخة Hash Table لنفس السيارة).
   • الأزواج السلبية: NeRFs لكائنات مختلفة.
   • الهدف: تعمل هذه الخسارة على دفع التمثيلات الكامنة لنفس الكائن (بغض النظر عن البنية) لتكون أقرب إلى بعضها البعض في الفضاء الكامن، بينما تدفع الكائنات المختلفة بعيداً عن بعضها.

إجمالي الخسارة هو $L_{R+C} = L_R + \lambda L_C$.

3. المساهمات الرئيسية

1. أول إطار عمل مستقل عن البنية: أول نظام قادر على معالجة NeRFs ببنيات متنوعة (MLPs، Tri-planes، وHash Tables) وإجراء الاستدلال على بنيات لم تُشاهد أثناء التدريب.
2. التعلم التبايني لـ NeRFs: يثبت أن خسارة التصيير وحدها تجعل البنيات المختلفة تتكتل بشكل منفصل حتى لنفس الكائن. إن إدخال هدف تبايني أمر ضريد لمحاذاة هذه البنيات في فضاء كامن موحد.
3. معالجة جداول الهاش: يقدم أول طريقة لمعالجة NeRFs المحددة بواسطة جداًول هاش متعددة الدقة عبر تعلم فضاء الأوزان.
4. التحويل الرسومي لجداول الهاش: يقترح بناء رسم بياني للمعاملات فعال من حيث الذاكرة لجداول الهاش يتجنب التوسع التكعيبي لشبكات الفوكسل الصريحة.
5. التعميم: يظهر القدرة على التعميم على الاختلافات البنيوية غير المرئية (مثل عدد الطبقات المخفية المختلفة) ومجموعات البيانات غير المرئية (Objaverse).

4. النتائج التجريبية

قيم المؤلفون طريقتهم على 13 بنية NeRF متنوعة عبر ثلاث عائلات (MLP، Tri-plane، Hash Table) باستخدام مجموعة بيانات ShapeNetRender، مع اختبارات التعميم على Objaverse.

• التصنيف:

  • في الإعدادات متعددة البنيات (التدريب على جميع الأنواع)، يحقق الإطار دقة عالية (أكثر من 90%+) في كل من البنيات المرئية وغير المرئية.
  • الجمع بين خسارة التصيير والخسارة التباينية ($L_{R+C}$) يتفوق بشكل كبير على استخدام خسارة التصيير وحدها عند الاختبار على بنيات مختلفة عن مجموعة التدريب.
  • تتفوق الطريقة على خطوط الأساس (baselines) الحالية ذات البنية الواحدة (nf2vec، Cardace et al.) حتى عند تقييدها بسيناريوهات البنية الواحدة.

• الاسترجاع (k-NN):

  • نجح الإطار في استرجاع NeRFs لنفس الكائن عبر بنيات مختلفة (على سبيل المثال، الاستعلام باستخدام MLP واسترجاع نسخة Hash Table).
  • تحقق $L_{R+C}$ معدل استدعاء (Recall@10) يصل إلى ~72% للاسترجاع عبر البنيات (MLP مقابل TRI/HASH)، بينما تؤدي خط الأساس القائم على التصيير فقط ($L_R$) أداءً يقارب العشوائية (~8%) لأنها تتكتل حسب البنية بدلاً من المحتوى.

• المهام اللغوية (التعليق الوصفي والأسئلة والأجوبة):

  • من خلال دمج مشفر GMN في خط أنابيب LLaNA (المساعد اللغوي والـ NeRF الضخم)، يظهر المؤلفون أن التمثيلات الكامنة المتعلمة فعالة للمهام اللغوية اللاحقة.
  • تحقق الطريقة نتائج مماثلة أو متفوقة على LLaNA الأصلي (الذي يستخدم تمثيلات nf2vec) في الإعدادات متعددة البنيات، مما يثبت أن التمثيلات تلتقط المعلومات الدلالية ثلاثية الأبعاد بفعالية.

• تحليل الفضاء الكامن (t-SNE):

  • $L_R$ وحدها تخلق تكتلات منفصلة حسب البنية.
  • $L_C$ وحدها تخلق تكتلات منفصلة حسب الفئة (Class) ولكن مع فصل ضعيف بين الفئات.
  • $L_{R+C}$ تحقق توازناً، حيث تخلق تكتلات منظمة حسب الفئة حيث يتم تجميع البنيات المختلفة لنفس الكائن بشكل وثيق.

5. الأهمية

يمثل هذا العمل خطوة مهمة نحو نماذج تأسيسية لـ NeRF (NeRF Foundation Models). ومن خلال فصل تعلم التمثيل عن البنيات العصبية المحددة، يُمكّن المؤلفون من:

• العمل البيني (Interoperability): يمكن للأنظمة الآن استقبال NeRFs من أي مصدر، بغض النظر عن الترميز الأساسي (MLP، Tri-plane، أو Hash).
• القابلية للتوسع (Scalability): مع تطوير بنيات NeRF جديدة، يمكن دمجها في الإطار ببساطة عن طريق تعريف الرسم البياني للمعاملات الخاص بها، دون الحاجة لإعادة تدريب خط أنابيب تعلم التمثيل بالكامل من الصفر.
• الكفاءة: معالجة الأوزان مباشرة يتجنب التكلفة الحسابية لتصيير المشاهد للمهام اللاحقة.

تؤكد هذه الورقة أن التعلم التبايني هو الآلية الرئيسية لتوحيد الفضاءات الوزنية للبنيات العصبية المتنوعة، مما يمهد الطريق لأنظمة فهم ثلاثية الأبعاد قوية وقابلة للتعميم.