Fused-Planes: Why Train a Thousand Tri-Planes When You Can Share?

إليك ملخص تقني مفصل لورقة البحث "FUSED-PLANES: WHY TRAIN A THOUSAND TRI-PLANES WHEN YOU CAN SHARE?" المنشورة في ICLR 2026.

1. بيان المشكلة

أصبحت نماذج Tri-Plane NeRFs هي التمثيل المهيمن لنمذجة مجموعات كبيرة من الأجسام ثلاثية الأبعاد لأنها تمثل المشاهد ثلاثية الأبعاد باستخدام ثلاث مستويات ميزات ثنائية الأبعاد متعامدة. يسمح هذا الهيكل بدمجها بسلاسة مع نماذج الرؤية ثنائية الأبعاد القياسية (مثل CNNs ونماذج الانتشار - Diffusion models) للمهام اللاحقة مثل التوليد، والتعديل، والتصنيف.

ومع ذلك، فإن تدريب Tri-Planes لمجموعات بيانات ضخمة (آلاف الأجسام) هو أمر غير فعال حوسبياً ويستهلك الكثير من الموارد. تتبع النهج الحالية استراتيجية تدريب Tri-Plane منفصل ومستقل لكل جسم في مجموعة البيانات. تؤدي هذه الاستراتيجية إلى:

• تجاهل أوجه التشابه الهيكلي المشتركة بين الأجسام من نفس الفئة (على سبيل المثال، تشترك جميع السيارات في العجلات، والهيكل، والنوافذ).
• حدوث تكرار هائل في الحوسبة واستخدام الذاكرة.
• خلق عنق زجاجة حيث تتجاوز تكلفة إعادة بناء مجموعة البيانات فوائد المهام اللاحقة.

تعالج الورقة الحاجة إلى طريقة يمكنها نمذجة فئات الأجسام الكبيرة بكفاءة من خلال الاستفيد من المعلومات الهيكلية المشتركة دون التضحية بالخصائص المستوية التي تجعل Tri-Planes مفيدة.

2. المنهجية: Fused-Planes

يقترح المؤلفون Fused-Planes، وهو تمثيل جديد للأجسام يقوم بتفكيك مهمة نمذجة المشهد إلى مكونات عالمية مشتركة ومكونات محلية خاصة بكل جسم، يتم تدريبها ضمن فضاء كامن مدرك للثلاثية الأبعاد (3D-aware latent space).

أ. التفكيك المجهري-الكلي (Micro-Macro Decomposition)

بدلاً من تعلم Tri-Plane كامل لكل جسم $T_i$، يقوم Fused-Planes بتقسيم التمثيل إلى جزأين:

1. المكون المجهري ($T^{mic}_i$): مستوى خاص بالجسم يلتقط التفاصيل والتباينات الفريدة للجسم المحدد $i$. يتم تعلم هذا الجزء بشكل مستقل لكل جسم.
2. المكون الكلي ($T^{mac}_i$): تمثيل للتشابهات الهيكلية على مستوى الفئة. بدلاً من تعلم هذا الجزء من الصفر لكل جسم، يتم حسابه كـ مجموع مرجح لمجموعة صغيرة من المستويات الأساسية المشتركة عالمياً ($B = \{B_1, ..., B_M\}$).
   • الصيغة: $T^{mac}_i = \sum_{k=1}^{M} w^k_i B_k$
   • هنا، $w^k_i$ هي معاملات يتم تعلمها وتكون خاصة بالجسم $i$، و $B_k$ هي المستويات الأساسية المشتركة التي يتم تدريبها عبر مجموعة البيانات بأكملها.
   • التمثيل النهائي هو عملية الدمج (concatenation): $T_i = T^{mic}_i \oplus T^{mac}_i$.

يقلل هذا النهج بشكل كبير من عدد المعلمات القابلة للتدريب لكل جسم، حيث يتم نقل عبء العمل الثقيل لالتقاط الهياكل المشتركة إلى المستويات الأساسية المشتركة.

ب. التدريب في فضاء كامن مدرك للثلاثية الأبعاد

تعمل نماذج Tri-Planes التقليدية في فضاء RGB. أما Fused-Planes فيتدرب في الفضاء الكامن لمشفر تلقائي للصور (Image Autoencoder) (المشفر $E_\phi$، وفك التشفير $D_\psi$).

• لماذا؟ يفتقر فضاء RGB عالي الأبعاد إلى الهيكل اللازم لفك الارتباط الفعال بين الميزات المشتركة والتفاصيل الخاصة بالجسم. يوتمكن الفضاء الكامن المدرك للثلاثية الأبعاد من توفير ترميز مستمر ومنظم يسهل تعلم الأنماط المشتركة.
• التدريب المشترك: على عكس أعمال Latent NeRF السابقة التي تقوم بتدريب فضاء كامن عام مسبقاً، يقوم Fused-Planes بتدريب المشفر التلقائي وتمثيلات Fused-Planes بشكل مشترك. يضمن هذا أن الفضاء الكامن مُحسَّن خصيصاً لتفكيك المكونات المجهرية-الكلية، مما يحافظ على جودة الرندرة (Rendering) مع تمكين السرعة.

ج. النسخة فائقة الخفة (Fused-Planes-ULW)

يقدم المؤلفون نسخة يتم فيها إزالة المكون المجهري تماماً ($F^{mic} = 0$). حيث تُمثل الأجسام فقط من خلال المجموع المرجح للمستويات الأساسية. هذا يضحي بجودة رندرة طفيفة مقابل مكاسب هائلة في كفاءة الذاكرة.

3. المساهمات الرئيسية

1. تمثيل مبتكر: قدم Fused-Planes، وهو أول طريقة تدمج التمثيلات المشتركة مع الهياكل المستوية بشكل صريح، مما يسمح بمشاركة الأولويات الهيكلية عبر آلاف الأجسام.
2. اختراق في الكفاءة: حقق سرعة تدريب تبلغ 7.2 ضعفاً وبصمة ذاكرة أقل بـ 3.2 ضعفاً مقارنة بـ Tri-Planes التقليدية مع الحفاظ على جودة رندرة مماثلة.
3. التوسع فائق الخفة: تقلل نسخة ULW من استخدام الذاكرة لكل جسم بمقدار 1875 ضعفاً مقارنة بـ Tri-Planes، مما يجعل تخزين آلاف الأجسام ثلاثية الأبعاد في مساحة ضئيلة أمراً ممكناً.
4. تحسين الفضاء الكامن المشترك: أثبت أن التدريب المشترك للفضاء الكامن مع تمثيل المشهد يتجنب تدهور الجودة الذي يحدث عادة في Latent NeRF، محققاً السرعة دون تقديم تنازلات.
5. القابلية للتوسع عبر الفئات المتعددة: أظهرت الطريقة قدرتها على التوسع بفعالية في مجموعات البيانات متعددة الفئات (مثل خلط السيارات، والأرائك، ومكبرات الصوت) دون انخفاض كبير في الأداء.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات واسعة النطاق بما في ذلك ShapeNet (سيارات، أثاث، مكبرات صوت، أرائك) و Basel Faces (2,000 جسم لكل تجربة).

• الأداء مقابل Tri-Planes:
  • وقت التدريب: 8.96 دقيقة مقابل 64.32 دقيقة (Tri-Planes).
  • بصمة الذاكرة: 0.48 ميجابايت لكل جسم مقابل 1.5 ميجابايت (Tri-Planes).
  • الجودة: حافظت على درجات PSNR/SSIM/LPIPS مماثلة (مثلاً: 30.47 PSNR مقابل 28.15 لـ Tri-Planes على مجموعة بيانات ShapeNet Cars).
• الأداء مقابل K-Planes:
  • Fused-Planes أسرع بـ 8.4 ضعفاً وأكثر كفاءة في الذاكرة بمقدار 854 ضعفاً من K-Planes، مع سد فجوة الجودة.
• الأداء مقابل التمثيلات المشتركة (CodeNeRF):
  • يتفوق Fused-Planes على CodeNeRF في كل من جودة الرندرة وسرعة التدريب، مع الاحتفاظ بالهيكل المستوي الحاسم للتوافق مع النماذج ثنائية الأبعاد.
• التوسع: مع زيادة عدد الأجسام ($N$)، تتوسع الذاكرة الإجمالية ووقت التدريب لـ Fused-Planes خطياً بميل أصغر بكثير من النماذج المرجعية، مما يثبت ملاءمتها لمجموعات البيانات الضخمة.

5. الأهمية والأثر

• ديمقراطية الأبحاث ثلاثية الأبعاد: من خلال تقليل التكلفة الحوسبية لتدريب مجموعات البيانات ثلاثية الأبعاد الضخمة بشكل كبير، يجعل Fused-Planes من الممكن للباحثين تدريب ونشر نماذج ثلاثية الأبعاد واسعة النطاق دون الحاجة إلى مجموعات ضخمة من وحدات معالجة الرسومات (GPU clusters).
• تمكين مسارات (2D-to-3D): بما أن Fused-Planes يحتفظ بالهيكل المستوي، يمكن إعادة تشكيلها مباشرة إلى تنسيقات (tensors) ثنائية الأبعاد. هذا يفتح المجال لاستخدام النماذج التأسيسية القوية ثنائية الأبعاد (مثل Stable Diffusion أو CLIP) لمهام ثلاثية الأبعاد (التوليد، التعديل، التصنيف)، وهي مهمة كانت تعيقها سابقاً عدم كفاءة تدريب التمثيلات ثلاثية الأبعاد نفسها.
• معيار جديد (New State-of-the-Art): تضع هذه الورقة معياراً جديداً لكفاءة الموارد في التمثيلات المستوية للمشاهد، مما يثبت أن "المشاركة" في المعرفة الهيكلية هي استراتيجية قابلة للتطبيق ومتفوقة على النمذجة المستقلة للأجسام.

في الختام، يحل Fused-Planes مشكلة التوسع في Tri-Plane NeRF عبر تقديم بنية مستويات أساسية مشتركة ضمن فضاء كامن يتم تحسينه بشكل مشترك، مما يوفر حلاً عالي الكفاءة وعالي الجودة لإعادة البناء والتوليد ثلاثي الأبعاد واسع النطاق.