ZS-SRT: An Efficient Zero-Shot Super-Resolution Training Method for Neural Radiance Fields

ملخص تقني: ZS-SRT: طريقة تدريب فعالة لرفع دقة الصور بأسلوب التعلم الصفري لتمثيلات الحقول الإشعاعية العصبية

1. بيان المشكلة

تعد تمثيلات الحقول الإشعاعية العصبية (NeRF) فعالة للغاية في تخليق مناظر رؤية جديدة، لكنها تواجه قيداً كبيراً: فهي تواجه صعوبة في توليد مناظر رؤية عالية الدقة (HR) عند التدريب فقط على بيانات منخفضة الدقة (LR). وعند محاولة الرندرة (Rendering) بدقات أعلى من مجموعة بيانات التدريب، غالباً ما تنتج نماذج NeRF صوراً ضبابية وتشويهات ناتجة عن التعرج (Aliasing) بسبب "فجوة أخذ العينات" (الفرق بين كثافة بكسلات التدريب والكثافة الأعلى المطلوبة للرندرة عالية الدقة).

تنقسم الحلول الحالية عموماً إلى ثلاث فئات، لكل منها عيوبها:

• معالجة ما بعد الرندرة باستخدام رفع الدقة أحادي الصورة (SISR): تفتقر إلى الاتساق متعدد الرؤى.
• رفع دقة الحجم العصبي (NVSR): يتطلب كميات كبيرة من بيانات المشهد الإضافية وهو مكلف حوسبياً من حيث التدريب.
• أخذ العينات الفائق المباشر (مثل NeRF-SR): يستخدم تجميع المتوسط البسيط لمطابقة بكسلات LR مع HR، مما يؤدي غالباً إلى ضبابية إدراكية وفقدان للتفاصيل عالية التردد.

2. المنهجية

يقترح المؤلفون ZS-SRT، وهو إطار عمل "من الخشن إلى الناعم" (coarse-to-fine) يعتمد على التعلم الصفري (zero-shot)، ويستخدم التعلم الداخلي الخاص بالمشهد لتخليق مناظر عالية الدقة دون الحاجة إلى أي بيانات حقيقية عالية الدقة خارجية أو بيانات مشهد إضافية. تعمل الطريقة عبر مرحلتين أساسيتين:

المرحلة الأولى: التعلم الداخلي لخرائط التدهور الخاصة بالمشهد (SDM)
بدلاً من استخدام دالة تقليل عينة عامة (مثل الاستيفاء الثنائي الخطي)، يتعلم المؤلفون خريطة خاصة بالمشهد.

• NeRF الخشن (Coarse NeRF): يتم أولاً تدريب نموذج NeRF أساسي على بيانات LR.
• شبكة SDM: يتم تدريب شبكة عصبية تلاففية (CNN) خفيفة الوزن لرسم خرائط المناظر التي تم رندرتها من نموذج Coarse NeRF إلى نسخة منخفضة الدقة من البيانات الحقيقية.
• التلافف التكيفي للبكسل (PAC): للتعامل مع التدهور المعقد، تستخدم شبكة SDM تقنية PAC، التي تولد أوزاناً تكيفية بناءً على معلومات التدرج ($G_{LR}$) للصورة المرندرة. وهذا يسمح للنموذج بالتقاط الطريقة المحددة التي تتدهور بها أنسجة المشهد عبر المقاييس المختلفة.

المرحلة الثانية: تدريب رفع الدقة الموجه بواسطة SDM
الهدف هو تحسين "Fine NeRF" يمكنه رندرة مناظر عالية الدقة.

• الرندرة العكسية: لتوجيه عملية التحسين باستخدام رندرة HR باستخدام بيانات LR الحقيقية، يستخدم الإطار استراتيجية رندرة عكسية. يقوم Fine NeRF برندرة رقعة عالية الدقة ($\hat{I}_{HR}$)، ثم تمر هذه الرقعة عبر شبكة SDM المدربة مسبقاً لـ "تدهورها" وإعادتها إلى دقة LR ($\hat{I}_{LHR}$).
• دوال الخسارة (Loss Functions): يتم تحسين Fine NeRF باستخدام مزيج من خطأ متوسط المربع (MSE) بين منظر HR المتدهور ومنظر LR الحقيقي، وخسارة إدراكية قائمة على الرقع (باستخدام شبكة VGG) للحفاظ على التفاصيل عالية التردد.
• استراتيجية من الخشن إلى الناعم: تبدأ العملية من Coarse NeRF وتنتقل تدريجياً إلى Fine NeRF، مما يسرع من عملية التقارب (Convergence).

مرحلة الاستنتاج: التجميع الزمني
للتخفيف من أخطاء تقدير المشهد (بما أن رفع الدقة مسألة عكسية غير محددة جيداً)، قدم المؤلفون استراتيجية تجميع زمني. حيث يتم حساب متوسط معلومات الكثافة واللون من خطوات زمنية متعددة أثناء عملية التدريب/الاستنتاج، مما يعمل على تنعيم التدهور المحلي وتحسين المتانة.

3. المساهمات الرئيسية

• إطار عمل صفري (Zero-Shot): يحقق رفع الدقة دون الحاجة إلى أي بيانات مشهد إضافية عالية الدقة أو صور عالية الدقة خارجية.
• التعلم الداخلي عبر SDM: يقدم نموذج تدهور خاص بالمشهد يلتقط تأثيرات تقليل العينة غير الخطية والمعقدة بشكل أفضل من الاستيفاء القياسي.
• كفاءة "من الخشن إلى الناعم": يقلل النهج المكون من مرحلتين من وقت التدريب بشكل كبير مقارنة بالنماذج القابلة للتعميم.
• الاتساق متعدد الرؤى: من خلال تحسين الحقل الإشعاعي في الفضاء ثلاثي الأبعاد بدلاً من معالجة الصور ثنائية الأبعاد لاحقاً، تضمن الطريقة اتساقاً هيكلياً ونسيجياً عالياً عبر وجهات النظر المختلفة.

4. النتائج

تم تقييم الطريقة على مجموعتي بيانات Blender و LLFF، ومقارنتها بكل من NeRF و TensoRF و NeRF-SR و NVSR والأساليب القائمة على SISR (مثل ZSSR و SwinIR).

• الأداء الكمي: تفوق ZS-SRT باستمرار على جميع النماذج المرجعية في مقاييس PSNR و SSIM و LPIPS. على سبيل المثال، في مجموعة بيانات Blender عند رفع الدقة بمقدار $4\times$، حقق PSNR أعلى بكثير من NeRF-SR و NVSR.
• الأداء النوعي: أظهرت المقارنات البصرية أن ZS-SRT ينتج أنسجة أكثر حدة (مثل الأوراق والأزهار في LLFF) ويتجنب التشويهات الهيكلية التي تظهر في الأساليب القائمة على SISR.
• الكفاءة: كما هو موضح في مقارنة الورقة البحثية، يتطلب ZS-SRT وقتاً أقل بكثير للتدريب (حوالي ساعة واحدة) مقارنة بـ NVSR (45 ساعة) وحتى NeRF-SR (13 ساعة).

5. الأهمية

تكمن أهمية هذا العمل في أنه يوفر مساراً عملياً وفعالاً لإعادة البناء ثلاثي الأبعاد عالي الجودة في السيناريوهات التي لا تتوفر فيها بيانات عالية الدقة (مثل التصوير عبر الهاتف المحمول أو توليد المحتوى من النص إلى ثلاثي الأبعاد). من خلال نقل مهمة رفع الدقة من معالجة الصور ثنائية الأبعاد إلى تحسين الحقل الإشعاعي ثلاثي الأبعاد عبر التعلم الداخلي، فإنه يحل الصراع الجوهري بين رفع الدقة والاتساق متعدد الرؤى.