Pay Attention to Where You Looked

إليك ملخص تقني مفصل لورقة البحث "Pay Attention to Where You Looked" من إعداد Berian وآخرون.

1. بيان المشكلة

يهدف توليد الرؤية الجديدة (Novel View Synthesis - NVS) إلى إنشاء صورة واقعية لمشهد من وضعية كاميرا جديدة وغير مرئية، بناءً على مجموعة من الصور المدخلة ووضعيات الكاميرا المقابلة لها. وبينما أدت التطورات الأخيرة في نماذج الانتشار (Diffusion Models) والمجالات الإشعاعية العصبية (Neural Radice Fields - NeRF) إلى تحسين عملية NVS، إلا أن توليد الرؤية الجديدة في حالات القلة (Few-shot NVS) (حيث تتوفر عدد قليل فقط من الرؤى المدخلة، مثل $S \le 5$) لا يزال يمثل تحدياً.

القصور الجوهري:
تعامل الطرق الحديثة الرائدة (مثل PixelNeRF و GeNVS) جميع الرؤى المصدرية المدخلة كأنها متساوية في الأهمية عند توليد رؤية مستهدفة. وهي تحقق ذلك عن طريق حساب متوسط المتجهات الكامنة (Latent Vectors) المستخرجة من جميع الصور المصدرية.

• المشكلة: هذا الافتراض معيب؛ ففي الواقع، تحتوي بعض الرؤى المصدرية على معلومات ذات صلة وثيقة بالرؤية المستهدفة (مثل زوايا النظر المتشابهة)، بينما تحتوي رؤى أخرى على معلومات غير ذات صلة أو ضوضائية (مثل الرؤى من الجانب المقابل للجسم).
• النتيجة: يؤدي حساب المتوسط لجميع الرؤى بالتساوي إلى تخفيف الإشارة القادمة من الرؤى ذات الصلة بضوضاء الرؤى غير ذات الصلة، مما يؤدي إلى جودة توليد دون المستوى الأمثل، خاصة في سيناريوهات "القلة" (Few-shot).

2. المنهجية

يقترح المؤلفون آلية لوزن الكاميرا (Camera-Weighting Mechanism) لتعديل أهمية كل رؤية مصدرية ديناميكياً بالنسبة للرؤية المستهدفة. وبدلاً من استخدام المتوسط البسيط، تستخدم عملية التوليد متوسطاً موزوناً. والهدف هو تعلم أو حساب متجه أوزان $w \in \mathbb{R}^S$ بحيث يكون $\sum w_i = 1$.

لقد اقترحوا نهجين متميزين:

أ. التوزين الحتمي (Deterministic Weighting)

يحسب هذا النهج الأوزان مباشرة من الخصائص الهندسية لوضعيات الكاميرا دون الحاجة لتدريب إضافي.

1. توزين معيار L1/Frobenius: يحسب المسافة المصفوفية بين وضعية المصدر ووضعية الهدف.
2. نواة غاوس للمسافة (Distance Gaussian Kernel): يطبق نواة غاوس على المسافة الإقليدية بين مراكز الكاميرات ($c_t$ و $c_{si}$). الكاميرات الأقرب تحصل على أوزان أعلى.
3. توزين الخطأ (الأفضل المقترح): مقياس هجين يجمع بين فرق زاوية النظر ($\theta_i$) ومسافة الكاميرا.
   • الصيغة: $w'_i = \frac{1}{\epsilon + \alpha \frac{\theta_i}{\pi} + (1-\alpha) \frac{\|c_t - c_{si}\|}{\max \|c_t - c_{sk}\|}}$
   • هنا، $\alpha$ هو معامل فائق (Hyperparameter) يوازن بين الأولوية بين خطأ الزاوية وخطأ المسافة.

ب. التوزين القائم على الانتباه (Cross-Attention)

هذا نهج قابل للتعلم يستخدم آليات الانتباه المتقاطع (Cross-Attention - CA).

1. تضمين الوضعية (Pose Embedding): يتم تحويل مصفوفات وضعية الكاميرا ($4 \times 4$) إلى متجهات تضمين. وجد المؤلفون أن استخراج مركز الكاميرا واتجاه الرؤية، وتطبيق ترميز الموضع فوريه (Fourier Positional Encoding)، ثم تمريره عبر شبكة MLP صغيرة، قد حقق أفضل النتائج.
2. آلية الانتباه المتقاطع:
   • يتم تضمين وضعية الهدف كاستعلام (Query - $E_t$).
   • يتم تضمين الوضعيات المصدرية كمفاتيح/قيم (Keys/Values - $E_s$).
   • تُحسب الأوزان عبر ضرب المصفوفات متبوعاً بـ Softmax: $w_{CAW} = \text{softmax}(\frac{E_t E_s^T}{\sqrt{A}})$.
   • يسمح هذا للنموذج بتعلم علاقات غير خطية معقدة بين الوضعيات لتحديد الرؤى المصدرية التي يجب "الاهتمام" بها.

التكامل:
يمكن دمج مخططات التوزين هذه في خطوط أنابيب NVS الحالية (مثل PixelNeRF أو GeNVS) ببساطة عن طريق استبدال خطوة حساب المتوسط في تجميع المتجه الكامن.

• الطرق الحتمية لا تتطلب إعادة تدريب النموذج الأساسي.
• الطرق القائمة على الانتباه تتطلب ضبطاً دقيقاً (Fine-tuning) لوحدة التوزين مع إبقاء بقية نموذج NVS ثابتاً.

3. المساهمات الرئيسية

1. تحديد خلل حرج: تسلط الورقة الضوء على أن التوزين المتساوي للرؤى المصدرية يمثل عنق زجاجة في الـ Few-shot NVS، خاصة عندما تختلف الرؤى المصدرية بشكل كبير في صلتها بالهدف.
2. حل ثنائي الاستراتيجية: تقديم إطار عمل للتوزين يتضمن كلاً من التوزين الحتمي (القائم على الهندسة) والقابل للتعلم (القائم على الانتباه).
3. قابلية التكيف (Plug-and-Play): صُممت الطرق لتكون نمطية؛ حيث يمكن تطبيقها على بنيات NVS مختلفة (كما هو موضح في PixelNeRF و GeNVS) دون الحاجة إلى تغيير جذري في البنية.
4. صيغة توزين الخطأ: اقتراح دالة توزين خطأ توازن بين مقاييس الزاوية والمسافة، مما أظهر أداءً فائقاً في الإعدادات الحتمية.

4. النتائج التجريبية

قيم المؤلفون طرقهم على مجموعات بيانات SRN Cars و SRN Multi-Chairs باستخدام مقاييس مثل PSNR و SSIM و FID و LPIPS و DISTS.

• مكاسب الأداء:
  • PixelNeRF: حقق "توزين الخطأ" ($\alpha=1.0$) أفضل النتائج، حيث رفع PSNR من 26.96 (الأساس) إلى 27.71، وخفض FID بشكل كبير (29.44 $\leftarrow$ 23.50).
  • GeNVS: حسن "توزين الخطأ" قيمة PSNR من 24.96 إلى 25.77 وقيمة FID من 6.29 إلى 5.42. كما أظهر "الانتباه المتقاطع" أداءً قوياً أيضاً.
• الرؤى المدخلة القريبة: أظهرت الطرق تحسناً دراماتيكياً عندما تكون إحدى الرؤى المدخلة قريبة جداً من الرؤية المستهدفة (أقل من 10 درجات). في هذه الحالات، قام التوزين بإعطاء الأولوية للرؤية القريبة بشكل صحيح، مما قلل من الضوضاء الناتجة عن الرؤى البعيدة. على سبيل المثال، في GeNVS مع رؤية مدخلة قريبة، قفز PSNR من 13.05 إلى 19.04.
• القابلية للتوسع مع زيادة الرؤى المدخلة:
  • النموذج الأساسي (Baseline): يستقر الأداء أو يتدهور مع زيادة عدد الرؤى المدخلة (بسبب تأثير المتوسط في وجود المزيد من الضوضاء).
  • الطرق الموزونة: يستمر الأداء في النمو مع إضافة المزيد من الرؤى، لأن آلية التوزين تعمل بفعالية على تصفية الرؤى غير ذات الصلة والاحتفاظ بالمعلومات المفيدة فقط.

5. الأهمية والخاتمة

يقدم هذا العمل تحسيناً جوهرياً لتوليد الرؤية الجديدة في حالات القلة (Few-shot NVS) من خلال معالجة مسألة "الصلة" في البيانات المدخلة.

• الأثر العملي: يقدم حلاً منخفض التكلفة (التوزين الحتمى) يحسن النماذج الحالية فوراً دون الحاجة لإعادة التدريب.
• الأثر النظري: يثبت أن آليات الانتباه، التي تُستخدم تقليدياً لخرائط الميزات (Feature Maps)، فعالة للغاية عند تطبيقها على علاقات وضعية الكاميرا.
• الاتجاه المستقبلي: تؤسس الورقة البحثية لكون التوزين التكيفي للرؤى اتجاهاً واعداً لجعل NVS أكثر قوة وواقعية، وقادراً على التعامل مع البيانات المدخلة الشحيحة، مما يمهد الطريق لأنظمة إعادة بناء ثلاثية الأبعاد توليدية أكثر تقدماً.