SalFormer360: a transformer-based saliency estimation model for 360-degree videos

ملخص تقني: SalFormer360

بيان المشكلة
يعد تقدير البروز (Saliency estimation) أمراً بالغ الأهمية لتحسين تجربة البث والمشاهدة للفيديوهات ذات الـ 360 درجة (متعددة الاتجاهات)، لا سيما لمهام مثل التنبؤ بمنطقة الرؤية (viewport prediction) وتحسين المحتوى. ومع ذلك، تواجه الطرق الحالية تحديات كبيرة بسبب الهندسة الكروية لمحتوى الـ 360 درجة، مما يؤدي إلى حدوث تشوهات هندسية في الإسقاطات متساوية المستطيلات (equirectangular projections). علاوة على ذلك، تعتمد العديد من الأساليب المتطورة الحالية على تقنيات مكلفة حاسوبياً، مثل الالتفافات الكروية (spherical convolutions)، أو إسقاطات المكعب (cubemap projections)، أو معالجة التسلسلات الزمنية الطويلة (التي غالباً ما تتجاوز 10 إطارات) والتدفق البصري (optical flow). وتتسبب هذه الأساليب غالباً في أعباء حسابية عالية ومتطلبات ذاكرة مرتفعة، مما يجعلها أقل ملاءمة للنشر في الوقت الفعلي على الأجهزة محدودة الموارد مثل نظارات الواقع الافتراضي (HMDs). بالإضافة إلى ذلك، يظل نمذجة سلوك المشاهدة البشرية بدقة، وتحديداً الميل للتركيز على مركز الإطار في البداية (انحياز مركز الرؤية - Viewing Center Bias)، مهمة معقدة لا تعالجها العديد من النماذج بشكل كامل.

المنهجية
يقترح المؤلفون SalFormer360، وهو نموذج يعتمد على المحولات (transformer-based) وخفيف الوزن، مصمم خصيصاً لفيديوهات الـ 360 درجة. تعتمد البنية على المكونات التالية:

1. المُشفّر (SegFormer Backbone): يستخدم النموذج المُشفّر الخاص بـ SegFormer، وهي بنية تعتمد على المحولات تم تطويرها في الأصل لتقسيم الصور ثنائية الأبعاد (2D semantic segmentation). قام المؤلفون بضبط هذا المُشفّر ليتعامل مع إطارات الـ 360 درجة متساوية المستطيلات. ولتحديد الديناميكيات الزمنية، يقبل النموذج إطارين كمدخلات: الإطار الحالي ($t$) والإطار السابق ($t-5$). يتم دمج هذين الإطارين على طول بُعد القنوات لتشكيل مدخل مكون من 6 قنوات، مع تكييف أوزان طبقة الالتفاف الأولية لاستيعاب ذلك.
2. المُفكك المخصص (Custom Decoder): يقوم مُفكك مخصص بمعالجة خرائط السمات (feature maps) من المُشفّر. يتكون من سلسلة من طبقات الالتفاف (convolutional layers)، وتطبيع الدفعات (batch normalization)، وتنشيطات ReLU، ورفع العينات الخطي (bilinear upsampling) لإعادة بناء الدقة المكانية. تولد طبقة التفاف نهائية مع تنشيط سيجمويد (sigmoid) خريطة بروز أولية ($S_{init}$). يتم تطبيق الإسقاط (Dropout) بنسبة 30% أثناء التدريب لمنع الإفراط في التخصيص (overfitting).
3. تكامل انحياز مركز الرؤية (CB Integration): لمراعاة ميل البشر للنظر إلى مركز إطار الـ 360 درجة عند بدء التشغيل، يدمج النموذج "انحياز مركز رؤية" ديناميكي. ويتم تحقيق ذلك عن طريق دمج التنبؤ الأولي ($S_{init}$) مع خريطة بروز متوسطة محسوبة مسبقاً للإطار الأول (الـ CB). يتم التحكم في عملية الدمج عبر عامل وزن يعتمد على الزمن ($w_t$) محدد كالتالي:
   $$S = w_t \cdot CB + (1 - w_t) \cdot S_{init}$$
   يجمع الوزن $w_t$ بين معلمة ثابتة ($\beta_i$) ودالة اضمحلال ديناميكية ($\delta(t) = e^{-\alpha_i(t/C)^2}$). وهذا يسمح للنموذج بالتكيف والموازنة بين الانحياز قصير المدى (القوي عند بداية الفيديو) والانحياز طويل المدى، مع تعلم المعلمات $\alpha_i$ و $\beta_i$ لكل مجموعة بيانات على حدة.
4. دالة الخسارة (Loss Function): يتم تدريب النموذج باستخدام دالة خسارة مركبة تجمع بين أربعة حدود: معامل ارتباط بيرسون الخطي ($L_{CC}$)، وتباعد كولباك - ليبلر ($L_{KL}$)، ومتوسط مربع الخطأ الكروي ($L_{SMSE}$)، والاعتراض الثنائي المتقاطع ($L_{BCE}$). تطبق $L_{SMSE}$ تحديداً أوزانًا كروية لمعاقبة الأخطاء بالقرب من خط الاستواء بشكل أكبر من الأخطاء بالقرب من الأقطاب، مما يعالج تشوهات الإسقاط.

المساهمات الرئيسية

• بنية مبتكرة: تقديم SalFormer360، وهو نموذج يعتمد على المحولات يستفيد من بنية SegFormer لتقدير بروز فيديوهات الـ 360 درجة، مما يثبت إمكانية إعادة توظيف بنيات التقسيم (segmentation) بفعالية لمهام البروز.
• نمذجة انحياز المشاهدة: دمج آلية انحياز مركز رؤية قابلة للتعلم تتكيف ديناميكياً بناءً على مؤشر الإطار وخصائص مجموعة البيانات، مما يحسن دقة التنبؤ من خلال عكس سلوك الاستكشاف البشري.
• توسيع مجموعات البيانات: قام المؤلفون بتوسيع مجموعات بيانات PVS-HM و VR-EyeTracking من خلال توليد خرائط بروز (ground-truth) من بيانات اتجاه الرأس واستخراج إطارات RGB، مما يجعلها أكثر سهولة للاستخدام في الأبحاث المستقبلية.
• الكفاءة: تم تصميم النموذج ليكون خفيف الوزن، حيث يستخدم إطارين فقط للسياق الزمني ويتجنب العمليات المعقدة للالتفافات الكروية أو التدفق البصري.

النتائج التجريبية
أُجريت تجارب مكثفة على ثلاث مجموعات بيانات ضخمة: Sport360، و PVS-HM، و VR-EyeTracking. تمت مقارنة النموذج مع مجموعة واسعة من الأساليب المتطورة، بما في ذلك نماذج الفيديو ثنائية الأبعاد، ونماذج صور الـ 360 درجة، ونماذج فيديو الـ 360 درجة.

• الأداء: تفوق SalFormer360 على الأساليب الحالية في جميع مجموعات البيانات الثلاث. ومن حيث معامل ارتباط بيرسون (CC)، حقق تحسينات بنسبة 8.4% في Sport360، و 2.5% في PVS-HM، و 18.6% في VR-EyeTracking مقارنة بأفضل النتائج المسجلة سابقاً.
• الكفاءة: يتميز النموذج بكفاءة عالية، حيث يحتوي على 3.7 مليون معلمة فقط ويتطلب 14.13 ميجابايت من التخزين. كما يحقق تكلفة حوسبية تبلغ 1.21 جيجا فلوب (GFLOPs).
• سرعة الاستنتاج: على وحدة معالجة رسومات NVIDIA L40s، يحقق النموذج متوسط زمن استنتاج قدره 5.1 مللي ثانية لكل إطار (حوالي 196 إطاراً في الثانية)، مما يؤكد ملاءمته للتطبيقات في الوقت الفعلي.
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أن كلاً من المكونات الديناميكية ($\delta$) والثابتة ($\beta$) لانحياز مركز الرؤية تساهم في الأداء، مع تفاوت أهمية كل منهما حسب مجموعة البيانات. كما أدى الجمع بين جميع دوال الخسارة الأربع إلى أفضل أداء إجمالي.

الأهمية والادعاءات
يزعم البحث أن SalFormer360 يبرهن على القدرة التمثيلية للمحولات (transformers) في تقدير بروز فيديوهات الـ 360 درجة مع الحفاظ على تعقيد حوسبي منخفض. ومن خلال التكيف الناجح لمُشفّر تقسيم ثنائي الأبعاد ودمج انحياز مشاهدة قائم على البيانات، يحقق النموذج دقة تضاهي أحدث الأساليب دون العبء الحسابي الثقيل للالتفافات الكروية أو معالجة التسلسلات الطويلة. ويؤكد المؤلفون أن الطبيعة الخفيفة للنموذج تجعله مناسباً جداً للنشر في جانب الحافة (edge-side) أو جانب العميل (client-side)، مثل النشر مباشرة على نظارات الواقع الافتراضي، مما يتيح تقدير البروز في الوقت الفعلي للتنبؤ بمنطقة الرؤية وتحسين المحتوى الغامر. ويشير العمل إلى أن خرائط البروز الدقيقة والفعالة يمكن أن تعزز بشكل كبير كفاءة بث فيديوهات الـ 360 درجة من خلال السماح بنقل المناطق البارزة بجودة عالية مع خفض جودة المناطق المحيطية.