SalFormer360: a transformer-based saliency estimation model for 360-degree videos

技術要約：SalFormer360

問題提起
サリエンシー推定（注視点推定）は、360度（全方位）ビデオの伝送および視聴体験を最適化する上で、特にビューポート予測やコンテンツ最適化といったタスクにおいて極めて重要である。しかし、既存の手法は、360度コンテンツの球面幾何学に起因する課題に直面している。具体的には、正距円筒図法（equirectangular projection）における幾何学的歪みが挙げられる。さらに、多くの最先端手法は、球面畳み込み、キューブマップ投影、あるいは（10フレームを超えるような）長い時間的シーケンスやオプティカルフローの処理といった、計算コストの高い技術に依存している。これらの手法は高い計算負荷とメモリ要件を伴うことが多く、ヘッドマウントディスプレイ（HMD）のようなリソース制約のあるデバイスへのリアルタイム展開には適していない。加えて、人間の視聴行動、特に（再生開始時にフレームの中心に注目する）「視聴中心バイアス（Viewing Center Bias）」を正確にモデリングすることは依然として困難な課題であり、多くのモデルがこの点に対処できていない。

手法
著者らは、360度ビデオ向けに設計された、軽量なトランスフォーマーベースのサリエンシー推定モデルであるSalFormer360を提案する。そのアーキテクチャは、以下のコンポーネントで構成されている。

1. エンコーダ（SegFormerバックボーン）： 本モデルは、もともと2Dセマンティックセグメンテーション用に開発されたトランスフォーマーベースのアーキテクチャであるSegFormerのエンコーダを利用している。著者らは、360度の正距円筒フレームを扱うために、このエンコーダをファインチューニングした。時間的なダイナミクスを捉えるため、モデルは現在のフレーム（$t$）と前のフレーム（$t-5$）の2つの入力を受け取る。これらはチャネル方向に結合されて6チャネルの入力となり、初期の畳み込み層の重みはこれを収容できるように適応されている。
2. カスタムデコーダ： 特注のデコーダがエンコーダからの特徴マップを処理する。これは、空間解像度を再構成するための、一連の畳み込み層、バッチ正規化、ReLU活性化関数、およびバイリニアアップサンプリングで構成されている。最終的なシグモイド活性化関数を持つ畳み込み層が、初期のサリエンシーマップ（$S_{init}$）を生成する。過学習を防ぐため、訓練時にはドロップアウト（30%）が適用される。
3. 視聴中心バイアス（CB）の統合： 360度フレームの再生開始時に中心部を見るという人間の傾向を考慮するため、モデルは動的な視聴中心バイアスを組み込んでいる。これは、初期予測（$S_{init}$）を、初フレームの平均サリエンシーマップ（CB）と融合させることで実現される。この融合は、以下の式で定義される時間依存の重み付け係数（$w_t$）によって制御される：
   $$S = w_t \cdot CB + (1 - w_t) \cdot S_{init}$$
   ここで、重み $w_t$ は、静的パラメータ（$\beta_i$）と減衰関数（$\delta(t) = e^{-\alpha_i(t/C)^2}$）を組み合わせたものである。これにより、モデルは短期的バイアス（動画開始時に強く作用）と長期的バイアスのバランスを適応的に調整することができ、パラメータ $\alpha_i$ および $\beta_i$ は、各データセットに対して訓練中に学習される。
4. 損失関数： モデルは、ピアソン線形相関係数（$L_{CC}$）、カルバック・ライブラー情報量（$L_{KL}$）、球面平均二乗誤差（$L_{SMSE}$）、およびバイナリクロスエントロピー（$L_{BCE}$）の4つの項を組み合わせた複合損失関数を用いて訓練される。特に $L_{SMSE}$ は、投影による歪みを対処するために、赤道付近の誤差に対して極付近よりも重いペナルティを与える球面重みを適用する。

主な貢献

• 新規アーキテクチャ： セグメンテーション・アーキテクチャがサリエンシー・タスクに効果的に転用できることを示し、SegFormerバックボーンを活用した360度サリエンシー推定のためのトランスフォーマーベースのモデルであるSalFormer360を導入した。
• 視聴バイアスのモデリング： フレームインデックスとデータセットの特性に基づいて動的に調整される、学習可能な視聴中心バイアス・メカニズムを統合し、人間の探索行動を反映させることで予測精度を向上させた。
• データセットの拡張： 著者らは、頭部方向データからグラウンドトゥルース（正解）となるサリエンシーマップを生成し、RGBフレームを抽出することで、PVS-HMおよびVR-EyeTrackingデータセットを拡張し、将来の研究においてより利用しやすいものとした。
• 効率性： モデルは、時間的コンテキストのためにわずか2つのフレームを使用し、複雑な球面畳み込みやオプティカルフローの計算を回避するように設計されており、非常に軽量である。

実験結果
大規模なベンチマークデータセットであるSport360、PVS-HM、およびVR-EyeTrackingを用いて広範な実験が行われた。モデルは、2Dビデオモデル、360度画像モデル、および360度ビデオモデルを含む幅広い最先端手法と比較された。

• 性能： SalFormer360は、これら3つのデータセットすべてにおいて既存の手法を上回った。ピアソン相関係数（CC）において、以前報告された最高の結果と比較して、Sport360で8.4%、PVS-HMで2.5%、VR-EyeTrackingで**18.6%**の向上を達成した。
• 効率性： モデルは非常に効率的であり、パラメータ数はわずか370万、ストレージ容量は14.13 MBである。計算コストは1.21 GFLOPsである。
• 推論速度： NVIDIA L40s GPU上で、モデルはフレームあたり平均5.1 ms（約196 fps）の推論時間を達成し、リアルタイムアプリケーションへの適合性を裏付けた。
• アブレーション研究： 実験により、動的成分（$\delta$）と静的成分（$\beta$）の両方が視聴中心バイアスの性能に寄与しており、その相対的な重要性がデータセットによって異なることが確認された。また、4つの損失関数すべてを組み合わせることで、全体として最高の性能が得られた。

意義と主張
本論文は、SalFormer360が、低い計算複雑性を維持しながら、360度ビデオのサリエンシー推定におけるトランスフォーマー・アーキテクチャの表現能力を実証していると主張している。2Dセグメンテーション・エンコーダをうまく適応させ、データ駆動型の視聴バイアスを統合することで、モデルは球面畳み込みや長いシーケンス処理といった重い計算負荷を負うことなく、最先端の精度を実現している。著者らは、この軽量な性質により、モデルがVRヘッドセットなどのエッジ側またはクライアント側への直接的なデプロイに特に適しており、ビューポート予測や没入型コンテンツ最適化のためのリアルタイムなサリエンシー推定を可能にすることを強調している。本研究は、正確かつ効率的なサリエンシーマップが、顕著な領域を高画質で伝送し、周辺領域の品質を下げることで、360度ビデオのストリーミング効率を大幅に向上させ得ることを示唆している。