技術的概要：StereoGenBench

問題提起

ステレオ画像および動画の生成、ステレオ幾何推定、条件制御ビュー合成は、カメラベースライン、内部パラメータ、シーン深度、カメラ運動といった二眼幾何を支配する変数が既知かつ制御可能である、対になったデータを本質的に必要とする。既存のリソースはこの要件を、主に以下の 2 つの点で満たしていない。

1. 実世界ベンチマーク（例：KITTI、Cityscapes、DrivingStereo）は、撮影時にカメラリグのベースラインと内部パラメータを固定している。これらは価値があるものの、手法のステレオスケール挙動を、撮影時に使用された特定のシーン分布および固定されたハードウェア構成と混同させている。メトリック深度はしばしば疎であるか、欠落している。
2. 合成リソース（例：Scene Flow、SimStereo、StereoCarla）は高密度なレンダリングされた教師信号を提供するが、通常は固定されたリグ構成と内部パラメータを保持している。これらは、ベースラインが制御変数であるのではなく固定されたノイズ変数であるような、シーン対になった較正済みマルチベースラインのグランドトゥルースを提供していない。

著者らは、ベースラインはノイズ変数ではないと主張する。補正されたステレオペアにおいて、視差は $d = B f_x z^{-1}$ としてスケーリングされる。固定されたベースラインのみで手法を訓練・評価することは、性能が実現されたベースラインに応じて変化するかどうか、あるいは生成されたビューが指定されたターゲットカメラと一致するかどうかを不明瞭にする。単一の制御されたソースにおいて、対になった較正済みマルチベースラインの右ビューグランドトゥルース、共同記録された内部パラメータ、高密度なメトリック深度、およびフレームごとのポーズを提供するリソースが存在しない。

手法：StereoGenBench

StereoGenBench は、Unreal Engine を使用して生成された合成ベンチマークであり、一致したシーンコンテンツの下でベースライン領域に対する感度とターゲットカメラの一貫性を測定可能にするように設計されている。

データ生成パイプライン

• 6 台カメラリグ：各シーンは、6 台の同期されたカメラからなる剛体で補正された横方向アレイを使用してレンダリングされる。この構成により、シーンあたり最大 $\binom{6}{2} = 15$ の較正済みビューペアが得られる。
• 制御変数：以前の合成データセットとは異なり、StereoGenBench は単一のソース内で 4 つの軸を変化させながら、対になったグランドトゥルースを保持する。
  • ベースライン：隣接する間隔は特定の領域からサンプリングされる。
  • 内部パラメータ：焦点距離とセンサー寸法は独立してサンプリングされ、記録される。
  • 深度：高密度なメトリック深度が各カメラに対してレンダリングされる。
  • ポーズ：フレームごとの 6 台カメラのポーズが記録される。
• ベースラインサンプリングファミリー：
  • IPD_Gaussian：6.38 cm（瞳間距離）を中心とした切断ガウス分布から隣接間隔をサンプリングし、狭ベースライン領域を反映する。
  • Uniform：一様分布 $U[1.0, 150.0]$ cm から隣接間隔をサンプリングし、広ベースライン評価ブランチを定義する。
  • Pairwise_Uniform：6 台カメラリグをすべての 15 ペアに拡張した際に、すべてのペアのベースラインカバレッジを向上させるように設計された、学習専用ファミリー。
• シーン構築：シーンは、25 枚のマップ（屋内、屋外、都市、自然、SF、様式化）、15 体のキャラクター FBX ファイル、30 のアクション FBX ファイルを含む提案・フィルタリングプロセスを通じて構築される。軌道は、有効な視点サンプリングを行い、それらを 81 フレームのパスに接続することで生成され、無効な遷移に対してはリスタート・スプライス手順が適用される。
• 出力：各シーンには、6 つの RGB 動画、6 つのメトリック深度動画、および内部パラメータ、ベースライン、ポーズを含むメタデータファイル（baseline.json、trajectory.json）が含まれる。解像度は 1280 $\times$ 1280、フレームレートは 15 fps である。

ベンチマークプロトコル

このベンチマークは、異なる研究課題を分離するために、3 つの異なる推論条件（ティア）における右ビュー生成を評価する。

• ティア G0（オラクル幾何条件付き）：手法は左ビュー（$I_L$）に加えて、ターゲットビューの幾何情報（例：グランドトゥルース視差、深度、または歪曲された右ビュー）を受け取る。これは既知の幾何下での合成品質を測定する。
• ティア G1（較正済みターゲットカメラ）：手法は $I_L$ とターゲットカメラのメタデータ（ベースライン $B$ と内部パラメータ $K$）を受け取るが、グランドトゥルース深度は受け取らない。
• ティア G2（未整列モノキュラー）：手法は $I_L$ のみを受け取り、自身の暗黙的な幾何に依存する。

評価指標

結果は、3 つの指標グループを使用して報告される。

1. 再構成品質：生成されたビュー（$\hat{I}_R$）とレンダリングされたターゲットビュー（$I_R$）を比較する PSNR、SSIM、および LPIPS。
2. ステレオ幾何診断：
   • $E_{Match}$：レンダリングされた右ビューを生成されたもので置き換えた際に、ステレオマッチ可能な左画像構造の集合がどのように変化するかを測定する。
   • P-PSNR：ターゲットフリーの一貫性診断であり、局所的なテクスチャ類似性を測定する。
   • SD（スケール偏差）：$D_{gt} \approx a \hat{D} + b$ をフィットさせ、$|a - 1|$ を報告することで、視差スケールの忠実度を測定する。
3. 分布指標：生成された分布とレンダリングされたターゲット分布を比較する FID（画像）および FVD（動画）。

主要な貢献

本論文は以下の貢献を行う。

1. StereoGenBench データセット：6 台カメラ較正リグ、高密度メトリック深度、内部パラメータ、ペアごとのベースライン、フレームごとのポーズを備えた、シーン対になった合成リソース。
2. 分割設計：狭 IPD スケール評価、広ベースライン評価、およびベースラインカバレッジを向上させる学習専用全ペアファミリーの分離。
3. ベンチマークプロトコル：オラクル幾何条件付き、較正済みターゲットカメラ、および未整列モノキュラー推論設定を区別するティア付き評価フレームワーク。
4. 公開リリース：データセット、評価コード、参照結果、Croissant メタデータ、および完全な生成パイプラインの公開。これにより、カスタムアセットを用いた拡張が可能になる。

参照結果

著者らは、代表的な公開手法を使用して、739 の評価シーン（既知マップサブセットと未知マップサブセットに分割）の結果を報告する。

• ティアの違い：予想通り、オラクル幾何条件付き手法（G0）は、入力値がグランドトゥルースに固定されているため、より強いピクセル整合性（高い PSNR/SSIM）を達成する。未整列モノキュラー手法（G2）は、出力がベンチマークターゲットカメラに固定されていないため、より大きな視差スケールのドリフト（高い SD）を示す。
• ベースライン感度：このベンチマークはベースライン効果を成功裡に分離する。例えば、Uniform ブランチにおいて、G2 手法 Mono2Stereo の SD は、[1, 10) cm で 2.63 から [100, 150] cm で 50.85 へと単調に上昇する。これに対し、G0 手法 GenStereo は同じビン間において安定した値（0.03–0.09）を維持する。
• 難易度：Uniform ブランチ（広ベースライン）は、実現された視差が大きく、より多くの非表示（disocclusion）が生じるため、一般的に IPD_Gaussian ブランチよりも困難である。
• 一般化：未知マップの結果は、マッチ可能性（$E_{Match}$）が比較的安定している一方で、分布指標（FID/FVD）は既知マップと未知マップの間でより大きな乖離を示し、視覚的事前分布に対する感度を示していることを示している。

意義と主張

本論文は、StereoGenBench を既存の実世界および合成ベンチマークの代替ではなく、補完的なリソースとして位置づけている。その主な意義は、ステレオ生成評価におけるベースライン変数の分離にある。異なる較正済みベースライン領域下で一致したシーンコンテンツをレンダリングすることで、このベンチマークは研究者に以下を可能にする。

• 性能が実現されたベースラインに応じて変化するかどうかを判断する。
• 生成された右ビューが指定されたターゲットカメラと一致するかを検証する。
• 手法が較正済みターゲットカメラインターフェースを使用しているか、あるいは好ましい暗黙的スケールでステレオを生成しているかを診断する。

著者らは、この合成データセット上の結果を、個別の相関研究なしに実世界のパフォーマンスの直接的な証拠として扱うべきではないと明確に述べている。このベンチマークは、監視、生体認証識別、または人口統計分析ではなく、制御された条件下での幾何意識タスク（ステレオ生成、マッチング、深度推定）の評価を意図している。本リリースは、ベースライン条件付け、マルチペアステレオ生成、およびシミュレーションから実世界への相関に関する将来の研究を可能にする。