技術概要：P2GS – 自動運転シミュレーションにおける光度的一貫性を備えた都市再構築のための物理的事前知識に基づくガウススプラッティング

1. 問題定義

3D ガウススプラッティング（3DGS）は、自動運転シミュレーションにおけるリアルタイムかつ高忠実度なレンダリングのための強力なツールとして確立されていますが、根本的な限界、すなわち光度的一貫性の欠如に悩まされています。従来の 3DGS は、すべての入力ビューにおいて露出とトーンマッピングが一貫していることを暗黙的に仮定しています。しかし、現実世界の運転データは以下の理由によりこの仮定に反します：

• 不均一なカメラパイプラインと画像信号プロセッサ（ISP）。
• カメラごとの動的露出制御。
• 変化する屋外照明条件。

標準的な 3DGS がそのようなデータで訓練されると、露出の差異やセンサーノイズが学習された放射輝度場（radiance field）に直接「焼き付け」られます。その結果、照明の不一致、色ズレ、特にシミュレーションに不可欠な静的背景領域におけるビュー間の目に見える継ぎ目など、深刻なアーティファクトが生じます。既存の拡張手法（例：StreetGS、DrivingGaussian）は動的物体の分離に焦点を当てていますが、ビュー間での光度的一貫性の問題には対処していません。さらに、照明をモデル化しようとした先行試み（例：GaussHDR、Luminance-GS）は、多露出の教師信号を必要とするか、不安定な疑似 HDR 合成に依存するか、物理的根拠を欠く 2D 補正を適用するかのいずれかでした。

2. 手法：P2GS

著者は、HDR 教師信号を必要とせず、LDR（Low Dynamic Range）画像から露出不変の HDR（High Dynamic Range）放射輝度場を再構築する、物理的根拠に基づいたフレームワークP2GSを提案します。この手法は、最適化を LDR 空間から線形 HDR ドメインへシフトさせることで動作し、本質的なシーン放射輝度をカメラ固有の光度応答から解離させます。

中核コンポーネント

1. 線形 HDR ドメイン放射輝度表現：
   観測された LDR ピクセル値に直接球面調和関数（SH）係数をフィットさせるのではなく、P2GS はそれらを線形 HDR 放射輝度として最適化します。これにより、シーン放射輝度がカメラゲインやトーンマッピングから分離された、物理的に意味のある場（$\hat{I}_{linear}$）が作成されます。

2. ビューごとの露出およびトーンモデル化：
   フレームワークは、各ビュー $i$ に対して学習可能なパラメータを導入します：

   • 露出スケール（$e_i$）： カメラゲインを表す正のスカラー。
   • トーンマッピング関数（$T_i$）： 非線形カメラ応答をモデル化するために、学習可能なガンマ補正（$\gamma_i$）を介して近似されます。
     画像形成モデルは以下のように定義されます：$I_i = T_i(e_i \cdot \hat{I}_{linear})$。

3. 不変放射輝度の原理（PIR）：
   これは P2GS の理論的基盤です。これは、線形 HDR ドメインにおいて、異なるカメラビュー間で観測された放射輝度の比率は、相対的な露出スケールにのみ依存すると仮定します：
   $$\frac{I^{(i)}_{linear}}{I^{(j)}_{linear}} = \frac{e_i}{e_j}$$
   この原理は、シーンの基礎となる放射輝度がカメラの露出設定に関係なく不変であることを強制します。

統合最適化戦略

P2GS は、3 つの項から構成される総損失関数（$\mathcal{L}_{total}$）を最小化する統合最適化フレームワークを採用します：

1. 光度再構築（$\mathcal{L}_{photo}$）： 観測された LDR 画像と合成画像（レンダリングされた HDR → 露出 → トーンマッピング）間の誤差を最小化します。
2. 相対露出一貫性（$\mathcal{L}_{exp}$）： ビューペア間のレンダリングされた HDR 強度の比率が、推定された露出スケールの比率と一致することを保証することで、PIR 制約を強制します。これにより、放射輝度場が露出変動を吸収するのを防ぎます。
3. 正則化（$\mathcal{L}_{reg}$）：
   • 大域的なスケールの曖昧さを防ぐために、露出パラメータの絶対スケールを固定します。
   • ビュー間での露出推定値の過度な分散を罰することで安定性を確保します。
   • 非物理的な解を防ぐために、トーンパラメータ（$\gamma_i$）に sRGB 標準（約 2.2）付近のソフトな事前知識を適用します。

推論時には、この手法はすべての訓練ビューにわたって学習された露出およびトーンパラメータを平均化し、安定した、フリッカーのないレンダリングを生成します。

3. 主要な貢献

本論文は、以下の 3 つの主要な貢献を概説しています：

• P2GS フレームワーク： 本質的な放射輝度を露出およびトーン変動から分離するために不変放射輝度の原理を組み込んだ、3DGS の明示的な HDR ドメイン拡張。HDR 教師信号なしで動作します。
• 統合最適化： 光度損失、PIR ベースの制約、および物理的正則化を使用して、HDR 放射輝度、ビューごとの露出、およびトーンマッピングを共同で最適化する、完全に微分可能な戦略。
• 最先端のパフォーマンス： 不均一な ISP を持つマルチカメラ運転データセットにおける、優れた光度的一貫性と HDR 忠実度の実証。再構築および新規ビュー合成の両方において、既存のベースラインを上回ります。

4. 実験結果

著者は、P2GS をWaymo Open Dataset（実世界）およびCARLA（合成、制御された照明）で評価しました。

• 定量的パフォーマンス（Waymo）：

  • P2GS は、バニラ 3DGS、PVG、Luminance-GS を含むすべての比較手法の中で、最高の SSIM（0.939）および最低の LPIPS（0.209）を達成しました。
  • HDR 不一致スコア（HIS）およびStd-Luminanceが大幅に減少し、時間的およびビュー間の明るさ安定性の優位性を示しました。特に、P2GS は生のアラウンド（ground truth）よりも低い不一致スコアを達成し、標準的な手法が保持するデータセット起因の照明ノイズを効果的に除去することを示唆しています。
  • 新規ビュー合成（NVS）において、P2GS は一貫した優位性を維持し、変化する照明条件に対する堅牢性を示しました。

• 定性的結果：

  • ベースライン手法（3DGS、PVG、Luminance-GS）は、異なる露出を持つビューが結合される箇所で、目に見える継ぎ目、色ズレ、および不均一なシェーディングを示しました。
  • P2GS は、すべてのビューで滑らかに一致した明るさと色を持つ光度的一貫性のある再構築を生成し、道路や壁などの静的構造物における継ぎ目のアーティファクトを効果的に抑制しました。

• 堅牢性（CARLA）：

  • 制御された変化する ISO 感度（極端な露出ノイズをシミュレート）を持つ合成データセットにおいて、P2GS はベースライン（例：Luminance-GS およびアフィン変換された 3DGS）で顕著な劣化が見られたのに対し、僅かなパフォーマンス低下しか示しませんでした。
  • これは、P2GS が露出変動を解離し、重度の破損下でもビュー不変の放射輝度場を維持する能力を裏付けています。

• アブレーション研究：
  露出一貫性損失（$\mathcal{L}_{exp}$）または正則化項（$\mathcal{L}_{reg}$）のいずれかを除去すると、すべての指標でパフォーマンスが低下し、統合された物理的定式化の必要性が実証されました。

5. 意義と主張

本論文は、P2GS が自動運転シミュレーションにおける重要なギャップ、すなわち光度的に安定した3D 表現の欠如に対処していると主張しています。カメラ依存の歪みを真のシーン放射輝度から解離させることで、P2GS は以下を可能にします：

• 信頼性の高いクローズドループシミュレーション： 照明の一貫性が極めて重要な、知覚モデルおよびシミュレーターの訓練に不可欠な、物理的に整合性の取れた背景を提供します。
• 露出不変の制御可能性： 任意の露出スケール下での、アーティファクトのない連続的な再レンダリングを可能にします。これは標準的な 3DGS には不可能な機能です。
• スケーラビリティ： 制御された環境や多露出入力を必要とせず、疎で大規模な運転データで機能するソリューションを提供します。

著者は、P2GS は静的背景に焦点を当てており、まだ材料特性と外部照明を明示的に分離していないこと（将来の方向性）を認めつつも、自動運転における大規模な都市再構築のための強力で物理的に整合性の取れた基盤を確立したと結論付けています。