技術的概要：DelowlightSplat

問題定義

ロボティクスおよび AR/VR において、スパースなポーズ付き画像からの新規視点合成および 3 次元再構成は極めて重要である。近年のフィードフォワード型 3D ガウシアンスプラッティング（3DGS）手法は、スパースな視点から直接 3D ガウスを予測することで、シーンごとの最適化を償却することに成功しているが、低照度条件下では著しく性能が低下する。低照度領域では、コントラストの低下、センサーノイズ、色偏が特徴のマッチング性を劣化させる。この対応関係の破綻は、コストボリューム集積を妨げ、誤った幾何学形状と過度に平滑化された外観をもたらす。

既存の回避策、例えば再構成前に 2D 画像を強化する「復元後再構成」パイプラインは不十分である。画像ごとの強化は、視点依存の色シフトや照明の不一致を導入しがちであり、マルチビューの一貫性を明示的に最適化できないため、不安定な下流の再構成を招く。さらに、ターゲットビューはクリーンでありながらコンテキストビューは劣化しているような、現実的なマルチビュー教師データが不足しており、このタスクに特化したモデルの学習を困難にしている。

手法：DelowlightSplat

著者らは、低照度入力から直接、クリーンで通常照明の 3D シーンを再構成するために設計された、低照度認識型の 2 視点フィードフォワード 3DGS フレームワーク「DelowlightSplat」を提案する。このパイプラインは主に 3 つの段階で構成される：

1. 制御可能なマルチビュー低照度ベンチマーク

トレーニングデータの不足に対処するため、著者らは大規模なポーズ付きビューデータセットに基づいたベンチマークを構築した。シーン全体を劣化させるのではなく、コンテキストビュー（入力画像）のみを劣化させ、**ターゲットビュー（正解）**をクリーンな状態に保つ。劣化演算子 $\mathcal{L}$ は、コンテキスト画像に対して 4 つの確率的変換を順次適用する：

• ガンマ暗化: $I \leftarrow I^\gamma$ （$\gamma > 1$）。
• 露光スケーリング: $I \leftarrow s \cdot I$ （$0 < s < 1$）。
• RGB チャネルシフト: R、G、B チャネルの独立したスケーリング。
• ぼかし: ガウスカーネルとの畳み込み。

このプロトコルは、再構成に対する低照度入力の影響を分離しつつ、モデルが単に低照度の外観を模倣することを学習するのを防ぐ。

2. 低照度アダプター

低照度入力をマルチビュー推論に適した表現ドメインにマッピングするための軽量なフロントエンドモジュールが導入される。スタンドアロンの 2D 強化モデルとは異なり、このアダプターは後続パイプラインのためのマッチング性向上に最適化されている。

• メカニズム: 小さな畳み込み残差ブロックのスタックを用いて、残差補正 $\Delta(I_i)$ を予測する。
• 出力: 適応された画像は $\tilde{I}_i = \text{clip}(I_i + \lambda \cdot \tanh(\Delta(I_i)))$ として計算される。
• 利点: この残差形式により、モデルは軽度の劣化に対してアイデンティティに近い状態を維持でき（過剰強化を回避）、再構成のバックボーンとエンドツーエンドでトレーニングされる。

3. フィードフォワード ガウシアン スプラッティング ネットワーク

適応されたコンテキストビュー $\{\tilde{I}_i\}$ は、コストボリュームベースのマルチビューエンコーダによって処理される：

• 特徴エンコーディング: 2D 特徴を抽出し、クロスビュー相互作用を行って幾何学的に一貫した証拠を集積する。
• 幾何学構築: 各ピクセルで深度および密度関連の量を予測する。これらを 3 次元に逆投影してガウス中心 ($\mu$) を形成する。共分散 ($\Sigma$) と不透明度 ($\alpha$) は、正定値性と有効範囲を確保するようにパラメータ化される。
• 外観: 各ガウスは、視点依存の色を表現する球面調和関数（SH）係数 ($h$) を持つ。
• トレーニング目的: ネットワークは、ピクセルごとの損失（例：$\ell_2$ または Charbonnier）と知覚的損失の組み合わせを介して、クリーンなターゲット画像 ($I^\star_t$) によって監督される。

主な貢献

1. 制御可能なマルチビュー低照度ベンチマーク: コンテキストビューのみを確率的変換で劣化させ、ターゲットビューをクリーンな状態に維持するトレーニングおよび評価フレームワーク。これにより、低照度の影響を体系的にアブレーションすることが可能になる。
2. DelowlightSplat パイプライン: 残差強化のための軽量な低照度アダプターを統合した、新規な 2 視点フィードフォワード 3DGS パイプライン。このアプローチはクロスビューのマッチング性を向上させ、2 段階パイプラインの不一致を回避しながら、新規視点レンダリングのためのクリーンな 3D ガウスを直接予測する。

実験結果

本手法は 2 つのベースラインに対して評価された：

• Lowlight MVSplat: 低照度画像を標準的なフィードフォワード再構成器に直接入力する手法。
• DarkIR $\to$ MVSplat: 強力な 2D 復元モデル（DarkIR）を用いた後、再構成を行う 2 段階パイプライン。

定量的性能（低照度新規視点合成）:
DelowlightSplat は両方のベースラインを大幅に上回った：

• PSNR: Lowlight MVSplat の 8.49、DarkIR $\to$ MVSplat の 17.11 から 23.08 に向上。
• SSIM: 0.372 および 0.723 から 0.833 に向上。
• LPIPS: 0.355 および 0.225 から 0.162 に低減（低いほど良い）。

定性的観察:

• 直接再構成は、過度に平滑化されたテクスチャと幾何学的アーティファクト（例：浮遊構造）をもたらした。
• 2 段階ベースラインは明るさを改善したが、画像ごとの復元の一貫性がないため、視点依存の色シフトと残留ぼかしを導入した。
• DelowlightSplat は、より鮮明なエッジ、安定した幾何学形状、および視点全体での一貫した色・陰影を生成した。

意義と主張

本論文は、DelowlightSplat が標準的なフィードフォワード 3D 再構成と低照度条件の間のギャップを効果的に埋めていると主張する。別個の前処理ステップとして扱うのではなく、低照度適応を再構成パイプラインに直接統合することで、この手法はマルチビューの一貫性を明示的に最適化する。結果は、既存の直接法または 2 段階法と比較して、多様な低照度劣化（ガンマ、露光、色シフト、ぼかし）下において、このアプローチがより高い再構成忠実度と知覚的品質をもたらすことを示している。

著者らは、将来の作業として、モデルをより多くのビュー、より長い時間的コンテキスト、および激しいモーションブラーや空間的に変化するノイズなどの現実世界のセンサーアーティファクトを処理できるように拡張できることに言及している。