Differentiable Ray Tracing with Gaussians for Unified Radio Propagation Simulation and View Synthesis

技術概要：ガウスを用いた微分可能レイトレーシングによる、統合無線伝播シミュレーションとビュー合成

問題定義
現在の無線デジタルツインは、高忠実度な視覚的シーン再構成と、無線周波数（RF）伝播シミュレーションに必要な幾何学的要件との間の断絶という、決定的なボトルネックに直面している。3D ガウススプラッティング（3DGS）のような明示的なニューラル表現は、リアルタイムかつフォトリアリスティックな新規ビュー合成を可能にするが、最適化の目標がレイ交差可能な幾何学ではなく、アルファ合成された光学的外観である。その結果、標準的な 3DGS パイプラインは、物理的な RF モデルリングに必要な決定論的なマルチバウンス経路を直接計算できない。逆に、従来の RF シミュレーションは、手動で構築されたメッシュ（CAD または点雲由来）に依存しており、構築にコストがかかり、更新が困難で、実環境に存在する微細な幾何学的詳細を欠くことが多い。さらに、既存の微分可能 RF 手法は、しばしば合成メッシュや陰関数場（implicit fields）に依存しており、明示的で幾何学に依存する伝播経路の復元が困難であったり、スパースな測定値への汎化が難しいという課題を抱えている。

手法
著者は、ハードウェアアクセラレーションされたレイトレーシング構造にガウスプリミティブを埋め込む統合フレームワークを提案し、視覚的に再構成されたニューラルシーン内で直接、微分可能な RF 伝播シミュレーションを可能にする。この手法は主に 3 つの段階で動作する。

1. 統合ガウス表現:
   システムはシーンをモデル化するために 2D ガウススプラッティング（2DGS）を利用する。標準的な 3DGS と異なり、2DGS はスプラットを z 軸方向に広がりのない平面ガウス（楕円ディスク）として表現し、これにより正確なレイ - 平面交差に適している。各ガウスは、平均位置、スケール、回転、球面調和関数、不透明度、およびエッジ確率によって定義される。RF シミュレーションを支援するため、この手法は ADE20K で訓練された Dinov3 ヘッドを用いたポストプロセス処理を通じて、ガウスに意味的な材質ラベルを割り当てる。

2. 微分可能レイトレーシングと経路計算:
   フレームワークは、ハードウェアアクセラレーションされたレイ交差テストを可能にするため、各ガウスを軽量な多角形メッシュで近似する。受信機とボクセル化されたガウスの平均点との間の可視性行列を用いて、粗い伝播経路を効率的に特定する。これらの経路は、局所接平面内での相互作用点を最適化することでフェルマーの最小時間原理を満たすように洗練される。新規の経路剪定戦略は、相互作用点の近接性と法線の整合性を確認することで重複経路を排除し、同時にガウスごとのエッジ確率を活用して、幾何学的エッジ付近の非物理的な反射を破棄する。

3. トレーニングと最適化:
   モデルは、RGB、深度、および法線画像とスパースな点雲を用いてトレーニングされる。損失関数は、フォトメトリック再構成（L1 + D-SSIM）と幾何学的正則化を組み合わせる。

   • 法線正則化: ガウスが深度勾配と単眼法線推定（MoGe-2）から導出された表面法線と整合するように保証する。
   • 深度正則化: レイトレーシングされた深度マップに対する対数損失を用いて再構成を平滑化する。
   • エッジ正則化: 予測されたエッジ確率を、単眼法線勾配から導出されたバイナリマスクと整合させる。

   RF シミュレーションにおいて、フレームワークは構造的経路整合（SPA）損失を導入する。この損失は、単純に RMS 遅延拡散のような集計指標を一致させるのではなく、時間遅延に基づいて対応するマルチパス成分（MPC）を識別し、電力差を最小化することで、シミュレートされたチャネルインパルス応答（CIR）と測定された CIR を一致させる。これにより、相対誘電率や導電率などの材質パラメータ、およびチャネルゲインの微分可能な最適化が可能となる。

主要な貢献

1. 統合された微分可能表現: フォトリアリスティックなレンダリング、マルチバウンス幾何経路トレーシング、および微分可能な電磁気モデリングを同時に支援する、単一のガウスベースのシーン表現。
2. 実世界マルチモーダルデータセット: 手法を検証するための、RGB-D 画像、較正されたカメラ姿勢、およびチャネル測定値（D バンドおよび 234 GHz のシナリオを含む）からなるデータセット。
3. 微分可能整合目的関数: シミュレートされた CIR と測定された CIR を一致させることでチャネルパラメータを最適化する新規損失関数。これにより、手動の幾何学モデリングなしに、視覚のみの再構成から物理的に意味のある CIR を復元可能にする。

実験結果
この手法は、2 つの実世界シーン（D バンド、110–170 GHz の廊下、および 234 GHz の講堂）で評価された。

• 伝播精度: 廊下シーンにおいて、この手法は RMS 遅延拡散（$\tau_{rms}$）の絶対誤差で 0.11 ns を達成し、点雲ベースのベースライン（NimbusRT v1）を上回り、自動再構成された幾何学を使用しているにもかかわらず、メッシュベースのシミュレータ（Sionna）の精度と同等であった。
• 微分可能最適化: 講堂シーンにおいて、SPA 損失は材質パラメータを最適化し、測定された電力遅延プロファイルを再現することに成功した。ベースラインの損失（$\tau_{rms}$を直接一致させるもの）は一部の分割でより低い誤差を示したが、正しい物理的経路構造を捉えることができなかった。提案された SPA 損失はより忠実な教師信号を提供し、支配的な反射経路を正しく識別したが、複雑なシナリオでは遅れて到着する経路を時折見逃すことがあった。
• 視覚的品質: この手法は、ハードウェアアクセラレーションされた RT ベースライン（3DGRT など）よりも少ないガウス数（シーンあたり 100 万未満）を使用し、3DGRT などのハードウェアアクセラレーションされた RT ベースラインよりも高速なトレーニング時間を実現しつつ、最先端の 2DGS および 3DGS ベースラインと同等の新規ビュー合成品質（PSNR 約 24–30 dB）を維持した。

意義
本論文は、この研究が、光学および RF ドメインにわたって汎用する単一の空間表現を確立することで、コンピュータビジョンと無線チャネルモデリングの間の溝を埋めると主張している。視覚的に再構成されたシーンから直接物理的に意味のあるマルチバウンス経路を計算可能にすることで、このアプローチは手動の CAD 幾何学への依存を排除し、スケーラブルで測定駆動型のデジタルツインを支援する。著者らは、この統合により、微分可能パイプライン内で RF 測定から電磁気パラメータを学習することが可能になり、無線通信、ロボティクス、センシングの応用において、ビジョンベースのシーン理解と RF シミュレーションのより緊密な統合が促進されると指摘している。この研究は、回折や散乱の除外といった限界を認めており、また、RGB-D とチャネル測定データのペアの不足により、実験的検証は現在 2 つのシーンに限定されていると述べている。