技術要約: HybridSim

問題提起

ミリ波（mmWave）レーダーを用いた人間センシングのための堅牢なディープラーニングモデルの開発には、大規模で正確にラベル付けされた訓練用データセットが必要である。しかし、特定の展開サイトにおける実世界の測定データを収集およびアノテーションすることは、リソースを大量に消費し、コストも高い。物理シミュレーションは、データセットを拡張し、シム・トゥ・リアル（sim-to-real）のドメインギャップを埋めるための解決策となるが、既存の手法には以下のような重大な限界がある：

• 物理ベースのレイトレーシング: 高次のマルチパス相互作用をモデリングする場合、指数関数的な計算複雑性が増大するため、連続的な動的動作の合成には非効率である。また、環境の精密なスキャンジオメトリを必要とすることが多い。
• ニューラル表現: ラジアンスフィールドや3D Gaussian Splatting (3DGS) をRFドメインに適応させた最近のアプローチは、静的なチャネルモデリングには優れているが、動的な人体による一次表面散乱と、複雑な環境のマルチパス反射が絡み合ってしまう。この絡み合いにより、単一センサー構成において分節的な運動学（articulated kinematics）を特定するために極めて重要な、時変マイクロドップラー署名の合成が劣化する。
• データ駆動型手法: 純粋なデータ駆動型の生成や物理的なオーグメンターは、コヒーレントなマルチパス干渉や物理的な忠実性を損なうことが多い。

手法: HybridSim

HybridSimは、静的な屋内環境内における動的な人間のメッシュから、現実的な中間周波数（IF）ミリ波レーダー信号を合成するために設計された、物理・学習ハイブリッドのデジタルツインである。その核心となるイノベーションは、電磁波の伝搬を、**直接パス（direct path）と間接パス（indirect path）**という2つの明確に解釈可能なコンポーネントに明示的に分離することにある。

1. ニューラル特徴表現と可視性

• 人体パラメータ化: 動的な被験体は、標準的なSMPLメッシュから抽出されたトライプレーン特徴表現を用いて表現される。これにより、分節的なポーズに依存しない連続的な表現が提供される。
• シーンパラメータ化: 複雑なスキャンジオメッチを必要とする代わりに、静的な部屋の境界（壁、床、天井）は、レーダー送受信機に対するスカラー距離構成を用いてパラメータ化される。これらの表面に対して、合成されたグリッドベースのポイントクラウドが生成される。
• 可視性: 自己遮蔽や視線（LoS）の遮断を処理するために、隠点除去（Hidden Point Removal: HPR）アルゴリズムがすべての散乱体の可視性を動的に決定する。

2. 直接パスのシミュレーション（逆レンダリング）

直接パスは、人体および部屋の境界からの単一バウンス（Line-of-Sight）反射をモデル化する。

• 振幅モデリング: ニュール特徴は、最適化を安定させ、材料パラメータの空間的一貫性を確保するために、確率的マスキングを伴うグラフ畳み込みネットワーク（GCN）を通じて処理される。その後、BRDFデコーダが物理的な材料パラメータ（粗さ、金属特性の混合、屈折率）を予測する。
• 位相モデリング: 位相は、送信機、散乱体、および受信機の位置を使用して計算される、物理的な伝搬法則（搬送波周波数、チャープスロープ、および総遅延）によって厳密に決定される。
• 合成: 最終的な直接信号は、学習された振幅と物理的な位相を取り入れた、すべてのグローバルに可視な散乱体からの寄与のコヒーレントな総和である。

3. 間接パスのシミュレーション（統合マルチスキャッター・サロゲート）

間接パスは、人間対壁、あるいは壁対壁のようなマルチバウンス反射（$\ge$2 バウンス）をモデル化する。

• プロキシ仮想受信機: 明示的なマルチバウンス・レイトレーシングの指数関数的なコストを回避するため、部屋の境界上に配置された一連のプロキシ仮想受信機を導入する。
• 3D Gaussian Splatting (3DGS): 動的な人間メッシュと静的な部屋のレイアウトは、幾何学的に制約された3DGSを用いて、統一された一連の能動的な散乱要素へと離散化される。これらの要素は、体積的な膨張を防ぐために、局所的な接平面に沿った2D表面パッチへとフラット化される。
• 伝搬モデル: 複雑なマルチバウンス積分は、微分可能な3セグメント伝搬モデルとして近似される：送信機 $\to$ 中間散乱体 $\to$ プロキシ受信機 $\to$ 物理受信機。
• 学習: 3DGSのパラメータ（球面調和関数、不透明度、スケーリング、オフセット）は、サイト固有のマルチパス干渉パターンをエンコードするように学習され、マルチバウンス・レイトレーシングのサロゲートとして機能する。

4. 最適化と損失関数

• ドメインギャップの緩和: シム・トゥ・リアルへの移行を容易にするため、合成信号にゼロ平均複素ガウスノイズが注入される。
• 損失戦略: サブミリメートル単位の幾何学的誤差に対する敏感さを避けるため、生のタイムドメイン複素信号の直接最適化は回避される。代わりに、本フレームワークは、2D高速フーリエ変換（FFT）によって導出されたレンジドップラー（RD）振幅ヒートマップ上で最適化を行う。
• 目的関数: 損失は、シミュレーションとグラウンドトゥルースの対数（dBスケール）RDヒートマップ間の平均二乗誤差（MSE）を最小化する。このアプローチにより、幾何学によって扱われる運動学駆動のパス進化と、ニューラルパラメータによって扱われるデータ駆動の電磁気効果を分離する。

主な貢献

1. 分離型レンダリングアーキテクチャ: 直接的な表面散乱（BRDFによる逆レンダリングでモデル化）と、間接的な環境マルチパス効果（3DGSでモデル化）を分離し、レンジドップラーヒートマップにおける微細な運動学的詳細を保持する新しいフレームワーク。
2. 統合マルチスキャッター・サロゲート: プロキシ境界ジオメトリと3DGSを用いることで、明示的なフル・レイトレーシングよりも大幅に低い計算コストを実現しながら、物理的な忠実度を維持して複雑なマルチパス効果をモデル化する手法。
3. 安定化された最適化: 逆レンダリングプロセスを安定させ、材料パラメータの学習中の勾配不安定性を軽減するためのグラフ畳み込みネットワーク（GCN）の使用。

実験結果

本フレームワークは、TI AWR1843BOOSTレーダーを用いたmmMeshデータセットを用いて評価された。

• 定量的性能: イントラサブジェクト（未知のフレーム）およびクロスサブジェクト（未知の人間）の両方の設定において、HybridSimはPSNR、SSIM、およびLPIPSにおいてベースライン（mmGPEおよびRF-Genesis）を上回った。特に、LPIPSにおいて顕著な減少（mmGPEの0.253に対し、HybridSimは0.084）を達成しており、これは優れた構造的忠実度を示している。
• ダウンストリームタスク（人間活動認識）: データ拡張として使用して活動認識モデル（mmAP）を訓練した際、HybridSimは実世界のパフォーマンスにおいて劇的な向上を示した。HybridSimデータで訓練されたモデルは、実世界のグラウンドトゥルースに対して92.07%の精度を達成した（mmGPEは54.22%、RF-Genesisは30.68%）。
• 定性的分析: レンジドップラーヒートマップの視覚的比較により、HybridSimは、ベースラインのシミュレータでは失われたりぼやけたりしがちな、分節的な肢体の動きに伴う微細なマイクロドップラー署名を正確に保持していることが示された。

意義

本論文は、HybridSimが、物理的なデータ収集に伴う多大なコストをかけることなく、レーダーベースの人間センシングのための訓練データセットを拡張するための実用的な解決策を提供すると主張している。直接伝搬と間接伝搬を明示的に分離することで、本シミュレータは実世界の測定に対する高い物理的忠実度を維持しながら、計算効率を高く保つことができる。結果は、合成されたデータがシム・トゥ・リアルのドメインギャップを効果的に埋め、クロスサブジェクトおよびシム・トゥ・リアルにおけるダウンストリームのレーダー知覚モデルの性能を大幅に向上させることを示唆している。本研究は、ダウンストリームの有用性においては、グローバルなピクセルレベルの類似性指標単独よりも、レンジドップラーヒートマップにおける運動学的詳細を保持することが重要であることを確立している。