技術概要：GeRaF - 電波信号からの幾何形状再構築

問題定義

幾何形状の再構築は、仮想現実やロボティクスにおける応用にとって不可欠です。しかし、視覚ベースのセンサー（RGB、LiDAR）は、悪天候下や物体が遮蔽されている場合には機能しません。電波（RF）センシング、特にミリ波（mmWave）は、遮蔽物を透過して様々な条件下で安全に動作することで、この課題に対する解決策を提供します。それにもかかわらず、RF ベースの 3 次元再構築は、ミリメートルレベルの精度を達成することを妨げる 3 つの根本的な課題に直面しています：

1. レンズなし撮像： 光を 1 次元の光線にフィルタリングするためにレンズを使用する光学システムとは異なり、RF システムは方向性フィルタリングなしですべての入力信号を捕捉します。その結果、無関係な信号を除外できないため、信号対雑音比（SNR）が低くなります。
2. 鏡面反射： RF の伝搬は、可視光で一般的である拡散散乱ではなく、鏡面反射（鏡のような反射）によって支配されます。散乱ベースの視覚用に設計された標準的な体積レンダリング技術は、RF に対して物理的に無効です。
3. 計算複雑性： レンズなしレンダリングには、1 次元の光線に沿ってではなく、完全な 3 次元空間全体にわたってサンプリングを行う必要があります。これにより、計算複雑性が立方（$O(N^3)$）となり、高解像度・近距離再構築における単純な実装は非現実的になります。

既存の RF 用ニューラル暗黙的表現手法は、シミュレーションデータまたは大規模なシーン（例：道路、衛星）に限定されており、信号の歪みやノイズにより、近距離物体の再構築に必要なミリメートルレベルの精度を達成できていません。

手法

GeRaF（Geometry Reconstruction from RF）は、RF 信号からの近距離 3 次元幾何形状再構築にニューラル暗黙的学習を利用する最初の手法です。このフレームワークは、物理ベースの RF 体積レンダリングパイプラインとニューラルネットワークを統合し、符号付き距離関数（SDF）、反射率、および信号電力を学習します。

コアコンポーネント

1. ニューラル暗黙的表現： システムは 3 つのサブネットワーク（MLP または学習可能なパラメータを通じて実装）を採用します：

   • SDF ネットワーク： 物体の表面幾何形状を定義する符号付き距離関数を予測します。
   • 反射ネットワーク： 材料特性に基づいて反射係数（$a$）を予測します。
   • 信号電力予測： 受信機における信号電力を推定します。

2. 物理ベースの RF 体積レンダリング：

   • 信号追跡： モデルは、計算空間内のすべての点を潜在的な反射体として扱い、受信されたチャープ信号をシミュレートします。伝搬遅延に基づいて周波数と位相シフトを計算します。
   • 振幅レンダリング： 反射信号の振幅は、往復経路の仮定を用いてモデル化されます。これには以下が含まれます：
     • 鏡面反射モデル： 理想的な鏡面反射ベクトルと受信機ベクトルのドット積（$\omega_o \cdot \omega_r$）によって電力がスケーリングされる、シフトされたランバートモデルを使用します。
     • 経路損失： $(4\pi u)^2$ に比例する自由空間経路損失を考慮します。
     • 透過率： 往復の性質を考慮して（$T(u)^2$）、体積を通じた信号の減衰をモデル化します。

3. 微分可能なマッチドフィルタ（MF）：

   • 高周波の時間領域信号を空間表現に変換するために、GeRaF は微分可能なマッチドフィルタを適用します。これは、受信信号を理想的な参照信号と相関させることで、各アンテナの電力画像（ヒートマップ）を計算します。
   • MF プロセスは微分可能であり、勾配がレンダリングパイプラインを介してニューラルネットワークに逆伝播し、最適化を可能にします。

4. レンズなしサンプリングおよびレンズなしアルファブレンディング：

   • 完全な空間サンプリングの立方の複雑さを克服するために、GeRaF はレンズなしサンプリング戦略を導入します。各アンテナに対して固有の光線を追跡する代わりに、レーダーの主要な方向に整列した平行光線をサンプリングします。
   • 共有計算： 不透明な密度（$\rho$）と累積透過率（$T$）は、空間位置ごとに 1 回計算され、その点を交差するすべてのアンテナ間で共有されます。
   • レンズなしアルファブレンディング： システムは、光線方向の影響がアルファブレンディング計算（$\alpha_i$）において相殺されることを証明します。積分を再計算するのではなく、光線の始点における SDF 値を用いて主要光線の透過率を調整することで、実光線方向の透過率を導出します。
   • 信号追跡バンク： メモリと遅延をさらに削減するために、アンテナ開口部はパッチに分割されます。トレーニング中は、各イテレーションでアンテナのサブセット（パッチ）に対してのみ信号追跡を実行し、他のパッチの結果はメモリバンクから取得します。

5. 最適化戦略：

   • 動的損失マスキング： 弱い信号の曖昧さ（低い密度または幾何学的な不一致による可能性がある）に対処するために、システムはトレーニング中に信頼性の低い点をマスクします。前のイテレーションで高い MF 応答を示したが、現在のイテレーションで電力が低い点は、有効な物理経路を罰することを防ぐために損失計算から除外されます。

主要な貢献

1. マッチドフィルタの統合： 無関係な信号を破棄し、有益な信号を保持するためにマッチドフィルタをニューラルフレームワークに導入し、膨大な RF ノイズの処理を可能にします。
2. 物理ベースの RF レンダリング： 特定の RF 反射モデル（鏡面反射の支配）と信号伝搬の数学的枠組みをレンダリングプロセスに直接統合する体積レンダリングパイプラインを実装します。
3. レンズなしサンプリングおよびブレンディング： 包括的なシーンカバレッジを可能にしつつ、アンテナ数に対する計算複雑性を立方から線形に削減する新たな戦略を提案し、ミリメートルレベルの RF 応用を現実的なものにします。
4. 初のミリメートルレベル再構築： 実世界の RF データから、非視界物体の詳細なミリメートルレベルの幾何形状を再構築するニューラル暗黙的表現の最初の成功例を実証します。

実験結果

システムは、ロボットアームに取り付けられた 77 GHz mmWave レーダー（TI 1843BOOST）を使用して評価され、視界内および箱によって遮蔽された様々な実世界の物体（例：レンチ、うさぎ、象、ボトル）を走査しました。真値は iPhone LiDAR/Scaniverse を通じて取得されました。

• 再構築品質： GeRaF は、F1 スコアおよびチャーマー距離（CD）の両方でベースライン（ポアソン表面再構築によるマッチドフィルタの総和）を上回ります。例えば、「ボトル」物体において、GeRaF は F1 スコア 0.97（ベースラインは 0.44）、CD 0.05mm（ベースラインは 0.35mm）を達成しました。
• 遮蔽処理： この手法は、箱の中など遮蔽物の背後にある物体を正常に再構築しますが、視覚ベースの手法は完全に失敗します。
• 新規視点合成： システムは、未見の視点に対するマッチドフィルタ画像を合成する能力を実証し、ピーク信号対雑音比（PSNR）値を約 30 dB 達成しました。
• アブレーション研究：
  • 走査平面： 走査平面が増えるほど性能が向上します。72 以上の平面では全体的な形状が正しく得られますが、40 未満では歪みが生じます。
  • 時間的サンプル： システムは時間的サンプル数（$N_t$）に対して頑健であり、バランスを取るために $N_t=64$ が選択されました。
  • 位置符号化： 高い周波数レベル（$N_{level}=10$）は、微細な詳細の再構築を改善します。
  • レーダー物理： ランバート反射モデルの組み込みは、幾何学的忠実度を大幅に向上させます（例：「ボトル」の CD を 0.35 から 0.05 に削減）。
  • 動的マスキング： 低反射領域でのアーティファクトを防止するために不可欠です。マスキングなしでは、F1 スコアは 0.81 から 0.63 に低下します。

意義と主張

本論文は、GeRaF を、実世界の環境においてニューラル表現学習を用いてミリメートルレベルの幾何形状再構築を可能にするための基礎的なステップとして位置づけています。同論文は、以下の点で最初の手法であると主張しています：

• ニューラル学習を用いて、膨大な RF ノイズと高解像度の幾何形状再構築との間の根本的なジレンマを克服する。
• ミリメートルレベルの精度で非視界物体を再構築する。
• 微分可能なレンダリングフレームワーク内で、RF の固有の物理的制約（鏡面反射、レンズなし撮像）に対処する。

著者は、現在の走査が単一のピッチ軸に限定されていること、およびランバートモデルが真のレーダー物理の近似であることなどの限界を認めています。しかし、この研究は、疎な点群から高密度で連続的な表面メッシュへと移行する RF センシングの新たなパラダイムを確立しています。