技術的概要：箱を通して見る：レーダ信号からの非視界（NLoS）3D 再構成（GeRaF 2.0）

1. 問題定義

無線周波数（RF）信号から物体の 3 次元幾何学を再構成することは、レンズレスである RF センシングの本質により、低空間分解能、高ノイズ、信号アーティファクトが生じるため、根本的に困難である。RF 信号は遮蔽物を透過する（非視界、NLoS）という独自の能力を有するが、既存のニューラル再構成手法は正確な幾何学を生成することに苦慮している。

著者らの先行研究である GeRaF [31] などの従来のアプローチは、遮蔽物体（例えば箱）を単に切り取り、遮蔽が存在しないかのように扱って NLoS 場面を再構成しようとした。このアプローチは、遮蔽物（箱）と相互作用する視界（LoS）無線信号が、隠れた物体に到達する前に部分的に反射・減衰されるという物理的現実を無視しているため失敗する。その結果、これらの手法は以下の 3 つの主要な限界に苦しむ：

1. 不正確な再構成：可視表面からの反射が隠れた領域に「漏れ」込み、ノイズやアーティファクト（例えば、箱によってウサギに生じる「帽子」のような形状）を創出する。
2. 不安定な最適化：異なる LoS 幾何学が最適化の地形を変化させ、収束失敗を招く。
3. 表面の曖昧さ：信号強度を正規化できないため、真の表面位置（符号付き距離場、SDF のゼロレベルセット）を決定することが困難であり、表面が数センチメートルずれることが頻繁に起こる。

2. 手法：GeRaF 2.0

本論文は、可視（LoS）領域からの安定した高忠実度の視覚情報を活用して、隠れた（NLoS）領域の再構成を誘導するという中核的な哲学に基づき、統一された LoS および NLoS（ULoS）ニューラル幾何学再構成フレームワーク「GeRaF 2.0」を提案する。

2.1 ULoS 場面の表現

本フレームワークは、可視および隠れた両方の領域を含む全体場面を、単一の**ULoS 符号付き距離場（ULoS SDF）**内の、一連の入れ子状の閉じたコンパクト集合としてモデル化する。

• 統一ドメイン：場面は $\Omega_{\text{ULoS}} = \Omega_{\text{LoS}} \cup \Omega_{\text{NLoS}}$ として定義される。
• 入れ子集合：空間は層 $M_1, \dots, M_n$ で表現され、$M_n \subset \text{int}(M_{n-1}) \dots \subset \text{int}(\Omega_{\text{ULoS}})$ となる。
• 符号の意味：従来の SDF では「負」が物体内部を意味するが、ULoS SDF は無線周波数の相互作用の強度に基づいて符号を割り当てる。強い RF 相互作用を持つ領域（例えば箱の壁、物体）は負の値を、弱い相互作用を持つ領域（例えば空気）は正の値を割り当てられる。これにより、単一の連続場内で複数の表面（箱の内外、物体）を表現することが可能になる。

2.2 ULoS レンズレスレンダリング

ノイズの多い RF データを用いたトレーニングの不安定性に対処するため、著者らは視覚で事前学習された SDF（$f_v$）を事前分布として取り入れたレンダリング手法を導入する。

• 共有幾何学：LoS 領域（箱の外側）において、RF でトレーニングされた ULoS SDF（$f_r$）と視覚でトレーニングされた SDF（$f_v$）は同一である。
• 透過率調整：各光線に対して透過率をゼロから計算する（計算コストが高く誤差を招きやすい）代わりに、システムは視覚で事前学習された SDF を用いて、主要光線の累積透過率を調整する。これにより RF トレーニングに対する安定した初期化が提供され、最適化が物理的に整合した幾何学的状態から開始されることを保証する。

2.3 2 段階トレーニングパイプライン

表面の曖昧さの問題（ゼロレベルセットが誤ってオフセットされる）を解決するため、著者らは 2 段階の最適化プロセスを提案する：

• ステージ 1：初期化と幾何学学習

  • 反射率ネットワークは凍結され、定数値（1.0）で初期化される。
  • SDF ネットワークは、視覚で事前学習された SDF を用いて初期化される。
  • トレーニングは、予測されたマッチドフィルタ（MF）電力分布と真値との間の損失を最小化し、有効な SDF を強制するためのエイコナル正則化と組み合わせる。
  • レンダリング中の透過率調整には、視覚で事前学習された SDF が用いられる。

• ステージ 2：RSDF 整合

  • すべてのネットワークが共同でトレーニングされる。
  • 新しい損失項、RSDF 整合が導入される。著者らは、未知の定数だけオフセットされた RF トレーニング SDF である相対 SDF（RSDF）、$g_r$ を定義する。
  • 理論的基盤：2 つのスカラー場の勾配が同一であり、かつ閉じた表面上で場が一致する場合、場は至る所で同一である。
  • 実装：システムは、箱の外面（$\partial M_1$）において、RF トレーニングされた RSDF（$g_r$）と視覚トレーニングされた SDF（$f_v$）を整合させる。これは、視覚と RF モダリティ間の主要光線に沿った期待深度の差を最小化することで達成される。
  • この整合により、RF トレーニングされた SDF が正しいゼロレベルセットに収束することが強制され、視覚モデルの幾何学的精度が隠れた NLoS 領域へ効果的に転移される。

3. 主要な貢献

1. 統一表現：RF 伝搬に対して物理的に意味のある符号意味論を持つ単一のニューラル場へと LoS および NLoS 領域を統合する ULoS SDF の導入。
2. ULoS レンズレスレンダリング：視覚で事前学習された SDF を活用して安定した初期化と透過率調整を提供し、NLoS 再構成における LoS に起因するアーティファクトを軽減するレンダリング手法。
3. RSDF 整合：LoS 領域（箱）の既知の幾何学を用いて RF トレーニングされた SDF を整合させる Novel な 2 段階トレーニング戦略。これにより表面の曖昧さの問題を解決し、手動の閾値設定なしに正確なゼロレベルセットを抽出可能にする。
4. 最先端のパフォーマンス：本フレームワークは安定したトレーニングと、可視および隠れた幾何学の物理的に整合した再構成を実現し、既存の RF ベースの手法を上回る性能を示す。

4. 実験結果

著者らは、77 GHz のミリ波レーダをロボットアームに搭載し、さまざまな現実世界の物体（ウサギ、象、シカ、鶏、ボート、ボール）を異なる箱の中に配置して GeRaF 2.0 を評価した。

• 定量的パフォーマンス：GeRaF 2.0 は、F1 スコアおよび Chamfer 距離（CD）の点で、ベースライン（マッチドフィルタ画像、GeRaF [31]、遮蔽場面における視覚ベースの NeuS [48]）を大幅に上回った。例えば、「Bunny」データセットにおいて、GeRaF 2.0 は F1 スコア 0.962、CD 0.15 mm を達成したのに対し、GeRaF はそれぞれ 0.822、4.24 mm であった。
• 定性的改善：本手法は、正しいゼロレベルセットを持つクリーンで正確な表面を生成した。以前の手法が表面レベルの選択（例えば $g_r = 40$ mm）を必要としたのに対し、GeRaF 2.0 は $g_r = 0$ mm で表面を正しく特定し、鶏のトサカや象の牙といった微細な细节を保持した。
• ロバスト性：箱がビニール包装（散乱層の導入）で満たされている場合や、入れ子状の箱を再構成する場合でも、システムは高忠実度の再構成を維持した。
• アブレーション研究：
  • ULoS レンズレスレンダリングを除去すると、収束が遅くなり、形状形成の精度が低下した。
  • RSDF 整合を除去（$\lambda_{\text{RSDF}} = 0$）すると、表面がゼロレベルから著しくオフセットされ、表面の曖昧さを解決するための整合段階の必要性が確認された。

5. 意義

本論文は、視界モダリティを活用して非視界 3D 再構成を強化する最初の研究であり、RF ベースの幾何学再構成において新たな最先端を確立したと主張している。可視領域と隠れた領域の間のギャップを埋めることで、GeRaF 2.0 は RF センシングに内在する根本的な不安定性と曖昧さに対処する。このフレームワークにより、ロボットやスマートデバイスが遮蔽物の背後にある隠れた物体を正確に知覚できるようになり、遮蔽物を存在しないものとして扱う、あるいは RF 信号との物理的相互作用をモデル化することに失敗した以前の手法の限界を超えて進歩する。本研究は、視覚的事前分布をニューラル RF 再構成に統合することが、困難な視認条件下でのロバストかつ高解像度な 3D センシングへの実現可能な道であることを示している。