기술 요약: 상자 속을 들여다보기: 레이더 신호를 통한 비가시선 3D 재구성 (GeRaF 2.0)

1. 문제 정의

무선 주파수 (RF) 신호로부터 3D 물체 기하학을 재구성하는 것은 렌즈가 없는 RF 감지의 본질적 특성으로 인해 근본적으로 어렵습니다. 이로 인해 공간 해상도가 낮고, 노이즈가 높으며, 신호 아티팩트가 발생합니다. RF 신호는 가림물 (Non-Line-of-Sight 또는 NLoS) 을 투과할 수 있는 고유한 능력을 갖추고 있지만, 기존 신경 재구성 방법들은 정확한 기하학을 생성하는 데 어려움을 겪습니다.

저자의 이전 연구인 GeRaF [31] 와 같은 이전 접근법들은 가림물 (예: 상자) 을 단순히 잘라내고 가림물이 존재하지 않는 것처럼 장면을 처리하여 NLoS 장면을 재구성하려고 시도했습니다. 그러나 이 접근법은 무선 신호가 가시선 (LoS) 가림물 (상자) 과 상호작용할 때 숨겨진 물체에 도달하기 전에 부분적으로 반사되고 감쇠된다는 물리적 현실을 무시하기 때문에 실패합니다. 결과적으로 이러한 방법들은 세 가지 주요 한계를 겪습니다:

1. 부정확한 재구성: 가시 표면에서의 반사가 숨겨진 영역으로 "누출"되어 노이즈와 아티팩트 (예: 상자에 의해 유발된 토끼의 "모자" 모양) 를 생성합니다.
2. 불안정한 최적화: 서로 다른 LoS 기하학이 최적화 지형을 변경하여 수렴 실패를 초래합니다.
3. 표면 모호성: 신호 강도를 정규화할 수 없기 때문에 실제 표면 위치 (부호화 거리장 또는 SDF 의 영-레벨 세트) 를 결정하기 어렵고, 종종 표면이 수 센티미터만큼 오프셋되는 결과를 초래합니다.

2. 방법론: GeRaF 2.0

본 논문은 가시 (LoS) 영역의 안정적이고 고충실도인 시각 정보를 활용하여 숨겨진 (NLoS) 영역의 재구성을 안내하는 통합 LoS 및 NLoS (ULoS) 신경 기하학 재구성 프레임워크인 GeRaF 2.0을 제안합니다.

2.1 ULoS 장면 표현

이 프레임워크는 전체 장면 (가시 및 숨겨진 영역 모두) 을 단일 ULoS 부호화 거리장 (ULoS SDF) 내의 일련의 중첩된 닫힌 콤팩트 집합으로 모델링합니다.

• 통합 도메인: 장면은 $\Omega_{\text{ULoS}} = \Omega_{\text{LoS}} \cup \Omega_{\text{NLoS}}$로 정의됩니다.
• 중첩 집합: 공간은 $M_1, \dots, M_n$ 레이어로 표현되며, 여기서 $M_n \subset \text{int}(M_{n-1}) \dots \subset \text{int}(\Omega_{\text{ULoS}})$입니다.
• 부호 의미: 물체 내부임을 나타내는 "음수"를 의미하는 전통적인 SDF 와 달리, ULoS SDF 는 무선 주파수 상호작용 강도에 따라 부호를 할당합니다. 강한 RF 상호작용 영역 (예: 상자 벽, 물체) 은 음수 값을 할당받고, 약한 상호작용 영역 (예: 공기) 은 양수 값을 할당받습니다. 이를 통해 단일 연속 장 내에서 여러 표면 (상자의 내부/외부, 물체) 을 표현할 수 있습니다.

2.2 ULoS 렌즈 없는 렌더링

노이즈가 많은 RF 데이터로 훈련할 때 발생하는 불안정성을 해결하기 위해, 저자들은 시각 사전 훈련된 SDF($f_v$) 를 사전 지식 (prior) 으로 포함하는 렌더링 기법을 도입합니다.

• 공유 기하학: LoS 영역 (상자 외부) 에서 RF 훈련된 ULoS SDF($f_r$) 와 시각 훈련된 SDF($f_v$) 는 동일합니다.
• 투과율 조정: 모든 광선에 대해 투과율을 처음부터 계산하는 것 (이는 계산 비용이 많이 들고 오류에 취약함) 대신, 시스템은 시각 사전 훈련된 SDF 를 사용하여 주 광선의 누적 투과율을 조정합니다. 이는 RF 훈련에 대한 안정적인 초기화를 제공하여 최적화가 물리적으로 일관된 기하학적 상태에서 시작되도록 보장합니다.

2.3 2 단계 훈련 파이프라인

표면 모호성 문제(영-레벨 세트가 잘못 오프셋되는 경우) 를 해결하기 위해, 저자들은 2 단계 최적화 과정을 제안합니다:

• 1 단계: 초기화 및 기하학 학습

  • 반사도 네트워크는 고정되어 상수 값 (1.0) 으로 초기화됩니다.
  • SDF 네트워크는 시각 사전 훈련된 SDF 를 사용하여 초기화됩니다.
  • 훈련은 예측된 Matched Filter (MF) 전력 분포와 실제 값 간의 손실을 최소화하며, 유효한 SDF 를 강제하기 위해 Eikonal 정규화를 결합합니다.
  • 시각 사전 훈련된 SDF 는 렌더링 중 투과율 조정에 사용됩니다.

• 2 단계: RSDF 정렬

  • 모든 네트워크가 공동으로 훈련됩니다.
  • 새로운 손실 항인 RSDF 정렬이 도입됩니다. 저자들은 알 수 없는 상수로 오프셋된 RF 훈련된 SDF 인 상대적 SDF(RSDF), $g_r$을 정의합니다.
  • 이론적 근거: 두 스칼라 장의 기울기가 동일하고 폐곡면에서 장이 일치하면, 장은 모든 곳에서 동일합니다.
  • 구현: 시스템은 상자 외곽 표면 ($\partial M_1$) 에서 RF 훈련된 RSDF($g_r$) 과 시각 훈련된 SDF($f_v$) 를 정렬합니다. 이는 시각 및 RF 모달리티 간의 주 광선을 따라 기대되는 깊이의 차이를 최소화함으로써 달성됩니다.
  • 이 정렬은 RF 훈련된 SDF 가 올바른 영-레벨 세트로 수렴하도록 강제하여, 시각 모델의 기하학적 정확도를 숨겨진 NLoS 영역으로 효과적으로 전이시킵니다.

3. 주요 기여

1. 통합 표현: RF 전파를 위한 물리적으로 의미 있는 부호 의미로 LoS 및 NLoS 영역을 단일 신경 장으로 통합하는 ULoS SDF 의 도입.
2. ULoS 렌즈 없는 렌더링: 시각 사전 훈련된 SDF 를 활용하여 안정적인 초기화 및 투과율 조정을 제공하고, NLoS 재구성에서 LoS 로 인한 아티팩트를 완화하는 렌더링 기법.
3. RSDF 정렬: 가시 영역 (상자) 의 알려진 기하학을 사용하여 RF 훈련된 SDF 를 정렬하는 새로운 2 단계 훈련 전략으로, 표면 모호성 문제를 해결하고 수동 임계값 없이 정확한 영-레벨 세트를 추출할 수 있게 함.
4. 최첨단 성능: 이 프레임워크는 가시 및 숨겨진 기하학 모두에 대한 안정적 훈련 및 물리적으로 일관된 재구성을 달성하여 기존 RF 기반 방법들을 능가합니다.

4. 실험 결과

저자들은 77 GHz mmWave 레이더를 로봇 팔에 장착하여 다양한 상자 내부의 실제 세계 물체 (토끼, 코끼리, 사슴, 닭, 보트, 공) 를 촬영하여 GeRaF 2.0 을 평가했습니다.

• 정량적 성능: GeRaF 2.0 은 F1-score 및 Chamfer Distance (CD) 측면에서 베이스라인 (Matched Filter 이미징, GeRaF [31], 가려진 장면에서의 시각 기반 NeuS [48]) 보다 훨씬 우수한 성능을 보였습니다. 예를 들어, "Bunny" 데이터셋에서 GeRaF 2.0 은 0.962 의 F1-score 와 0.15 mm 의 CD 를 달성한 반면, GeRaF 는 0.822 와 4.24 mm 를 기록했습니다.
• 정성적 개선: 이 방법은 올바른 영-레벨 세트를 가진 깨끗하고 정확한 표면을 생성했습니다. 이전 방법들이 표면 레벨을 수동으로 선택해야 했다면 (예: $g_r = 40$ mm), GeRaF 2.0 은 $g_r = 0$ mm 에서 표면을 올바르게 식별하여 닭의 볏과 코끼리의 이빨과 같은 미세한 디테일을 보존했습니다.
• 강건성: 시스템은 상자가 비닐 포장재로 채워져 산란층이 도입되었거나 중첩된 상자를 재구성할 때에도 고충실도 재구성을 유지했습니다.
• Ablation 연구:
  • ULoS 렌즈 없는 렌더링을 제거하면 수렴 속도가 느려지고 형태 형성이 덜 정확해졌습니다.
  • RSDF 정렬을 제거 ($\lambda_{\text{RSDF}} = 0$) 하면 표면이 영 레벨에서 크게 오프셋되어, 표면 모호성을 해결하기 위해 정렬 단계가 필수적임을 확인했습니다.

5. 의의

본 논문은 가시선 모달리티를 활용하여 비가시선 3D 재구성을 향상시키는 첫 번째 연구를 제시하며, RF 기반 기하학 재구성 분야에서 새로운 최첨단 성능을 설정했다고 주장합니다. 가시 영역과 숨겨진 영역 간의 격차를 해소함으로써 GeRaF 2.0 은 RF 감지에 내재된 근본적인 불안정성과 모호성을 해결합니다. 이 프레임워크는 로봇과 스마트 장치가 가림물 뒤에 있는 숨겨진 물체를 정확하게 인식할 수 있게 하여, 가림물을 존재하지 않는 것으로 취급하거나 RF 신호와의 물리적 상호작용을 모델링하지 못했던 이전 방법들의 한계를 넘어섭니다. 이 연구는 신경 RF 재구성에 시각 사전 지식을 통합하는 것이 어려운 가시성 조건에서 견고하고 고해상도 3D 감지를 위한 실현 가능한 경로임을 보여줍니다.