A Physics-Informed Digital Twin Framework for Calibrated Sim-to-Real FMCW Radar Occupancy Estimation

기술 요약: 보정된 Sim-to-Real FMCW 레이더 점유 추정을 위한 물리 기반 디지털 트윈 프레임워크

문제 정의

실제 측정값으로부터 견고한 레이더 인지 모델을 직접 개발하는 것은 본질적으로 비용이 많이 들고 노동 집약적입니다. 이는 통제된 실험, 반복적인 교정, 그리고 광범위한 수동 주석(annotation) 작업을 요구합니다. 전파 시뮬레이션(full-wave) 또는 레이 트레이싱(ray-tracing) 전자기 솔버를 기반으로 한 고충실도 시뮬레이터는 라벨링된 합성 데이터를 생성하기 위한 확장 가능한 대안을 제공하지만, 상당한 "sim-to-real" 격차가 존재합니다. 기존 방식은 독점적인 전자기 도구 체인, 광범위한 파라미터 스윕(parameter sweeps), 또는 특정 도메인 지식 튜닝이 필요한 복잡한 생성 모델(예: GAN)에 의존하는 경우가 많습니다. 본 논문은 시뮬레이션에서 훈련된 FMCW 레이더 모델을 실제 환경의 점유 탐지 및 인원 계수 작업으로 효율적으로 전이하기 위해, 대규모의 라벨링된 실제 데이터셋이 필요하지 않은 문제를 다룹니다.

방법론

1. 물리 기반 디지털 트윈 프레임워크

저자들은 인간 애니메이션, 전자기 모델링, 자동화된 데이터 생성을 통합하는 모듈형 디지털 트윈 프레임워크를 제안합니다.

• 시뮬레이션 환경: 현실적인 다중 경로 전파(multipath propagation)와 클러터를 포착하기 위해 측정된 유전 특성을 반영하여 재구성된 복도 환경(벽, 천장, 바닥)을 사용합니다.
• 레이더 모델링: 물리적 하드웨어의 안테나 구성, 편파 및 처프(chirp) 파라미터(882.35 MHz 대역폭, 처프당 256개 샘플)를 복제한 가상의 60 GHz FMCW 레이더(Infineon BGT60TR13C 센서 모델)를 구현합니다.
• 인간 역학(Human Dynamics): Mixamo 및 CMU Motion Capture 데이터셋에서 유도된 애니메이션 3D 휴머노이드 메쉬를 사용하여 시간에 따라 변하는 레이더 반사 면적(RCS)과 현실적인 궤적을 생성합니다.
• 데이터 생성: Shooting and Bouncing Rays(SBR) 및 Physical Optics(PO) 방법을 사용하는 전자기 솔버가 산란되는 장(scattered fields)을 계산합니다. 출력은 복소수 데이터 큐브(진폭 및 위상)로 구성되며, 이는 Range-Doppler(RD) 맵으로 변환됩니다. 이 베이스라인 시뮬레이션을 RT (Ray-Tracing) 베이스라인이라 부릅니다.

2. 데이터 처리 파이프라인

시뮬레이션 및 실제 데이터 모두 표준화된 전처리 파이프라인을 거칩니다.

• 변환: Fast-time 및 Slow-time 차원에 대해 2D FFT를 적용하여 복소수 RD 맵을 생성합니다.
• 정규화: 진폭을 데시벨(dB)로 변환하고, 시뮬레이션에서 추정된 고정 범위 $[v_{min}, v_{max}]$로 클리핑(clipping)한 후 $[0, 1]$로 정규화합니다.
• 시각화: 데이터를 지각적으로 균일한 컬러맵(viridis)을 통해 매핑하여, ResNet18 모델과 작업별 분류 헤드(이진 점유를 위한 2개 유닛, 인원 계수를 위한 3개 유닛)의 입력으로 사용할 3채널 이미지를 생성합니다.
• 훈련 vs 테스트: 훈련은 오직 시뮬레이션된 RD 맵만으로 수행됩니다. 동일한 복도에서 수집된 실제 데이터셋(비어 있음, 1명, 2명)은 평가를 위해 완전히 분리되어 보관됩니다.

3. 보정된 도메인 무작위화 (Calibrated Domain Randomization, CDR)

도메인 격차를 줄이기 위해, 저자들은 미세 도플러(micro-Doppler) 구조를 보존하면서 시뮬레이션 RD 맵의 글로벌 노이즈 플로어 통계치를 실제 환경과 일치시키는 보정된 도메인 무작위화 (CDR) 단계를 도입합니다.

• 메커니즘: dB 영역에서 프레임별, 셀별 클램프(clamp)가 적용됩니다: $\tilde{S}(i, j) = \max(S(i, j), N(i, j))$. 이 연산은 지나치게 깨끗한 시뮬레이션 배경 셀을 샘플링된 노이즈 플로어 레벨로 높입니다.
• Random DR 베이스라인: 휴리스틱 파라미터($m \in [-130, -100]$ dB, $s \in [1, 4]$ dB)를 가진 일반적인 가우시안 분포에서 노이즈 $N(i, j)$를 샘플링합니다.
• CDR 접근 방식: 휴리스틱 샘플링 대신 원샷(one-shot), 데이터 기반 보정을 사용합니다. 라벨링되지 않은 10초(100프레임) 길이의 비어 있는 실제 복도 시퀀스를 사용하여 실제 노이즈 플로어의 경험적 평균($m_t$)과 표준 편차($s_t$)를 계산합니다. 이후 시뮬레이션은 노이즈 $N_t(i, j) \sim \mathcal{N}(m_t, s_t^2)$를 샘플링하여 보정을 수행합니다.

주요 기여

1. 경량화된 Sim-to-Real 프레임워크: 물리 기반 기하학적 시뮬레이터와 소량의 라벨링되지 않은 실제 교정 세트만을 사용하여 신뢰할 수 있는 FMCW 레이더 점유 탐지 및 인원 계수를 가능하게 하는 프레임워크를 제안합니다.
2. 보정된 도메인 무작위화 (CDR): 시뮬레이션된 노이즈 플로어 통계치를 실제 관측값에 일치시키는 새로운 방법입니다. 표준적인 도메인 무작위화와 달리, CDR은 단 한 번의 짧은 실제 기록을 사용하여 노이즈 분포를 교정함으로써, 인간의 움직임에 따른 식별 가능한 미세 도플러 특징을 변경하지 않고 시뮬레이션의 히스토그램을 실제 분포 쪽으로 효과적으로 이동시킵니다.
3. 모듈형 디지털 트윈: 현실적인 라벨링된 RD 맵을 생성하기 위해 전자기 솔버(SBR/PO)와 모션 캡처 기반의 인간 애니메이션을 결합한 통합 시스템을 구축했습니다.

결과

프레임워크는 두 가지 작업(이진 점유 탐지 및 1명 vs 2명 인원 계수)에 대해 실제 테스트 세트에서 평가되었습니다.

• 점유 탐지 (Occupancy Detection):
  • RT 베이스라인 (수정되지 않은 시뮬레이션): 클러터와 노이즈의 불일치로 인해 균형 정확도(balanced accuracy)가 우연 수준인 50% 근처에 머물며 일반화에 어려움을 겪었습니다.
  • Random DR: 균형 정확도를 약 83%까지 향상시켰으나, 여전히 비현실적인 구조를 보였습니다.
  • CDR: 97%의 균형 정확도를 달성하였으며, 베이스라인 모델들에 비해 허위 미탐지(false negatives)와 허위 경보(false positives)를 크게 줄였습니다.
• 인원 계수 (People Counting):
  • RT 베스라인: 전이가 실패하여 약 33%의 균형 정확도(무작위 추측 수준)를 기록했습니다.
  • Random DR: 성능을 약 61%까지 개선했으나, 여전히 세 클래스를 심하게 혼동했습니다.
  • CDR: 72%의 균형 정확도를 달성하였으며, 특히 1명과 2명을 구분하는 데 있어 개선된 혼동 행렬(confusion matrices)을 보여주었습니다. 오분류는 주로 부분적인 겹침이나 도플러 폐쇄(Doppler occlusion)가 발생하는 모호한 장면에서 관찰되었습니다.
• 특징 분석 (Feature Analysis): ResNet18 활성화 시각화를 통해, CDR 훈련 모델은 배경 구조를 억제하면서 인간의 움직력과 관련된 Range-Doppler 셀에 반응을 집중시키는 반면, 베이스라인 모델은 시뮬레이터 특유의 아티팩트에 의해 지배되는 확산된 반응을 생성함을 확인했습니다.

의의 및 주장

본 논문은 Calibrated Domain Randomization이 sim-to-real 전이를 위한 단순하고, 경량이며, 해석 가능한 방법이라고 주장합니다. 시뮬레이션된 노이즈 플로어를 라벨링되지 않은 실제 측정값의 글로벌 통계치에 맞춤으로써, 이 접근 방식은 순수 시뮬레이션 훈련 및 비보정 도메인 무작위화에 비해 실제 테스트 데이터에 대한 모델 성능을 크게 향상시킵니다.

저자들은 이 프레임워크가 현대적인 시뮬레이터를 사용하는 레이더 기반 인간 감지 시스템에 실용적임을 강조합니다. 이는 독점적인 전자기 도구 체인, 광범위한 파라미터 스윕, 또는 대규모의 라벨링된 실제 데이터셋을 피할 수 있기 때문입니다. 본 연구는 향후 이 접근 방식을 각도 도달(angle-of-arrival) 추정 및 기타 활동 인식 작업으로 확장할 수 있음을 시사하지만, 현재의 기여는 노이즈 플로어 정렬을 통한 점유 및 계수 작업에 국한됩니다.