Sim2Radar: Toward Bridging the Radar Sim-to-Real Gap with VLM-Guided Scene Reconstruction

본 논문은 단일 RGB 이미지로부터 물리 기반 레이더 시뮬레이션 데이터를 생성하여 실제 데이터의 부족 문제를 해결하고, 이를 통해 레이더 3D 객체 탐지 성능을 향상시키는 'Sim2Radar' 프레임워크를 제안합니다.

핵심

1. 문제 상황: "레이더는 눈이 잘 안 보이는 아이"

우리가 사는 세상은 카메라나 라이다 (LiDAR) 가 잘 작동하지만, 연기, 먼지, 어두운 곳에서는 레이더가 유일한 구원자입니다. 레이더는 전파를 쏘아 반사되는 것을 보고 사물을 봅니다.

하지만 레이더를 가르치려면 엄청난 양의 학습 데이터가 필요합니다. 문제는 이 데이터가 너무 비싸고 만들기 힘들다는 점입니다.

• 카메라 데이터: 인터넷에 수백만 장의 사진이 무료로 있습니다.
• 레이더 데이터: 특수 장비가 필요하고, 점 (Point) 이 희미하게 찍힌 데이터를 사람이 일일이 "이건 문이야, 저건 벽이야"라고 표시해야 합니다. 이 과정이 너무 힘들고 비쌉니다.

2. 해결책: "시뮬레이션 (가상 현실) 으로 연습하기"

연구진은 **"실제 데이터를 구하기 힘들다면, 컴퓨터 안에서 가상의 데이터를 만들어서 먼저 연습해보자!"**라고 생각했습니다.

하지만 여기서 큰 함정이 있었습니다.

• 과거의 방식: 컴퓨터로 3D 모델을 만들려면, 전문가가 하나하나 재료를 지정하고 (이 벽은 금속, 저 문은 나무) 레이더가 어떻게 반사될지 직접 계산해야 했습니다. 이건 마치 실제 집을 짓기 전에 설계도면을 손으로 다 그리는 것처럼 너무 느리고 비쌉니다.

3. Sim2Radar 의 혁신: "AI 가 눈과 뇌를 동시에 쓰다"

이 논문에서 제안한 Sim2Radar는 두 가지 기술을 합쳐서 이 문제를 해결했습니다.

① 눈 (Vision-Language Model, VLM): "이건 뭐야? 재질은 뭐야?"

기존에는 사진만 보고 "이건 나무 같아"라고 추측하는 AI 가 있었지만, Sim2Radar 는 **VLM(시각-언어 모델)**을 썼습니다.

• 비유: 일반 AI 가 "이건 갈색이고 무늬가 있어. 아마 나무겠지?"라고 추측한다면, VLM 은 **"이건 학교 복도에 있는 문이야. 소방 규정에 따라 반드시 금속으로 만들어야 해. 그러니까 이 문은 금속이야!"**라고 상식과 논리를 통해 재질을 추론합니다.
• 덕분에 카메라 사진 하나만으로도 "이 벽은 콘크리트, 저 문은 금속"이라고 정확히 재질을 파악할 수 있게 되었습니다.

② 뇌 (물리 기반 시뮬레이션): "전파가 어떻게 튕겨나갈까?"

재질을 알게 되면, 이제 물리 법칙을 적용합니다.

• 금속은 전파를 잘 반사하고, 나무는 잘 흡수합니다. 연구진은 이 물리 법칙을 컴퓨터에 적용해, 가상의 레이더 전파가 가상의 방에서 어떻게 튕겨나갈지 정밀하게 계산했습니다.
• 결과적으로 실제 레이더와 똑같은 물리 법칙을 따르는 가상의 레이더 데이터가 만들어졌습니다.

4. 결과: "가상 훈련이 실전 점수를 올렸다"

이제 이 가상의 데이터로 레이더 AI 를 훈련시켰습니다.

• 현실: 가상의 데이터는 실제 데이터보다 점 (Point) 이 훨씬 적고 투박합니다. (실제 100 점 중 12 점만 있는 수준)
• 결과: 그런데 놀랍게도, 이 투박한 가상의 데이터로 먼저 공부한 AI 가, 실제 데이터로 조금만 더 공부했을 때 점수가 크게 올랐습니다.

왜일까요?

• 비유: 가상의 데이터로 공부한 AI 는 **"문은 벽에서 이렇게 떨어져 있고, 전파는 이렇게 반사되는구나"**라는 **공간적인 감각 (지형지물)**을 먼저 익혔습니다.
• 실제 데이터는 노이즈가 많고 복잡하지만, AI 는 이미 "공간 구조"를 알고 있었기 때문에, 실제 데이터의 잡음만 제거하면 바로 실력을 발휘할 수 있었습니다.

요약

이 논문은 **"레이더 학습용 데이터를 구하기 힘들다면, 카메라 사진 하나만으로도 AI 가 재질을 추론하게 하고, 물리 법칙으로 가상의 레이더 데이터를 만들어서 먼저 훈련시키자"**는 아이디어를 제시합니다.

이는 마치 비행 시뮬레이터를 통해 조종사가 먼저 비행 감각을 익힌 뒤, 실제 비행기에 탑승했을 때 훨씬 더 안전하고 빠르게 적응하는 것과 같습니다. 이 기술은 화재 구조, 재난 현장 등 카메라가 작동하지 않는 곳에서 로봇과 자율주행차가 더 잘 작동하도록 도와줄 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 레이더 데이터의 부족: 밀리미터파 (mmWave) 레이더는 연기, 먼지, 저조도 등 시각적 센서 (카메라, 라이다) 가 실패하는 환경에서도 견고한 인식을 가능하게 합니다. 그러나 학습 기반 레이더 인식 모델의 발전은 대규모 레이블링된 레이더 데이터의 부재로 인해 병목 현상을 겪고 있습니다. 레이더 데이터 수집은 특수 하드웨어, 다중 센서 동기화, 희소한 반사 신호의 수동 주석 작업 등으로 인해 비용이 매우 높고 확장성이 떨어집니다.
• 시뮬레이션 - 실제 (Sim-to-Real) 간극: 물리 기반 시뮬레이션은 데이터 생성의 대안이지만, 기존 CAD 모델 기반 방식은 수동 모델링이 필요하여 확장성이 낮습니다. 또한, 시뮬레이션된 데이터와 실제 센서 데이터 간의 점군 밀도, 노이즈 통계, 공간적 커버리지 차이로 인해 시뮬레이션 데이터를 직접 학습에 사용할 경우 오히려 성능이 저하될 수 있습니다.

2. 제안 방법론 (Methodology: Sim2Radar)

저자들은 단일 RGB 이미지에서 직접 훈련용 레이더 데이터를 합성하는 엔드 - 투 - 엔드 프레임워크인 Sim2Radar를 제안합니다. 이 프레임워크는 크게 두 단계로 구성됩니다.

A. VLM 지원 장면 재구성 (VLM-Guided Scene Reconstruction)

기존의 CAD 모델이나 수동 주석 없이 RGB 이미지만으로 물성 (Material) 이 부여된 3D 장면을 재구성합니다.

1. 단안 깊이 추정 (Monocular Depth Estimation): MoGe v2 를 사용하여 RGB 이미지에서 밀도 높은 깊이 맵을 생성합니다. (필요시 희소 라이다로 스케일 보정)
2. 자동 분할 및 검출: SAM2 로 장면을 분할하고, Grounding DINO 를 사용하여 '문, 벽, 바닥, 소화기' 등 실내 객체를 텍스트 프롬프트로 탐지 및 라벨링합니다.
3. VLM 기반 물성 분류 (Material Classification): InternVL2.5-8B와 같은 비전 - 언어 모델 (VLM) 을 활용하여 각 세그먼트의 재질을 추론합니다.
   • 핵심: VLM 은 텍스처뿐만 아니라 **시맨틱 맥락 (예: 소방 규정에 따른 산업용 문은 금속, 학교 바닥은 세라믹 등)**을 기반으로 재질을 추론하여, 단순 텍스처 분류가 불가능한 재질 (금속, 유리, 목재 등) 을 정확히 식별합니다.
4. 3D 투영: 깊이 정보와 카메라 내부 파라미터를 사용하여 2D 분할 영역을 3D 점군으로 변환하고, 각 점에 재질 라벨을 부여하여 메시 (Mesh) 를 생성합니다.

B. 물리 기반 레이더 시뮬레이션 (Physics-Based Radar Simulation)

재구성된 3D 장면을 기반으로 물리 법칙에 따라 레이더 신호를 시뮬레이션합니다.

1. 레이 트레이싱 (Ray Tracing): Mitsuba 3 엔진을 사용하여 레이더 위치에서 광선을 발사하고 메시와의 교차를 계산합니다.
2. 물성 기반 반사 모델: ITU-R P.2040 표준에 기반한 유전율과 전도도 값을 재질에 매핑하여 프레넬 (Fresnel) 반사 계수를 계산합니다. 이를 통해 금속은 강한 반사, 목재는 약한 반사 등 실제 전자기파 특성을 반영합니다.
3. 신호 처리: 2 차수까지의 다중 반사 (Multi-bounce) 를 고려하고, 거리 (Range), 방위각 (Azimuth), 고도 (Elevation) 로 데이터를 배인 (Binning) 하여 합성 레이더 점군을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 확장 가능한 시뮬레이션 프레임워크: CAD 모델이나 수동 주석 없이 RGB 이미지와 VLM 추론만으로 물성 인식 3D 장면을 재구성하고 레이더 데이터를 합성하는 최초의 엔드 - 투 - 엔드 파이프라인을 제시했습니다.
2. 시뮬레이션 - 실제 간극 극복 전략: 시뮬레이션 데이터와 실제 데이터의 분포 차이가 크더라도, 프리트레이닝 (Pre-training) 후 파인튜닝 (Fine-tuning) 전략을 통해 3D 국소화 (Localization) 성능을 획기적으로 개선할 수 있음을 증명했습니다.
3. VLM 의 역할 규명: 재질 분류에 VLM 을 도입함으로써, 시각적 외형이 아닌 객체의 물리적 속성과 맥락을 이해하여 레이더 반사 특성을 더 정확하게 모델링할 수 있음을 보였습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋: 실내 화재 구조용 레이더 데이터셋 (IFR Dataset) 을 사용했습니다. (TI 76-81 GHz 레이더, 3D 바운딩 박스 주석 포함)
• 실험 설정: 합성 데이터 (270 프레임) 로 인코더를 프리트레이닝하고, 실제 데이터 (5% ~ 100%) 로 파인튜닝하여 3D 객체 탐지 (PointPillars 모델) 성능을 평가했습니다.
• 주요 성과:
  • 성능 향상: 실제 데이터 양에 관계없이 프리트레이닝을 적용했을 때 3D 평균 정밀도 (AP, IoU 0.3) 가 최대 +3.7 포인트 향상되었습니다.
    • 실제 데이터 100% 사용 시: +3.7 AP 향상 (63.9% → 67.5%)
    • 실제 데이터 5% 사용 시: +3.3 AP 향상 (6.8% → 10.1%)
  • 국소화 개선: 성능 향상의 주요 원인은 탐지 확신도 (Confidence) 가 아닌 **공간적 위치 추정 (Spatial Localization)**의 정확도 향상에서 기인했습니다.
  • 안정성: 프리트레이닝을 적용한 모델은 학습 데이터가 적을 때 모델 초기화에 따른 성능 편차 (Variance) 를 크게 줄여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 데이터 효율성: 물리 기반 시뮬레이션은 실제 센서 데이터와 시각적으로 다르더라도 **기하학적 정합성 (Geometric Priors)**을 제공하여, 실제 데이터가 부족한 상황 (Low-data regime) 에서도 레이더 인식 모델의 성능을 크게 향상시킬 수 있습니다.
• 새로운 패러다임: VLM 을 활용한 시맨틱 재질 추론은 레이더 시뮬레이션의 정확도를 높이는 핵심 요소이며, 이는 CAD 모델 의존도를 낮추고 대규모 합성 데이터 생성을 가능하게 합니다.
• 미래 전망: 이 연구는 레이더 - 텍스트 정렬 (Cross-modal alignment) 이나 대비 학습 (Contrastive Learning) 을 통한 도메인 적응 연구의 기초를 마련하며, 화재 구조, 서비스 로봇 등 시각적 환경이 열악한 실내 로봇 공학 분야에서 레이더 인식 기술의 실용화를 가속화할 것으로 기대됩니다.

요약하자면, Sim2Radar는 "이미지 → VLM 기반 재질/구조 이해 → 물리 기반 레이더 시뮬레이션 → 실제 데이터로 전이 학습"이라는 파이프라인을 통해 레이더 인식의 데이터 병목 문제를 해결하고, 시뮬레이션 데이터가 실제 학습에 유의미한 기하학적 사전 지식을 제공할 수 있음을 입증한 획기적인 연구입니다.