당신이 로봇에게 자동차 운전하는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 수백만 시간의 영상을 보여줄 수 있고, 그러면 로봇은 인간처럼 정지 표지판이나 보행자를 인식하는 법을 배울 것입니다. 하지만 자율주행 자동차는 단순히 눈으로 '보는' 것이 아니라, 보이지 않는 파동을 통해 세상을 '느낍니다'. 레이더라고 불리는 이 파동은 물체에 부딪혀 튕겨 나오며, 그 물체가 얼마나 멀리 있는지, 얼마나 빨리 움직이는지, 심지어 어떤 재질로 만들어졌는지까지 알려줍니다. 이는 마치 자동차가 소리 대신 라디오파를 사용하여 도로의 3D 지도를 만드는 소나(sonar)를 사용하는 것과 같습니다.

문제는 우리가 세상에 대한 끝없는 영상 데이터는 가지고 있지만, 로봇을 제대로 가르칠 만큼의 '레이더 감각' 데이터는 충분하지 않다는 점입니다. 실제 레이더 데이터를 기록하는 것은 느리고, 비용이 많이 들며, 번거롭습니다. 이는 마치 누군가에게 피아노 건반이 눌리는 소리만 들려주고 정작 음악은 들려주지 않으면서 피아노를 연주하는 법을 가르치려는 것과 같습니다. 과학자들은 컴퓨터를 이용해 영상으로부터 레이더 데이터가 어떻게 보여야 하는지 '상상'하도록 시도해 왔지만, 지금까지 컴퓨터의 상상력은 다소 흐릿하고 부정확했습니다. 이는 사진만 보고 바위의 질감을 추측하려는 것과 같습니다. 모양은 맞출 수 있을지 몰라도, 돌의 거칠기나 굴러가는 돌의 속도는 놓칠 수 있는 것과 마찬가지입니다.

여기서 RadarGen이라는 도구를 가진 새로운 연구팀이 등장합니다. RadarGen을 '마법의 레이더 번역기'라고 생각해 보세요. 이 도구는 일반적인 거리 풍경 사진을 가져와서 특수한 유형의 AI(확산 모델, diffusion model)를 사용하여 그 정확한 순간에 레이더 데이터가 어떠해야 하는지를 꿈꾸듯 그려냅니다. 이 모델은 단순히 물체의 위치를 추측하는 데 그치지 않고, 그 물체가 얼마나 빠르게 움직이는지, 그리고 레이더 신호를 얼마나 강하게 반사하는지에 대한 현실적인 세부 사항까지 만들어냅니다.

연구진은 AI에게 세상을 '조감도(bird's-eye view, 위에서 내려다본 모습)' 관점에서 보도록 가르치고, 깊이와 움직임을 이해하기 위해 다른 스마트한 AI 도구들을 사용함으로써, 생성된 레이더 데이터가 실제와 놀라울 정도로 유사하게 만들 수 있다는 것을 발견했습니다. 그들이 이 가짜 레이더 데이터를 자동차 내비게이션 시스템에 테스트했을 때, 시스템은 마치 실제 데이터인 것처럼 물체를 '보고' 반응할 수 있었습니다. 아직 완벽하지는 않습니다. 컴퓨터는 여전히 매우 어둡거나 까다로운 상황에서 다소 어려움을 겪지만, 이는 우리가 비디오를 편집하는 것만으로도 무제한의 현실적인 레이더 훈련 데이터를 생성할 수 있음을 시사하며, 모든 도로 상황을 직접 기록해야 하는 수고를 덜어줄 수 있음을 보여줍니다.

RadarGen의 마법

문제점: 결여된 감각
자율주행 자동차는 여러 가지 감각을 가진 슈퍼히어로와 같습니다. 색상과 모양을 보기 위한 카메라(눈)가 있고, 어둠이나 비 속에서도 거리와 속도를 감지하기 위한 레이더(특별한 종류의 촉각)가 있습니다. 하지만 문제는, '눈'을 훈련하기 위한 영상 데이터는 산더로 쌓여 있는 반면, 레이더 데이터는 매우 적다는 것입니다. 왜 그럴까요? 실제 레이더를 기록하는 것이 어렵기 때문입니다. 실제 레이더를 포착하려면 특수하고 비싼 차량을 운행하며 세상으로부터 튕겨 나오는 보이지 않는 라디오파를 수집해야 합니다. 게다가 원시 데이터(raw data)는 너무 방대하고 복잡해서, 대부분의 기업은 많은 세부 정보가 손실된 최종 처리된 버전만을 저장합니다.

이러한 부족 현상 때문에 자ful주행 자동차의 '레이더 감각'은 종종 훈련이 부족한 상태가 됩니다. 이는 마치 피아니스트에게 악보만 보여주고 실제 소리는 들려주지 않으면서 협주곡을 연주하도록 가르치는 것과 같습니다. 자동차는 차가 어디에 있는지는 알 수 있지만, 그 차가 얼마나 빠른지, 혹은 미끄러운 트럭인지 아니면 탄성이 있는 자동차인지는 모를 수 있습니다.

해결책: 레이더를 꿈꾸다
RadarGen의 저자들은 컴퓨터가 레이더 데이터를 상상하도록 가르침으로써 이 문제를 해결하기로 했습니다. 그들은 표준 카메라 사진을 보고 "자, 여기서 내가 보는 것을 바탕으로 레이더의 '느낌'은 어떠해야 할까?"라고 말하는 시스템을 구축했습니다.

이를 위해 그들은 단순히 사진을 보는 것에 그치지 않고 영리한 기술을 사용했습니다. 그들은 레이더 데이터를 특히 조감도(Bird's-Eye-View, BEV) 형태의 지도 형식으로 변환했습니다. 헬리콥터에서 도시를 내려다본다고 상상해 보세요. 자동차를 3D 물체로 보는 대신, 평평한 격자 위의 점들로 보게 됩니다.

• 지도 구성: 시스템은 이 지도 위에 세 가지 레이어를 만듭니다:
  1. 점들의 위치: 물체의 위치입니다.
  2. 점들의 '크기(소리)': 이것은 **레이더 단면적(RCS)**이라고 불리며, 물체가 얼마나 반사력이 있는지를 알려줍니다 (예: 큰 트럭은 작은 자동차보다 더 많이 반사합니다).
  3. 움직임의 속도: 이것은 도플러(Doppler) 값으로, 자동차에 대한 상대적인 속도를 알려줍니다.

작동 원리: "꿈꾸는" 기계
연구팀은 **확산 모델(diffusion model)**이라는 강력한 AI 모델을 사용했습니다. 이것은 노이즈(정적) 덩어리에서 시작하여 노이즈를 천천히 깎아내어 조각상을 드러내는 조각가와 같습니다.

1. 입력: 시스템은 자동차의 전방, 후방, 측면에서 찍은 카메라 사진을 가져옵니다.
2. 단서: "꿈을 꾸기" 전에, 시스템은 다른 스마트한 AI 도구들을 사용하여 깊이(물체가 얼마나 멀리 있는지), 물체의 종류(자동차인지 나무인지?), 그리고 움직임(움직이고 있는지?)을 파악합니다. 그리고 이 모든 단서를 동일한 조감도 지도 위에 투영합니다.
3. 생성: 확산 모델은 이러한 단서들을 가지고 빈 지도를 '디노이징(denoising, 노이즈 제거)'하기 시작합니다. 모델은 실제 레이더 반사처럼 보이는 점들로 지도를 천천히 채워 나갑니다. 확률적 모델이기 때문에, 단순히 하나의 답만을 추측하는 것이 아니라 실제 레이더에서 나타나는 '노이즈'나 누락된 점들처럼 다양한 현실적인 가능성을 만들어냅니다.
4. 복구: 결과물은 매끄럽고 흐릿한 지도 형태입니다. 시스템은 그 후 수학적 기법(디컨볼루션, deconvolution)을 사용하여 이 지도를 다시 특정하고 날카로운 점들로 선명하게 만듭니다. 이것이 최종 포인트 클라우드(point cloud)가 됩니다.

연구 결과
연구팀은 RadarGen을 실제 트럭 주행 장면 데이터셋(MAN TruckScenes 데이터셋)을 통해 테스트했습니다. 그들은 생성된 레이더 데이터를 실제 레이더 데이터 및 더 단순하고 오래된 방식(베이스라인)과 비교했습니다.

• 더 높은 정확도: RadarGen은 물체의 위치와 이동 속도를 예측하는 데 훨씬 뛰어났습니다. 테스트 결과, '기하학적 충실도(geometric fidelity, 실제 형상과의 유사성)'가 베이스라인보다 유의미하게 높았습니다.
• 현실적인 통계: 생성된 가짜 레이더 데이터는 통계적으로 실제 레이더 데이터와 유사했습니다. 속도와 반사율의 분포가 이전의 시도들보다 실제 세계와 훨씬 더 잘 일치했습니다.
• 주행에 적용 가능성: 가장 큰 테스트는 실제 자율주행 자동차가 이 가짜 데이터를 사용할 수 있는지였습니다. 그들은 실제 레이더 데이터로 탐지기(물체를 찾는 프로그램)를 학습시킨 후, 생성된 레이더 데이터에서 물체를 찾아내도록 했습니다. 탐지기는 생성된 데이터에서 **66%**의 차량을 찾아냈는데(Hit Rate라는 지표), 이는 베이스라인 탐지기가 거의 아무것도 찾지 못한 것과 대조적입니다. 이는 생성된 데이터가 실제로 자율주한 자동차를 훈련시키는 데 충분히 유용하다는 것을 시사합니다.

"만약 ~한다면"과 "할 수 없는 것"
논문은 이 시스템이 매우 유연하다는 점도 보여주었습니다. 만약 거리 사진을 가져와서 이미지 편집기로 작은 차를 거대한 트럭으로 바꾼다면, RadarGen은 즉시 레이더 데이터를 업데이트합니다. 작은 차가 있던 곳의 레이더 점들을 제거하고 트럭을 위한 새로운 점들을 추가하며, 심지어 트럭이 뒤쪽 물체를 가리는 현상(폐쇄, occlusion)까지 처리합니다. 이는 시스템이 단순히 2D 이미지가 아니라 3D 세계를 이해하고 있음을 증명합니다.

하지만 논문은 이 시스템이 무엇이 아닌지에 대해서도 명확히 밝히고 있습니다.

• 마법이 아닙니다: 이 시스템은 카메라 사진과 다른 AI 도구들(깊이 추정기 등)의 품질에 의존합니다. 카메라가 어둡거나 다른 AI가 혼란을 겪으면 RadarGen도 실수를 저지르게 됩니다.
• 완벽하지 않습니다: 이전보다 발전했지만, 생성된 데이터가 실제 데이터와 완전히 똑같지는 않습니다. 논문은 생성된 데이터에서의 탐지 품질이 여전히 실제 데이터보다는 낮다는 점을 언급하며, AI가 아직 완전히 포착하지 못한 미세한 디테일이 있음을 시사합니다.
• 원시 신호(Raw Signal)가 아닙니다: 이 시스템은 최종적인 '점들(포인트 클라우드)'을 생성하는 것이지, 원시 라디오파 자체를 생성하는 것이 아닙니다. 저자들은 원시 파형을 생성하려면 공개적으로 구할 수 없는 방대한 양의 원시 데이터가 필요하기 때문에, 가공된 포인트 클라우드 방식에 집중했다고 설명합니다.

왜 중요한가
핵-심적인 결론은 RadarGen이 레이더 데이터를 생성할 수 있는 확장 가능한 방법을 제공한다는 것입니다. 모든 날씨 조건에서 레이더를 기록하기 위해 수천 마일을 직접 운전할 필요 없이, 비디오로부터 레이더 데이터를 생성할 수 있게 될 것입니다. 이는 자율주행 자동차의 발전을 가속화하여, 실제 도로에 나가지 않고도 실험실 안에서 수백만 가지의 가상 시나리오를 통해 '연습'할 수 있게 해줄 것입니다. 이는 자율주행 자동차가 실제 세계가 너무 위험하거나 비용이 많이 들어 탐험하기 어려운 상황에서도, 세상에 대한 완전한 다중 감각적 이해를 갖추게 하는 미래를 향한 한 걸음입니다.