💻 computer science

JustDepth: Real-Time Radar-Camera Depth Estimation with Single-Scan LiDAR Supervision

JustDepth는 레이더 반사 신호를 고정된 너비의 1D 표현으로 집계하고 전역 깊이 전파를 위해 경량 GNN을 활용함으로써 높은 정확도와 현저히 감소된 추론 지연 시간을 달나 달성하며, 오직 단일 스캔 LiDAR 감독만으로 학습되는 단일 단계 실시간 레이더-카메라 깊이 추정 프레임워크이다.

원저자: Wooyung Yun, Dongwook Kim, Soomok Lee

게시일 2026-07-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wooyung Yun, Dongwook Kim, Soomok Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

짙은 안개 속에서 자동차를 운전하며 세상을 명확하게 보려고 노력하는 상황을 상상해 보세요. 당신의 눈(카메라)은 나무나 다른 차들의 색상과 형태는 볼 수 있지만, 그 물체들이 정확히 얼마나 멀리 떨어져 있는지는 알려주지 못합니다. 이는 마치 평면적인 그림을 보는 것과 같습니다. 산이 거기 있다는 것은 알지만, 그것이 10피트 앞에 있는지 혹은 10마일 뒤에 있는지는 알 수 없는 것과 같습니다. 반면에, 자동차의 레이더는 박쥐가 사용하는 에코로케이션(반향 정위)과 같습니다. 그것은 무언가가 정확히 얼마나 멀리 있는지는 알려줄 수 있지만, 그 이미지는 매우 흐릿하고 구멍이 숭숭 뚫려 있습니다. 마치 대부분의 섬이 빠져 있는 지도와 같습니다.

진정으로 안전한 자율주행 자동차를 만들기 위해, 엔지니어들은 이 두 가지 감각을 결과적으로 결합해야 합니다. 즉, 카메라의 풍부한 디테일과 레이더의 정밀한 거리 정보를 합쳐야 합니다. 목표는 날씨가 최악인 상황에서도 상세하면서도 정확한 "3D 지도"를 만드는 것입니다. 하지만 컴퓨터에게 이 작업을 가르치는 것은 대개 흔들리는 기초 위에 마천루를 짓는 것과 같았습니다. 기존 방식들은 종종 비싼 레이저 스캐너(LiDAR)를 사용하여 영역을 여러 번 훑으며 완벽한 지도를 만들거나, 실시간으로 작동하기에는 너무 오래 걸리는 복잡한 다단계 과정을 필요로 하는 등 많은 추가적인 도움을 요구했습니다. 이 논문은 단 한 번의 데이터 스냅샷만을 사용하여 컴퓨터가 깊이(depth)를 보는 법을 가르치는, 더 똑똑하고 빠른 방법을 소개합니다.

이 연구의 저자들(아주대학교와 케네소 주립대학교 소속)은 JustDepth라는 이름의 새로운 시스템을 개발했습니다. JustDepth를 단 한 번의 눈길(카메라)과 단 한 번의 핑(레이더)만으로 "그것이 얼마나 멀리 있는가?"라는 미스터리를 해결하는 매우 효율적인 탐정이라고 생각해보세요.

대부분의 이전 탐정 팀들은 느리고 서툴렀습니다. 그들은 종-종 장면의 초안을 먼저 만든 다음 다시 돌아와서 이를 개선하거나, 이미 수백만 개의 다른 사진을 공부한 "선생님"(사전 학습된 모델)에 의존하곤 했습니다. 이는 그들을 느리게 만들고 다른 자동차나 데이터셋으로 옮겨가기 어렵게 만들었습니다. 하지만 JustDepth는 "단일 단계(single-stage)" 탐정입니다. 카메리 이미지와 레이더 핑을 한 번 보고 즉시 완전하고 조밀한 3D 지도를 내놓습니다. 초안을 먼저 만들 필요도 없고, 다른 모델으로부터 추가적인 학습을 받을 필요도 없습니다.

JustDepth의 비결은 지저lı한 레이더 데이터를 처리하는 방식에 있습니다. 레이더 반사 신호는 흩어진 구슬 한 움큼과 같습니다. 때로는 몇 개가 있고, 때로는 수천 개가 있습니다. 만약 컴퓨터가 모든 구슬을 개별적으로 처리하려고 한다면, 걸리는 시간이 크게 변동될 것이며, 이는 찰나의 순간에 결정을 내려야 하는 자동차에게 좋지 않습니다. JustDepth는 이 모든 흩어진 레이더 점들을 깔끔하고 고정된 너비의 정보 스트립(strip)으로 압축함으로써 이 문제를 해결합니다. 이는 마치 혼란스러운 퍼즐 조각 더미를 하나의 균일한 테이프 모양으로 눌러 압착하는 것과 같습니다. 이 덕분에 레이더 포인트가 10개든 1,000개든 상관없이 컴퓨터는 정확히 동일한 시간 동안 데이터를 처리할 수 있습니다.

데이터가 정리되면, JustDepth는 "높이 융합 블록(Height Fusion Block)"을 사용하여 카메라의 사진과 레이더의 거리 스트립을 결합합니다. 거리만을 측정하는 자를 거리 측정용 수직선 위에 길게 늘어뜨린 사진과 일치시키는 것을 상상해 보세요. 그런 다음, 전체 이미지에 걸쳐 "전화기 놀이"를 하는 것처럼 작동하는 "그래프 신경망(GNN)"을 사용합니다. 시스템은 한 픽셀에서 얻은 깊이 단서를 이웃 픽셀로 전달하여, 레이더가 아무것도 보지 못한 영역에서도 전체 이미지가 거리에 대해 서로 "동의"할 수 있게 합니다.

이 분야의 가장 큰 골칫거리 중 하나는 "LiDAR 분포 누출(LiDAR Distribution Leakage)"이라 불리는 문제입니다. 컴퓨터를 가르치는 데 사용되는 레이저 스캐너(LiDAR)가 수평선 방향으로만 훑기 때문에, 컴퓨터는 실제 세상의 매끄러운 표면을 보는 대신 스캐너가 했던 것처럼 깊이 지도에 수평 줄무늬를 그리는 법을 배우곤 합니다. 이를 해결하기 위해 저자들은 더 비싼 데이터 없이도 사용할 수 있는 영리한 트릭을 사용했습니다. 훈련 중에 이미지와 데이터를 무작위 각도로 회전시키고 레이저 선 사이의 간극을 추가적인 "가짜" 점들로 채운 것입니다. 이는 컴퓨터가 줄무늬 패턴을 암기하는 대신 실제 3D 물체가 실제로 어떻게 생겼는지를 배우도록 강제했습니다. 또한, 이 방법이 효과적임을 증명하기 위해 수직-수평 그래디언트 비율(VHGR)이라는 새로운 측정 방식을 만들었습니다.

결과는 인상적입니다. nuScenes 데이터셋(표준 주행 장면 컬렉션)에서 테스트했을 때, JustDepth는 단 한 프레임을 처리하는 데 단 14.8 밀리초밖에 걸리지 않았습니다. 이는 GET-UP과 같은 기존의 최고 방법들보다 약 39.7배 빠른 속도이면서도 매우 높은 정확도를 유지합니다. 실제로, 이 방법은 다른 방법들에 비해 "줄무늬 아티팩트(unwanted horizontal lines)"를 66% 감소시켰습니다.

또한 이 논문은 "보조 바퀴" 역할을 하는 독특한 기능인 "신뢰도 디코더(confidence decoder)"를 강조합니다. 학습 단계에서 이 부분은 어떤 픽셀이 레이더에 의해 지원되고 어떤 것이 그렇지 않은지를 확인하여 메인 시스템이 더 잘 학습하도록 돕습니다. 하지만 가장 멋진 점은, 시스템이 훈련된 후 이 보조 바퀴를 던져버린다는 것입니다. 이것은 최종 결과물의 속도를 전혀 늦추지 않으면서도, 최종 주행 시 추가적인 시간 소모 없이 정확도를 높여줍니다.

요약하자면, JustDepth는 훌륭한 깊이 추정을 위해 느린 다단계 과정이나 엄청난 양의 추가 데이터가 필요하지 않다는 것을 시사합니다. 구조를 단순화하고, 고정 너비의 레이더 표현법을 사용하며, 줄무늬 아티팩트를 제거하기 위한 스마트한 데이터 트릭을 사용함으로써, 저자들은 매우 빠르고 정확한 시스템을 만들어냈습니다. 이는 센서가 희소하고 날씨가 나쁜 상황에서도 자동차가 세상을 명확하고 빠르게, 그리고 신뢰할 수 있게 볼 수 있도록 하는 한 단계 진전입니다.

문제 정의

정확하고 지연 시간이 낮은 3D 깊이 추정(depth estimation)은 자율 주행 시스템에 매우 중요합니다. 카메라는 풍부한 외관 단서를 제공하지만 미터법 기반의 스케일(metric scale)이 부족합니다. 반면, 자동차용 mmWave 레이더는 미터법 기반의 거리 정보를 제공하고 기상 조건에 강건하지만, 각도 해상도가 제한적이고 희소하며 노이즈가 많은 데이터를 생성합니다. 기존의 레이더-카메라 퓨전 파이프라인은 다단계 구조, 사전 학습된 단안 깊이 모델에 대한 의존성, 또는 그라운드 트루스(ground truth) 구축을 위한 보조 주석(예: 시맨틱 마스크, 바운딩 박스) 및 멀티 스캔 LiDAR 축적의 필요성으로 인해 높은 지연 시간과 복잡성을 겪는 경우가 많습니다. 또한, 싱글 스캔(single-scan) LiDAR 감독 방식으로 학습할 경우 LiDAR 분포 누출(LiDAR Distribution Leakage, LDL) 문제가 발생할 수 있습니다. 이는 모델이 스캐너의 특정 샘플링 패턴을 재현하도록 학습되어, 예측된 깊이 맵에서 가시적인 수평 스트라이프 아티팩트(artifact)를 생성하는 현상을 의미합니다.

방법론

저자들은 보조 주석 없이 실시간 추론이 가능하도록 설계된 단일 단계 레이더-카메라 깊이 추정기인 JustDepth를 제안합니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

고정 폭 레이더 인코딩 (Fixed-Width Radar Encoding):
- 레이더 반사 신호를 이미지 평면에 투영하되, 수평 픽셀 좌표( $u$ )와 거리 정보만을 유지합니다.
- 이 점들을 폭이 $W$ 인 고정 폭 1D 그리드로 래스터화(rasterize)합니다. 각 열(column)에 대해 최소 거리를 저장하며, 비어 있는 열은 0으로 처리합니다.
- 1D 컨볼루션 백본이 이 그리드를 처리하여 잠재 특징 맵 $r_L \in \mathbb{R}^{B \times C \times w}$ 를 생성합니다. 결정적으로, 그리드 폭이 고정되어 있기 때문에 인코더의 연산량과 지연 시간은 원시 레이더 포인트의 개수와 관계없이 일정하게 유지됩니다.
높이 퓨전 블록 (Height Fusion Block):
- 이 모듈은 2D 이미지 특징( $i_L$ )과 1D 레이더 특징( $r_L$ )을 정렬합니다.
- 레이더 특징을 높이 차원에 반복하여 이미지 특징의 높이와 일치시키며, 이를 통해 $h \times 2C$ 크기의 열 단위 토큰 시퀀스를 생성합니다.
- 높이 방향 셀프 어텐션(height-wise self-attention) 메커니즘은 각 열을 독립적으로 처리하여, 모델이 각 이미지 열 내에서 레이더 사전 정보(prior)에 대한 일관된 수직 위치를 학습할 수 있도록 합니다. 이후 피드포워드 네트워크와 경량 컨볼루션 모듈을 통해 2D 컨텍스트를 복원합니다.
그래프 기반 글로벌 전파 (Graph-Based Global Propagation):
- $N$ 개의 층을 가진 그래프 신경망(GNN)이 깊이 단서를 전역적으로 전파합니다.
- 노드는 특징 맵의 공간적 토큰을 나타냅니다. 엣지는 특징 공간에서의 K-최근접 이웃(K-NN) 탐색을 사용하여 구축됩니다.
- 네트워크는 **Max-Relative Graph Convolution (MR-Conv)**을 채택하며, 여기서 메시지는 노드와 그 이웃 간의 최대 차이에 의해 형성됩니다. 이를 통해 레이더가 지원하거나 LiDAR 감독을 받는 영역으로부터 감독되지 않은 영역으로 깊이 정보가 전파될 수 있으며, 특징이 유사하다면 먼 거리에서도 전파가 가능합니다.
디코더 (Decoders):
- 깊이 디코더 (Depth Decoder): U-Net 스타일의 업샘플링 경로를 통해 전역적으로 전파된 특징을 이미지 인코더의 스킵 연결(skip connection)과 융합하여 최종적인 조밀한 깊이 맵을 생성합니다.
- 신뢰도 디코더 (Confidence Decoder, 학습 시에만 사용): 픽셀의 깊이가 레이더에 의해 얼마나 강력하게 지원되는지를 나타내는 픽셀당 신뢰도 맵을 예측하는 보조 헤드입니다. 이 브랜치는 학습 중에 학습을 안정화하기 위한 목적으로만 사용되며, 추론 시에는 버려지므로 테스트 타임 비용이 발생하지 않습니다.
LiDAR 분포 누출(LDL) 완화:
- 싱글 스캔 LiDAR의 수평 스캔라인에 모델이 과적합되는 것을 방지하기 위해 저자들은 두 가지 전략을 사용합니다.
  - 포인트 업샘플링 (Point Upsampling): 적절한 LiDAR 포인트 쌍 사이에 중간점을 삽입하여 감독 신호를 밀집시킵ates.
  - 반사 패딩을 동반한 동기화된 회전 (Synchronized Rotation with Reflection Padding): 이미지, 레이더, LiDAR를 동일한 무작위 각도로 회전시킵니다. 이미지에 반사 패딩(reflection padding)을 적용하여 검은색 테두리가 회전 큐(cue)로 작용하는 것을 방지합니다. 이는 모델이 스트라이프 방향에 관계없이 깊이 일관성을 학습하도록 강제합니다.

주요 기여

단일 단계, 상수 지연 시간 아키텍처: JustDepth는 모든 레이더 반사 신호를 고정 폭 1D 표현으로 인코딩하여, 런타임과 포인트 개수를 분리하고 다단계 정교화 과정이나 사전 학습된 단안 모듈의 필요성을 제거했습니다.
학습 전용 신뢰도 디코더: 중간 깊이 맵을 생성하지 않고도 퓨전 모듈이 레이더가 지원하는 픽셀을 국지화하도록 감독하는 혁신적인 보조 헤드입니다. 이는 추론 시 지연 시간을 늘리지 않으면서 정확도를 향상시킵니다.
LDL 완화 전략: 포인트 업샘플링과 반사 패딩을 동반한 동기화된 회전의 조합은 스트라이프 아티팩트를 효과적으로 감소시킵니다.
VHGR 지표: 저자들은 수직 및 수평 깊이 기울기 사이의 불균형을 정량적으로 측정하는 **수직-수평 기울기 비율(Vertical-Horizontal Gradient Ratio, VHGR)**을 도입하여, LDL로 인한 스트라이프 아티팩트를 정량화하는 구체적인 지표로 활용합니다.

실험 결과

nuScenes 데이터셋(0–50m, 0–70m, 0–80m 범위)에서 평가한 결과:

효율성: JustDepth는 NVIDIA RTX 4070 Ti에서 프레임당 14.8 ms의 추론 시간을 달합니다. 이는 최신 SOTA 방식인 GET-UP보다 약 39.7배 빠르며, 다른 경쟁 방식들보다 현저히 빨라 실시간 배포가 가능합니다.
정확도: 단일 LiDAR 스윕만을 사용하고 보조 주석이 없음에도 불구하고, JustDepth는 경쟁력 있는 정확도를 유지합니다. 0–50m 범위에서 1324.2 mm의 MAE를, 0–70m 범위에서 1674.0 mm의 MAE를 달성하여 Li et al. [10]을 능가하고 비교 대상 방법들 중 최고의 AbsRel(0.074)을 기록했습니다.
아티팩트 감소: JustDepth는 비교 대상 중 가장 낮은 **VHGR (0.1767)**을 달 기록하여, GET-UP (0.5210)이나 Li et al. (0.1868)과 같은 방식에 비해 스트라이프 아티팩트가 크게 감소했음을 보여줍니다.
절제 연구 (Ablation Studies): GNN, 높이 퓨전 블록의 셀프 어텐션, 또는 LDL 완화 전략(회전/업샘플링)을 제거하면 성능이 일관되게 저하됩니다. 특히, LDL 완화 전략은 모델이 희소한 LiDAR 패턴을 맞춤으로써 "속임수"를 쓰는 것을 방지하기 때문에 표준 오차 지표(MAE/RMSE)를 약간 증가시키지만, VHGR을 획기적으로 줄이고 시각적으로 더 깨끗하며 물리적으로 타당한 깊이 맵을 생성합니다.

의의 및 주장

이 논문은 JustDepth가 실시간 레이더-카메라 인지 분야에서 중요한 진전임을 주장합니다. 보조 레이블이나 복잡한 다단계 파이프라인 없이 오직 싱글 스캔 LiDAR 감독만으로 고품질의 조밀한 미터법 기반 깊이를 달 수 있음을 입증함으로써, 이 방법은 다양한 데이터셋과 센서 간의 이식성을 높입니다. 저자들은 자신들의 접근 방식이 지연 시간과 정확도 사이의 트레이드오프를 성공적으로 균형 있게 조절하여, 실시간 성능을 달면서도 싱글 스캔 감독에서 발생하는 특유의 아티팩트(스트라이핑) 문제를 완화했다고 강조합니다. 또한, VHGR의 도입은 표준 오차 지표를 넘어 깊이 맵의 시각적 품질을 평가하는 데 필요한 도구를 제공하며, 낮은 MAE가 항상 LDL 상황에서의 더 나은 구조적 충실도를 의미하는 것은 아님을 강조합니다.

문제 정의

방법론

주요 기여

실험 결과

의의 및 주장

유사한 논문