💻 computer science

GhostPoint: Self-Supervised Representation Learning by Hallucinating Occluded LiDAR Structure

GhostPoint는 인스턴스 복셀 팽창(instance voxel dilation)을 통해 가려진 영역의 잠재적 특징을 환각(hallucinating)함으로써 기존 방식의 가시 표면 편향(visible-surface bias)을 극복하고, 특히 희소한 스캔과 저라벨 시나리오에서 최첨단 성능을 달ian하는 자기지도 학습 프레임워크로, LiDAR 포인트 클라우드로부터 3D 객체 탐지 성능을 향상시킨다.

원저자: Mohamed Abdelsamad, Bin Yang, Michael Ulrich, Miao Zhang, Yakov Miron, Alexandru Paul Condurache, Abhinav Valada

게시일 2026-08-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohamed Abdelsamad, Bin Yang, Michael Ulrich, Miao Zhang, Yakov Miron, Alexandru Paul Condurache, Abhinav Valada

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 세상을 보는 법을 가르치려 한다고 상상해 보세요. 하지만 당신은 로봇에게 세상의 빛나고 반사되는 표면만을 보여주는 안경을 씌워주었습니다. 자동차 한 대가 옆을 지나갈 때, 로봇은 자동차의 앞 범퍼와 측면 문은 보지만, 자동차의 뒷부분은 나무 뒤에 가려져 보이지 않습니다. 자율 주행의 세계에서 이것은 매우 큰 문제입니다. 로봇은 LiDAR라고 불리는 3D 센서에 의존하는데, 이 센서는 레이저 빔을 쏘아 주변 환경을 지도화합니다. 하지만 레이저는 부딪히는 곳에 튕겨 나갈 뿐, 벽을 뚫고 지나가거나 모퉁어를 돌아 볼 수는 없습니다. 이는 데이터에 "유령(ghosts)"을 남깁니다. 즉, 자동차가 있어야 할 자리임에도 불구하고 센서에는 아무것도 잡히지 않는 빈 공간이 생기는 것입니다.

오랫동안 과학자들은 이 로봇들을 "자기 지도 학습(self-supervised learning)"을 통해 가르치려 노력해 왔습니다. 이것은 로봇이 정답을 알려주는 선생님 없이, 수백만 개의 라벨링되지 않은 레이저 스캔을 관찰하며 패턴을 파악하도록 하는 "빈칸 채우기" 게임과 같습니다. 이 방식은 모든 점을 "도로"나 "잔디"로 분류하는 작업에는 매우 효과적입니다. 하지만 자동차와 같은 전체 객체를 찾아내는 문제, 즉 자동차의 절반이 가려져 있더라도 그곳에 자동차가 있다는 사실을 깨닫는 문제에 있어서 로봇들은 고전해 왔습니다. 로봇들은 실제로 보이는 부분에만 과도하게 집중한 나머지, 객체의 진정한 형태와 위치라는 큰 그림을 놓치는 데 머물러 있었습니다. "GhostPoint"라는 제목의 이 논문은 로봇에게 세상의 보이지 않는 부분을 상상하도록 가르침으로써 바로 그 특정한 사각지대를 해결하고자 합니다.

이 연구의 핵심 아이디어는 현재의 학습 방식이 "가시적인(visible)" 데이터에 너무 집착한다는 것입니다. 만약 당신이 레이저가 부딪히는 자동차의 부분만을 가지고 로봇을 훈련시킨다면, 로봇은 자동차를 앞면과 측면에 떠 있는 점들의 집합체로 학습하게 됩니다. 로봇은 자동차가 나무 뒤의 빈 공간까지 확장되는 단단하고 연속적인 상자라는 사실을 이해하지 못합니다. 저자들은 이러한 "가시적 표면 편향(visible-surface bias)"이 로로봇이 개별 점은 잘 찾아내면서도, 특히 객체가 부분적으로 가려졌을 때 전체 객체를 탐지하는 데 서툰 이유라고 밝혔습니다.

이를 해결하기 위해 연구팀은 GhostPoint라는 새로운 프레임워크를 도입했습니다. 당신이 안개가 자욱한 창문을 통해 조각상을 보고 있다고 상상해 보세요. 앞모습은 보이지만 뒷모습은 미지의 영역입니다. GhostPoint는 단순히 안개를 응시하는 대신, 로봇에게 조각상의 나머지 부분을 "환각(hallucinate)"하도록 가르칩니다. 이는 로봇이 보고 있는 부분들을 바탕으로 그 주변의 "이웃(neighborhood)"—즉, 객체의 나머지 부분이 존재할 가능성이 높은 숨겨진 빈 공간을 포함하는 구역—을 상상하게 함으로써 이루어집니다.

이 마법이 일어나는 과정은 다음과 같습니다. 시스템은 레이저 스캔을 가져온 뒤, 의도적으로 일부 가시적인 점들을 숨깁니다(마치 로봇의 눈을 잠시 가리는 것처럼 말이죠). 그런 다음, 주변 맥락을 바탕으로 숨겨진 점들이 어떤 모습일지 추측하도록 로봇에게 요청합니다. 하지만 여기서 끝이 아닙니다. GhostPoint는 또한 객체 옆의 빈 "무반사(no-return)" 공간(나무 뒤의 안개 낀 영역)을 살펴보고, 그 지점들에 무엇이 들어있어야 할지 로봇에게 묻습니다. 이는 전체가 드러난 그림을 알고 있는 "선생님" 로봇과, 누락된 조각들을 맞춰야 하는 "학생" 로봇을 만드는 과정입니다. 학생 로봇은 가시적인 객체의 숨겨진 부분을 맞히는 것뿐만 아니라, 레이저가 전혀 닿지 않은 객체의 보이지 않는 부분까지 올바르게 상상해 냈을 때 보상을 받습니다.

이 접근 방식의 결과는 상당히 유망합니다. 연구진이 nuScenes와 Wayomo라는 두 가지 주요 주행 데이터셋에서 GhostPoint를 테스트했을 때, 로봇은 자동차, 보행자, 자전거를 찾는 능력이 현저히 향상되었습니다. 특히 이러한 객체들이 부분적으로 가려져 있거나 레이저 스캔이 매우 희소한 경우에 더욱 그러했습니다. 예를 들어, nuScenes 데이터셋에서 이 방식은 충분히 훈련되었을 때 탐지 점수(객체를 얼마나 잘 찾고 식별하는지를 나타내는 척도)를 67.5 mAP와 71.2 NDS까지 끌어올리며 기존 방식들을 앞질렀습니다. 더욱 인상적인 점은, 로봇에게 통상적인 라벨링 데이터의 **10%**만 허용했을 때도 GhostPoint가 100%의 데이터를 사용한 기존 방식만큼의 성능을 보여주었다는 것입니다. 이는 보이지 않는 것을 "보는" 법을 가르침으로써 로봇이 훨씬 더 효율적으로 학습할 수 있음을 시사합니다.

또한 이 논문은 다른 아이디어들을 명시적으로 배제했습니다. 저자들은 단순히 "박스 회귀(box regression)" 헤드(점들을 감싸는 3D 박스를 맞추려는 도구)를 추가하는 것이 문제를 해결할 수 있는지 테스트했습니다. 그 결과, 이는 도움이 되지 않았으며 오히려 상황을 악화시키기도 한다는 것을 발견했습니다. 이는 문제가 단순히 점들 주위에 박스를 그리는 것이 아니라, 로봇이 빈 공간 속에 객체가 존재한다는 것을 근본적으로 이해하느냐의 문제임을 확인시켜 줍니다.

결론적으로, GhostPoint는 로봇이 안전하게 주행하기 위해서는 빈칸을 채우는 법을 배워야 한다는 점을 시사합니다. 레이저가 몇 개의 흩어진 점만을 보여줄 때라도, 자동차는 하나의 완전한 객체라는 것을 이해해야 합니다. 이처럼 누락된 구조를 환각하도록 훈련함으로써, 로봇은 이전보다 훨씬 더 견고하게 가려짐(occlusion)과 희소한 데이터를 처리할 수 있게 됩니다. 이 방법이 완벽한 것은 아닙니다. 객체가 극도로 희소하거나 이상한 배경 소음이 있을 경우 여전히 혼란을 겪을 수 있지만, 이는 기계에게 손에 닿는 부분만이 아닌 전체 그림을 보는 법을 가르치는 데 있어 중요한 진전을 의미합니다.

기술 요약: GhostPoint

문제 정의

본 논문은 LiDAR 포인트 클라우드에 대한 자기지도 학습(Self-Supervised Learning, SSL)에서 발생하는 체계적인 전이 격차(transfer gap)를 다룹니다. 최근의 SSL 방법들(예: Sonata, DOS, Occ-MAE)은 시맨틱 및 파노픽 세그멘테이션과 같은 포인트 단위 작업에 대해서는 효과적인 표현력을 사전 학습하지만, **3D 객체 탐지(3D object detection)**로의 전이는 현저히 약한 모습을 보입니다.

저자들은 그 근본 원인을 **표현의 불일치(representational mismatch)**로 식별했습니다:

SSL 목적 함수: 현재의 SSL 방법들은 학습 신호를 오직 **측정된 LiDAR 반사 값(visible surfaces)**에만 국한하여 정의합니다. 이들은 포인트 반사가 없는 복셀을 빈 공간으로 취급하거나 무시하며, 가려지거나 관측되지 않은 영역을 모델링하는 데 실패합니다.
탐지 요구 사항: 3D 객체 탐지는 객체의 전체 기하학적 범위, 위치 및 방향을 추론해야 하며, 이는 종종 가려지거나 관측되지 않은 공간에 대한 추론을 포함합니다.
결과: 사전 학습된 인코더는 가시적인 표면에 편향된 특징을 학습합니다. 이를 탐지에 적용할 때, 예측된 인스턴스 중심점(centroid)이 객체의 실제 기하학적 중심이 아닌 관측된 포인트 쪽으로 치우치게 되어, 특히 심한 가려짐이나 희소한 스캔 상황에서 위치 추정 및 범위 추정 능력이 저하됩니다.

방법론: GhostPoint

GhostPoint는 발견된 인스턴스 주변의 관측되지 않은 국소 이웃(unobserved local neighborhoods) 내에서 잠재 특징을 명시적으로 모델링하도록 설계된 SSL 프레임워크입니다. 이 프레임워크는 두 가지 수준에서 작동합니다: 인코더 수준(표준 자기 증류) 및 예측기 수준(관측되지 않은 구조의 환각 생성).

1. 인스턴스 중심 이웃 샘플링 (Instance-Centric Neighborhood Sampling)

자유 공간에서의 균등한 샘플링 대신, GhostPoint는 가려짐이 발생할 가능성이 가장 높은 객체 인접 영역에 집중합니다.

의사 인스턴스 발견 (Pseudo-Instance Discovery): 티처(teacher) 인코더가 마스킹되지 않은 LiDAR 반사 값을 처리하여 Softmap(시맨틱) 및 center-offset 헤드를 사용하여 의사 인스턴스를 생성합니다.
가시성 필터링 (Visibility Filtering): 학생(student) 뷰에서 완전히 마스킹된 인스턴스는 폐기됩니다.
인스턴스 복셀 팽창 (Instance Voxel Dilation): 남은 인스턴스들에 대해, 이진 점유 그리드(binary occupancy grid)를 3D 커널( $k_s > 1$ $k_{s} > 1$ )을 사용하여 팽창시킵니다. 이를 통해 다음을 포함하는 이웃 복셀 집합 $\mathcal{Q}$ $Q$ 가 생성됩니다:
- $Q_{vis}$ : 가시적인 점유 복셀.
- $Q_{mask}$ : 마스킹된 점유 복셀 (의사 가려짐).
- $Q_{unobs}$ : 관측되지 않은 복셀 (반사 값이 없는 영역).

2. 토큰 초기화 및 정교화 (Token Initialization and Refinement)

학생 예측기는 인코더 특징이 존재하지 않는 $\mathcal{Q} \setminus Q_{vis}$ (마스킹 및 미관측) 복셀에 대한 특징을 생성해야 합니다.

초기화: 이 새로운 복셀들을 위한 토큰은 가장 가까운 $k$ 개의 가시적인 점유 이웃으로부터 **거리 가중 KNN 보간(distance-weighted KNN interpolation)**을 통해 초기화됩니다.
예측: 경량 예측기( $G_\theta$ )가 이 이웃 토큰들을 처리하여 가시적인 복셀으로부터의 컨텍스트를 새로운 토큰으로 집계합니다.

3. 비대칭 티처-학생 증류 (Asymmetric Teacher-Student Distillation)

GhostPoint는 관측된 복셀과 관측되지 않은 복셀에 대해 서로 다른 예측기 수준의 감독 체계를 도입합니다.

관측된 복셀 ( $Q_{vis} \cup Q_{mask}$ ): 학생 예측기는 티처 인코더 특징에 의해 감독됩니다. 이는 표준 자기 증류와 일치합니다.
관측되지 않은 복셀 ( $Q_{unobs}$ ): 학생 예측기는 티처 예측기 출력에 의해 감독됩니다. 티처 예측기는 학생의 지수 이동 평균(EMA)이며 전체 마스킹되지 않은 장면을 조건으로 하므로, 이러한 빈 영역에 대해 그럴듯한 시맨틱 및 기하학적 표현을 "환각(hallucinate)"해냅니다.

4. 학습 목적 함수 (Training Objectives)

전체 손실 함수는 인코더 수준과 예측기 수준의 증류를 결합합니다:
$\mathcal{L} = \mathcal{L}_{\text{sem,vis}} + \lambda \mathcal{L}_{\text{geo,vis}} + \mathcal{L}_{\text{sem},\neg \text{vis}} + \lambda \mathcal{L}_{\text{geo},\neg \text{vis}}$

$\mathcal{L}_{\text{vis}}$ : 가시적인 복셀에 대한 표준 Softmap 및 offset 손실.
$\mathcal{L}_{\neg \text{vis}}$ : 비가시적 복셀(마스킹 및 미관측)에 대한 시맨틱 분포의 KL 발산 및 기하학적 예측을 위한 offset 손실.

주요 기여

전이 격차 분석: 본 논문은 표면 정렬형 SSL 목적 함수의 한계를 규명하고, 이를 관측되지 않은 객체 기하학을 추론하지 못하는 능력 때문이라고 정의했습니다.
GhostPoint 프레임워크: 이웃 쿼리를 생성하기 위해 인스턴스 복셀 팽창을 사용하고, 관측되지 않은 영역의 잠재 특징을 환각하기 위해 예측기 수준의 증류 방식을 사용하는 새로운 SSL 접근법을 제시합니다.
경험적 검증: 관측되지 않은 구조를 명시적으로 모델링하는 것이 시맨틱 성능을 저하시키지 않으면서도, 특히 희소한 스캔 조건 및 낮은 라벨 환경에서 3D 탐지 성능을 향상시킨다는 것을 입증했습니다.

실험 결과

방법론은 nuScenes 및 Waymo Open Dataset 벤치마크에서 평가되었습니다.

프로빙 (Frozen Backbone): GhostPoint는 nuScenes에서 두 번째로 우수한 SSL 방법(PointINS)보다 2.8 mAP 및 1.7 NDS 높으며, Waymo에서는 2.5 mAP 더 높은 성능을 보입니다.
전체 미세 조정 (Full Fine-tuning): GhostPoint는 nuScenes에서 67.5 mAP 및 71.2 NDS를 달성하여, 완전 지도 학습(fully supervised) 베이스라인보다 3.7 mAP 높은 성능을 기록했습니다.
정성적 개선: 시각화를 통해 GhostPoint가 특히 부분적으로 가려진 객체에 대해 더 나은 중심점 위치 추정과 공간적 범위 정렬을 생성함을 보여줍니다.
라벨 효율성:
- 단 **0.1%**의 라벨만으로, GhostPoint는 nuScenes에서 36.9 mAs를 달여 두 번째로 우수한 SSL 방법보다 2.1 mAP 앞섰습니다.
- **10%**의 라벨이 있을 때, 특정 지표에서 완전 지도 학습 성능과 대등하거나 이를 능가합니다.
어블레이션 연구 (Ablation Studies):
- 이웃 샘플링: 팽창(dilation)만을 통해 가려진 영역까지 감독을 확장하는 것만으로도 성능 향상이 나타납니다.
- 예측기: 예측기와 웜업(warmup) 스케줄의 추가가 상당한 이득을 제공하며, 이는 능동적인 컨텍스트 전파의 필요성을 확인시켜 줍니다.
- 환각 vs 규제: 실험을 통해 성능 향상이 단순히 모델 용량 증가나 규제로부터 오는 것이 아니라, 미관측 영역에서의 정보가 풍부한 환각 타겟으로부터 온다는 것을 확인했습니다.
- 아키텍처 전이: Transformer(PTv3)를 사전 학습하고 이를 희소 CNN(CenterPoint)으로 증류하는 것이 직접 CNN을 학습시키는 것보다 더 좋은 결과를 냈으며, 이는 광범위한 적용 가능성을 시사합니다.
태스크 전이 가능성: GhostPoint는 시맨틱 및 파노픽 세그멘테이션에서도 강력한 성능을 유지하여(mIoU 기준 PointINS와 일치), 관측되지 않은 구조를 모델링하는 것이 포인트 단위 특징의 품질을 저하시키지 않음을 입증했습니다.

의의 및 주장

본 논문은 GhostPoint가 학습 목표를 "가시적 표면"에서 "전체 객체 기하학"으로 전환함으로써 SSL과 3D 객체 탐지 사이의 전이 격차를 효과적으로 메운다고 주장합니다. 관측되지 않은 이웃의 잠재 특징을 환각함으로써, 이 프레임워크는 인코더가 측정된 반사 값 이상의 객체 구조를 내재화하도록 유도합니다.

저자들은 GhostPoint를 자율 주행을 위한 확장 가능한 솔루션으로 포지셔닝합니다. 자율 주행 환경에서는 라벨이 없는 센서 로그는 풍부하지만 조밀한 3D 주석(annotation)은 비용이 많이 들기 때문입니다. 저자들은 GhostPoint가 SSL을 통해 완전 지도 학습 성능에 크게 근접했음에도 불구하고, 프로빙 조건 하에서는 여전히 완전 지도 학습 성능에 미치지 못하며, 레이더와 같은 다른 희소 모달리티에 대해서는 아직 평가되지 않았음을 언급했습니다.