SelfOccFlow: Towards end-to-end self-supervised 3D Occupancy Flow prediction

이 논문은 인간의 주석이나 외부 흐름 지도 없이도 시공간적 특징의 유사성과 시간적 집적을 통해 3D occupancy 와 흐름을 동시에 예측하는 자기지도학습 기반의 새로운 방법론 'SelfOccFlow'를 제안하고 SemanticKITTI, KITTI-MOT, nuScenes 데이터셋에서 그 유효성을 입증합니다.

핵심

이 논문은 **'SelfOccFlow'**라는 새로운 기술을 소개합니다. 쉽게 말해, 자율주행차가 주변 환경을 3D 로 이해하고, 움직이는 물체들이 어디로 갈지 예측하는 방법을 개발한 연구입니다.

기존의 방식들은 마치 전문 지도 제작자가 일일이 "여기는 차가 있고, 저기는 보행자가 있고, 그 차는 시속 50km 로 움직인다"라고 손으로 표시해 준 데이터 (레이블) 가 있어야만 학습할 수 있었습니다. 하지만 이 새로운 방법은 스스로 눈과 귀를 열어 학습합니다.

이 기술의 핵심 아이디어를 일상적인 비유로 설명해 드리겠습니다.

---

1. 핵심 문제: "지도 없이 길을 찾는 것"

기존의 3D occupancy(3D 공간 점유) 기술은 정교한 3D 지도를 그리려면 엄청난 비용과 시간이 걸리는 '지도 제작자'의 도움이 필요했습니다. 또한, 움직이는 물체의 흐름 (Flow) 을 예측하려면 미리 정해진 정답 (예: 차가 1 초 뒤엔 여기로 간다) 이 있어야만 했습니다.

SelfOccFlow는 이 '지도 제작자'나 '정답지' 없이도 스스로 배울 수 있습니다. 마치 어둠 속에서 눈을 감고 있다가 갑자기 눈을 뜨고 주변을 파악하는 것처럼, 카메라가 찍은 연속된 영상만 보고 스스로 상황을 이해합니다.

2. 주요 기술 3 가지 (비유로 설명)

① 정적 (Static) 과 동적 (Dynamic) 분리: "고정된 배경과 움직이는 사람"

자율주행 차가 달릴 때, 건물이나 도로는 움직이지 않지만 다른 차나 보행자는 움직입니다.

• 기존 방식: 모든 것을 한 덩어리로 섞어서 이해하려다 보니, 움직이는 차 때문에 배경이 왜곡되거나 흐릿해지기 쉽습니다.
• 이 방법: 마치 사진 편집 프로그램처럼 장면을 두 층으로 나눕니다.
  • 층 1 (배경): 건물, 도로 등 움직이지 않는 것들만 담습니다.
  • 층 2 (주인공): 차, 사람 등 움직이는 것들만 담습니다.
    이렇게 나누니, 배경은 여러 장의 사진을 합쳐서 더 선명하게 만들고, 움직이는 물체는 그 움직임에 집중할 수 있게 됩니다.

② 시간의 흐름을 이용한 학습 (Temporal Aggregation): "동영상을 여러 장으로 쪼개서 보기"

우리가 물체가 움직이는 것을 알기 위해선, 이전 프레임과 다음 프레임을 비교해야 합니다.

• 비유: 공을 던졌을 때, 공이 어디로 날아갔는지 알기 위해 "지금 공이 어디에 있나?", "1 초 전엔 어디에 있었나?", "1 초 뒤엔 어디로 가나?"를 비교합니다.
• 이 기술은 카메라가 찍은 연속된 영상 (시간의 흐름) 을 이용해, 정적인 배경은 여러 장을 겹쳐서 더 정확한 3D 모양을 만들고, 움직이는 물체는 그 움직임 궤적을 자연스럽게 학습합니다.

③ 유사성 흐름 (Similarity Flow): "친구의 얼굴을 찾아서 이동 경로 추측"

가장 혁신적인 부분은 움직임의 정답을 알려주지 않아도 된다는 점입니다.

• 비유: 어두운 방에서 친구의 얼굴을 찾으려 한다고 상상해 보세요.
  1. 현재 사진에서 친구의 얼굴 (특징) 을 찾습니다.
  2. 다음 사진에서 그와 가장 비슷한 얼굴을 찾습니다.
  3. "아! 친구가 지금 위치에서 저 위치로 이동했구나!"라고 추측합니다.
• 이 기술은 AI 가 스스로 이전 프레임과 다음 프레임의 특징 (얼굴) 을 비교하여, "어디로 움직였을 가능성이 가장 높을까?"를 스스로 계산해냅니다. 이를 '자기 지도 학습 (Self-supervised)'이라고 합니다.

3. 왜 이것이 중요한가요?

1. 비용 절감: 전문가가 일일이 3D 데이터를 표시해 줄 필요가 없어집니다.
2. 더 빠른 학습: 미리 만들어진 '움직임 정답지'가 없어도, 영상만 있으면 스스로 움직임을 배웁니다.
3. 정확도 향상: 실험 결과, 기존 방법들보다 **가려진 곳 (예: 차 뒤에 숨은 보행자)**을 더 잘 찾아내고, 움직이는 물체의 궤적을 더 정확하게 예측했습니다.

4. 결론: "스스로 배우는 자율주행의 눈"

이 논문의 SelfOccFlow는 자율주행차에게 **"지도 없이도, 정답지 없이도 스스로 주변 환경을 3D 로 이해하고 움직임을 예측하는 능력"**을 심어줍니다. 마치 어린아이가 세상을 바라보며 스스로 사물의 모양과 움직임을 익히는 것과 같습니다.

이 기술이 상용화되면, 더 저렴하고 더 똑똑한 자율주행차가 우리 곁에 다가올 수 있을 것입니다.

기술 요약

1. 문제 정의 (Problem)

자율주행 차량은 주변 환경의 3D 점유율 (Occupancy) 과 운동 (Flow) 을 정확히 추정하여 동적 환경에서의 상황 인식을 수행해야 합니다. 기존 연구들은 기하학 (Geometry) 과 운동 (Motion) 을 동시에 학습하지만, 다음과 같은 심각한 한계가 있었습니다:

• 고비용 주석 데이터 의존: 3D 점유율 및 흐름 (Flow) 에 대한 인간이 만든 주석 (Annotation) 이 필요하거나, 바운딩 박스의 속도 레이블을 사용해야 합니다.
• 외부 모델 의존: pretrained 된 2D 광학 흐름 (Optical Flow) 모델을 사용하여 3D 흐름을 유도하는 방식이 일반적이었으며, 이는 계산 비용이 크고 데이터셋에 따른 미세 조정 (Fine-tuning) 이 필요합니다.
• 동적 객체 처리의 어려움: 정적 환경과 동적 객체가 혼재된 복잡한 주행 장면에서 기하학적 일관성을 유지하며 운동을 학습하는 것은 어렵습니다.

이 논문은 인간 주석이나 외부 흐름 지도 (Flow Supervision) 없이도 3D 점유율 흐름을 예측할 수 있는 완전한 자기지도학습 (Self-supervised) 방법을 제안합니다.

2. 방법론 (Methodology)

제안된 SelfOccFlow는 장면 (Scene) 을 정적 (Static) 과 동적 (Dynamic) 요소로 분리하여 학습하며, 시간적 일관성과 특징 유사성을 기반으로 운동을 학습합니다.

가. 정적 - 동적 분리 (Static-Dynamic Disentanglement)

• 별도 SDF 모델링: 장면을 별도의 정적 Signed Distance Field (SDF, $\phi_s$) 와 동적 SDF ($\phi_d$) 로 분리하여 예측합니다.
• 의미론적 기반 분리: 기존 동적 NeRF 들이 순간 운동에 기반하여 분리하는 것과 달리, 본 방법은 **의미론적 클래스 (Semantic Classes)**에 기반하여 분리합니다. (예: 차량, 보행자는 동적, 도로/건물은 정적).
  • 이유: 2D 백본 (ImageNet 사전 학습) 에서 발생하는 의미론적 편향 (Semantic Bias) 을 활용하여 학습을 안정화하고, 객체의 상태 변화 (예: 주차된 차가 움직이기 시작함) 로 인한 시간적 모호성을 제거합니다.
• 레이 분류: Grounded-SAM 과 같은 기초 모델 (Foundation Model) 을 사용하여 동적 객체 마스크를 생성하고, 이를 LiDAR 레이에 투영하여 정적/동적 레이블을 할당합니다.

나. 시공간적 집계 (Temporal Aggregation)

• 정적 필드: 정적 객체는 이동하지 않으므로, 인접 프레임 ($t-1, t+1$) 의 정적 SDF 예측값을 직접 정렬 (Ego-motion alignment) 하여 집계합니다. 이는 가려진 영역 (Occluded regions) 의 기하학적 학습을 돕습니다.
• 동적 필드: 동적 객체의 경우, 흐름 (Flow, $f$) 을 사용하여 인접 프레임의 샘플링 위치를 왜곡 (Warping) 한 후 SDF 를 집계합니다.
  • 이 과정에서 기하학적 손실 (Geometric Loss) 을 적용하면, 흐름 예측이 정확해야만 일관된 기하학이 유지되므로 흐름 학습이 암시적으로 (Implicitly) 수행됩니다.

다. 유사도 기반 흐름 자기지도 (Similarity Flow Self-Supervision)

• 핵심 아이디어: 3D 흐름 레이블 없이도, 연속된 프레임 간의 BEV (Bird's-Eye-View) 특징 (Feature) 의 **코사인 유사도 (Cosine Similarity)**를 통해 흐름의 의사 레이블 (Pseudo-label) 을 생성합니다.
• 작동 원리:
  1. 현재 프레임 $t$의 동적 BEV 특징과 인접 프레임 ($t \pm 1$) 의 특징을 정렬합니다.
  2. 각 그리드 셀에 대해 $N \times N$ 검색 윈도우 내에서 가장 유사한 이웃 셀을 찾아 이동 벡터를 계산합니다.
  3. 이 이동 벡터를 흐름의 의사 레이블 ($f^s$) 로 사용하여, 모델이 예측한 흐름 ($f$) 과의 L1 손실을 최소화합니다.
  4. 일관성이 낮은 영역 (정방향/역방향 흐름이 불일치하는 곳) 에는 손실 가중치를 감소시켜 노이즈를 줄입니다.

3. 주요 기여 (Key Contributions)

1. 최초의 완전 자기지도 3D Occupancy Flow 모델: 3D 점유율 주석, 흐름 주석, pretrained 2D 광학 흐름 모델 없이도 기하학과 운동을 동시에 학습하는 최초의 방법론을 제시했습니다.
2. 정적/동적 SDF 분리 및 시간적 집계: 가려진 영역의 기하학을 학습하고, 동적 영역에서 흐름을 통해 암시적으로 운동을 학습할 수 있도록 하는 구조를 설계했습니다.
3. 유사도 기반 흐름 손실 (Similarity Flow Loss): 특징의 코사인 유사도에서 도출된 강력한 자기지도 흐름 단서를 도입하여, 외부 지도 없이도 흐름 추정이 가능하도록 했습니다.

4. 실험 결과 (Results)

SemanticKITTI, KITTI-MOT, nuScenes 데이터셋에서 광범위한 실험을 수행했습니다.

• SemanticKITTI (3D Occupancy):
  • 기존 자기지도 방법 (SelfOcc) 및 LetOccFlow 대비 RayIoU가 크게 향상되었습니다 (LetOccFlow 대비 +3.14% 개선).
  • 특히 작은 동적 객체 (자전거 등) 와 가려진 영역 (차량 뒤) 에서 더 정확한 점유율을 예측했습니다.
• KITTI-MOT (Occupancy Flow):
  • 흐름 주석이 없는 환경에서도 LetOccFlow 등 기존 방법들과 경쟁력 있는 성능을 보였습니다.
  • Ours-SemKITTI (SemanticKITTI 에서 학습하여 KITTI-MOT 에서 직접 평가) 실험을 통해 모델의 높은 일반화 능력을 입증했습니다.
• nuScenes (State-of-the-Art):
  • 3D Occupancy Flow 예측에서 **새로운 SOTA(State-of-the-Art)**를 달성했습니다.
  • LetOccFlow 대비 RayIoU가 +0.91% 향상되었고, 평균 속도 오차 (mAVE) 는 7.7% 감소시켰습니다.
• 효율성:
  • LetOccFlow 대비 파라미터 수는 약 87% 감소 (253M → 32M), FLOPs 는 약 87% 감소 (3202G → 405G), FPS 는 3.6 배 향상되어 경량화 및 실시간 처리에 유리함을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 자율주행의 핵심 기술인 3D 공간 인식과 운동 예측 분야에서 데이터 주석 비용과 외부 모델 의존성을 획기적으로 줄인 획기적인 접근법을 제시했습니다.

• End-to-End 자기지도 학습: 복잡한 3D 흐름 주석 없이도, 카메라와 LiDAR 데이터의 시공간적 일관성만으로 고품질의 3D Occupancy Flow 를 학습할 수 있음을 증명했습니다.
• 실용성: 계산 효율성이 뛰어나고 일반화 능력이 높아, 실제 자율주행 시스템에 적용하기 위한 강력한 베이스라인을 제공합니다.
• 미래 방향: 외부 지도에 의존하지 않는 완전한 자기지도 학습 패러다임을 정립하여, 대규모 데이터 수집과 주석 비용 문제를 해결하는 중요한 발걸음이 되었습니다.