ST-GS: Vision-Based 3D Semantic Occupancy Prediction with Spatial-Temporal Gaussian Splatting

이 논문은 기존 가우시안 기반 방법의 공간적 상호작용 부족과 시간적 일관성 한계를 극복하기 위해, 이중 모드 어텐션 메커니즘을 통한 공간적 집계 전략과 기하학적 인식을 활용한 시간적 융합 방식을 도입한 'ST-GS' 프레임워크를 제안하여 자율주행의 3D 점유율 예측 성능과 시간적 일관성을 획기적으로 개선함을 보여줍니다.

핵심

🚗 자율주행차의 "눈"과 "뇌"가 겪는 문제

자율주행차는 카메라로 세상을 보며 "저기 차가 있고, 저기 보행자가 있고, 저길로 가야 해"라고 3 차원 공간에서 판단해야 합니다. 이를 **3D 의미 점유 예측 (3D Semantic Occupancy Prediction)**이라고 합니다.

하지만 기존 기술들은 두 가지 큰 약점이 있었습니다.

1. 공간적 혼란 (Spatial Issue): 여러 개의 카메라 (앞, 뒤, 좌, 우) 가 찍은 사진을 합칠 때, 정보가 제대로 섞이지 않아 "저건 차일까, 벽일까?"를 헷갈려 했습니다. 마치 여러 사람이 서로 다른 각도에서 그림을 그리는데, 그걸 하나로 합치려다 모양이 뭉개지는 것과 비슷합니다.
2. 시간적 불안정 (Temporal Issue): 시간이 지나면서 (예: 1 초 뒤, 2 초 뒤) 같은 물체가 갑자기 사라지거나, 모양이 뚝뚝 끊기거나, 색깔이 바뀝니다. 마치 비디오를 재생할 때 프레임이 끊겨서 물체가 깜빡거리는 것처럼, 자율주행차가 "아까 있던 차가 어디 갔지?"라고 혼란을 겪게 만듭니다.

---

✨ ST-GS: "스마트한 점 (Gaussian)"들의 팀워크

이 논문은 **'3D 가우시안 (3D Gaussian)'**이라는 기술을 기반으로 합니다. 이를 쉽게 설명하면, 3D 공간을 **수많은 '부드러운 구슬'이나 '점'**으로 표현하는 것입니다. 기존 방식이 정사각형 블록 (레고) 으로 공간을 채웠다면, 이 방식은 공간의 모양에 맞춰 유연하게 변형되는 구슬로 채웁니다.

이제 이 '구슬'들이 더 똑똑해지도록 만든 두 가지 핵심 기술이 있습니다.

1. 공간적 협력: "두 가지 눈으로 보기" (GISA)

기존 방식은 구슬들이 카메라 영상을 볼 때, 무작위로 정보를 받아서 헷갈려 했습니다. ST-GS 는 **두 가지 다른 방식의 '눈'**을 동시에 사용합니다.

• 구슬의 눈 (Gaussian-Guided): 구슬 자체의 모양과 위치를 보고 "나는 여기서 이 정도 크기로 있어야 해"라고 판단합니다. (자기 위치 감각)
• 카메라의 눈 (View-Guided): 카메라가 찍은 여러 각도의 사진을 보고 "저기 다른 각도에서도 같은 물체가 보이네?"라고 정보를 모읍니다. (주변 상황 파악)

비유: 마치 미용실을 상상해 보세요.

• 기존 방식은 거울 하나만 보고 머리를 자르려다 실수하는 상황입니다.
• ST-GS 는 **360 도 회전하는 거울 (여러 카메라)**을 보면서, 동시에 **내 머리 모양 (구슬의 특성)**도 고려하여 "왼쪽은 짧게, 오른쪽은 길게" 정교하게 다듬는 마스터 스타일리스트처럼 작동합니다. 이렇게 하면 공간 정보가 훨씬 정확해집니다.

2. 시간적 기억: "과거를 기억하는 스마트한 뇌" (GATF)

자율주행은 정지해 있는 게 아니라 움직입니다. 그래서 과거의 정보가 중요합니다. 하지만 과거의 정보가 현재와 섞이면 "아까 있던 차가 지금 사라졌네?"라고 오해할 수 있습니다.

ST-GS 는 기하학적 (모양) 관계를 정확히 계산하여 과거의 정보를 현재에 합칩니다.

비유: 친구와의 대화를 생각해 보세요.

• 기존 방식은 친구가 "저기 차가 있었어"라고 말하면, 1 초 뒤에는 "차? 무슨 차?"라고 잊어버리거나, 차가 움직였는데도 "차 그대로야"라고 착각합니다.
• ST-GS 는 친구의 움직임을 정확히 추적하는 능력이 있습니다. "아까 저 차가 오른쪽으로 2 미터 이동했구나"라고 계산해서, 과거의 차가 현재 어디에 있을지 정확히 예측하고, 그 정보를 현재 화면에 자연스럽게 이어 붙입니다. 그래서 차가 깜빡거리거나 사라지지 않고 부드럽게 흐르는 영상처럼 보입니다.

---

🏆 결과는 어떨까요?

이 기술을 nuScenes(자율주행용 대규모 데이터셋) 에서 테스트한 결과:

1. 정확도 대박: 기존 최고 기술보다 **공간 인식 정확도 (IoU)**와 **물체 분류 정확도 (mIoU)**가 크게 향상되었습니다.
2. 깜빡임 제거: 시간이 지나도 물체가 깜빡거리거나 사라지는 현상 (시간적 불일치) 이 30% 이상 줄어들었습니다.

한 줄 요약:

"ST-GS 는 자율주행차에게 여러 각도의 카메라 정보를 구슬 모양에 맞춰 정교하게 섞고, 과거의 기억을 정확히 현재에 이어주는 기술을 가르쳐서, 더 안전하고 부드러운 3D 지도를 만들어냅니다."

이 기술이 상용화되면, 자율주행차가 비가 오거나 복잡한 교차로에서도 물체를 놓치지 않고, 부드럽게 움직이는 차처럼 주변을 인식할 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

자율주행 시스템에서 3D 공간의 부피적 점유 (Occupancy) 와 의미론적 라벨을 동시에 예측하는 3D 시맨틱 오큐펀시 (Semantic Occupancy) 예측은 환경 이해의 핵심 요소입니다. 최근 3D 가우시안 (3D Gaussians) 을 활용한 방법론이 계산 효율성과 연속적인 기하학적 표현 능력으로 주목받고 있지만, 기존 방법들은 다음과 같은 두 가지 주요 한계를 가지고 있습니다:

1. 불충분한 다중 뷰 공간 상호작용 (Insufficient Multi-view Spatial Interaction): 3D 가우시안 프라미티브는 격자 기반 (Grid-based) 방법과 달리 구조화된 공간 사전 지식 (Spatial Priors) 이 부족합니다. 이로 인해 다양한 뷰 간의 공간적 상호작용이 비효율적이며, 참조점 샘플링 전략에 과도하게 의존합니다.
2. 제한된 다중 프레임 시간적 일관성 (Limited Multi-frame Temporal Consistency): 동적인 주행 환경에서 가우시안 기반 방법들은 프레임 간 시간적 일관성을 유지하는 데 어려움을 겪습니다. 이는 Fig. 1 에서 보듯, 가려짐 (Occlusion) 이나 빠른 이동 물체로 인해 객체의 추적 실패나 주행 가능 표면의 불연속적인 예측을 초래합니다.

2. 제안 방법론 (Methodology)

저자들은 기존 가우시안 기반 파이프라인의 공간 및 시간적 모델링을 강화하기 위해 공간 - 시간 가우시안 스플래팅 (ST-GS) 프레임워크를 제안합니다.

A. 전체 아키텍처

ST-GS 는 공유 이미지 인코더를 통해 다중 뷰 2D 특징을 추출하고, 학습 가능한 3D 가우시안 임베딩 (쿼리) 을 사용하여 3D 표현을 구성합니다. 이후 GISA(공간) 와 GATF(시간) 모듈을 통해 특징을 강화한 후, 경량화된 헤드를 통해 가우시안에서 볼륨 (Voxel) 으로 스플래팅하여 최종 점유 맵을 생성합니다.

B. 핵심 구성 요소

1. 가이드 인포드 공간 집계 전략 (Guidance-Informed Spatial Aggregation, GISA)

   • 목적: 2D 비주얼 특징과 3D 가우시안 임베딩 간의 효율적인 연결을 위해 다중 뷰 간 공간 상호작용을 강화합니다.
   • 이중 모드 어텐션 메커니즘 (Dual-mode Attention):
     • 가우시안 가이드 어텐션 (GGA): 각 가우시안의 고유한 기하학적 속성 (평균, 공분산) 을 활용하여 타원체 분포에 정렬된 국소 특징 샘플링 오프셋을 생성합니다.
     • 뷰 가이드 어텐션 (VGA): 카메라 시선 방향을 따라 오프셋을 생성하여, 중첩된 다중 뷰 이미지 간의 공간 - 의미적 연속성을 활용합니다.
   • 게이트드 공간 특징 집계 (GSFA): GGA 와 VGA 에서 생성된 오프셋을 적응적으로 융합하기 위해 게이트 메커니즘을 도입합니다. 이를 통해 두 전략의 장점을 결합하여 더 강건하고 공간적으로 정렬된 가우시안 표현을 얻습니다.

2. 기하학적 인식 시간 융합 (Geometry-Aware Temporal Fusion, GATF)

   • 목적: 동적 환경에서의 시간적 일관성을 확보하고 가려짐 문제를 완화합니다.
   • 프레임 간 기하학적 대응 (Inter-frame Geometric Correspondence): 현재 프레임의 참조점을 자율주행 차량의 운동 (Ego-motion) 정보를 통해 과거 프레임의 좌표계로 변환하여 기하학적 정렬을 수행합니다.
   • 게이트드 시간 특징 융합 (GTFF): 정렬된 과거 가우시안 임베딩을 현재 프레임에 선택적으로 통합합니다. MLP 를 통해 적응적 융합 게이트 (Fusion Gate) 를 학습하여, 가려짐이나 동적 객체로 인한 불일치 특징은 억제하고 유용한 역사적 맥락은 강화합니다.

3. 주요 기여 (Key Contributions)

1. ST-GS 프레임워크 개발: 가우시안 기반 오큐펀시 예측을 위해 다중 뷰 공간 상호작용과 다중 프레임 시간적 일관성을 동시에 개선하는 새로운 아키텍처를 제안했습니다.
2. GISA 전략: 이중 모드 어텐션 (GGA, VGA) 과 게이트드 집계를 통해 3D 가우시안 표현의 공간 모델링 능력을 획기적으로 향상시켰습니다.
3. GATF 설계: 기하학적 대응을 명시적으로 고려하고 게이트드 융합 모듈을 통해 역사적 맥락을 통합하여 시간적 일관성을 보장합니다.
4. 성능 달성: nuScenes 데이터셋에서 기존 가우시안 기반 방법론 및 볼륨 기반 방법론을 능가하는 SOTA(최고 수준) 성능을 달성했습니다.

4. 실험 결과 (Results)

데이터셋: nuScenes 검증 세트 (1,000 개 주행 시퀀스 중 150 개 사용).
평가 지표: Scene Completion (SC) IoU, Semantic Scene Completion (SSC) mIoU, 시간적 일관성 지표 (STCV).

• 정량적 성능 (Quantitative Results):

  • SC IoU: 32.88 (기존 GaussianFormer 대비 10.22%p 향상, GaussianFormer-2 대비 7.59%p 향상).
  • SSC mIoU: 21.43 (기존 GaussianFormer 대비 12.20%p 향상, GaussianFormer-2 대비 7.04%p 향상).
  • 대부분의 의미론적 카테고리에서 최고 성능을 기록했습니다.

• 시간적 일관성 (Temporal Consistency):

  • mSTCV (평균 시간적 변동성): 4.47% (기존 GaussianFormer 대비 31.44% 감소).
  • 이는 프레임 간 예측의 불안정성이 크게 줄어들었음을 의미하며, Fig. 1 과 Fig. 4 의 정성적 결과에서도 가려진 트럭 추적 및 주행 가능 표면의 연속적인 예측에서 기존 방법보다 월등한 성능을 보였습니다.

• 애블레이션 연구 (Ablation Studies):

  • GISA 의 GGA 와 VGA 모듈은 각각 독립적으로 성능을 향상시켰으며, GSFA 를 통해 결합 시 추가적인 개선을 보였습니다.
  • GATF 의 시퀀스 길이 증가와 'Coupled' 모드 (Loose 와 Tight 전략의 결합) 가 최적의 성능을 제공했습니다.

5. 의의 및 결론 (Significance)

ST-GS 는 자율주행의 복잡한 환경에서 3D 공간 이해의 정확성과 안정성을 동시에 해결하는 중요한 진전을 이루었습니다.

• 기술적 의의: 가우시안 스플래팅의 효율성을 유지하면서, 격자 기반 방법의 공간적 구조화 능력과 시계열 데이터의 시간적 맥락을 효과적으로 통합했습니다.
• 실용적 가치: 가려짐이 심하거나 동적인 주행 환경에서도 일관된 3D 맵을 생성할 수 있어, 자율주행 차량의 안전성과 신뢰성을 높이는 데 기여합니다.
• 향후 전망: Gamba 와 같은 Mamba 기반 아키텍처를 도입하여 프레임워크의 효율성을 더욱 개선할 계획입니다.

요약하자면, ST-GS 는 **공간적 상호작용 강화 (GISA)**와 **시간적 일관성 확보 (GATF)**를 통해 3D 시맨틱 오큐펀시 예측 분야에서 새로운 기준을 제시한 연구입니다.