Latent Gaussian Splatting for 4D Panoptic Occupancy Tracking

이 논문은 다중 뷰 정보를 3D 가우시안 스플래팅을 통해 효율적으로 집계하고 3D 볼륨 그리드로 변환하여 동적 환경에서의 4D 팬옵틱 점유율 추적을 위한 새로운 방법론인 'Latent Gaussian Splatting (LaGS)'을 제안하고, Occ3D nuScenes 와 Waymo 데이터셋에서 최첨단 성능을 입증했습니다.

핵심

이 논문은 **"로봇이나 자율주행차가 주변 환경을 4 차원 (3D 공간 + 시간) 으로 완벽하게 이해하고, 물체들을 개별적으로 추적하는 새로운 방법"**을 소개합니다.

기존의 방법들은 마치 "상자 (Bounding Box)"로 물체를 감싸거나, 단순히 "벽돌 (Voxel)"로 공간을 채우는 방식이었는데, 이 새로운 방법인 **LaGS(Latent Gaussian Splatting)**는 훨씬 더 똑똑하고 효율적인 방식을 제안합니다.

이해하기 쉽게 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 문제 상황: "상자"와 "벽돌"의 한계

자율주행차가 길을 가면서 주변을 볼 때, 기존 기술들은 두 가지 한계가 있었습니다.

• 상자 (Box) 방식: 차나 사람을 단순히 네모난 상자로만 감싸서 봅니다. ("저기에 차가 있구나") 하지만 차의 정확한 모양이나, 차와 차 사이 빈 공간의 세부적인 구조는 모릅니다.
• 벽돌 (Voxel) 방식: 공간을 작은 벽돌로 촘촘하게 채워 3D 지도를 만듭니다. ("여기 벽돌이 있구나") 하지만 시간이 지나도 그 벽돌이 '어떤 차'인지, '어디로 움직였는지'를 기억하기가 어렵고, 계산량이 너무 많아 무겁습니다.

2. LaGS 의 해결책: "투명한 구슬"과 "스프레이"

이 연구팀은 **"잠재적 가우시안 (Latent Gaussian)"**이라는 새로운 도구를 사용했습니다.

비유 1: "투명한 구슬"로 공간을 표현하기

기존의 '벽돌' 대신, 연구팀은 공간을 **투명한 구슬 (Gaussian)**로 표현합니다.

• 벽돌: 공간의 모든 구석구석을 꽉 채워야 하므로 무겁고 비효율적입니다.
• 구슬 (LaGS): 중요한 부분 (차, 사람, 나무) 에만 투명한 구슬을 띄웁니다. 빈 공간은 비워둡니다.
  • 마치 구름이나 연기처럼, 필요한 곳에만 농도를 조절하며 공간을 표현하는 것입니다. 이렇게 하면 컴퓨터가 처리해야 할 데이터 양이 훨씬 줄어들어 빠르고 가볍습니다.

비유 2: "스프레이"로 정보를 다시 채우기 (Splatting)

그런데 구슬만으로는 로봇이 "이곳은 차고, 저곳은 보행자야"라고 명확하게 구분하기 어렵습니다. 그래서 스프레이 (Splatting) 기술을 사용합니다.

• 구슬들이 모은 정보를 3D 벽돌 지도 (Voxel Grid) 위에 다시 스프레이처럼 뿌려줍니다.
• 이때 중요한 점은, 구슬들이 정보를 모으는 방식입니다.
  • 기존 방식: 벽돌끼리만 대화 (작은 범위만 봄).
  • LaGS 방식: 구슬들은 서로 멀리 떨어져 있어도 넓은 범위에서 정보를 주고받습니다. 마치 군중 속의 사람이 주변 사람뿐만 아니라 멀리 있는 사람과도 대화할 수 있는 것처럼, 구슬들은 더 넓은 영역의 정보를 종합하여 더 정확한 판단을 내립니다.

3. 4 차원 추적: "시간의 실"로 연결하기

이 기술의 가장 큰 장점은 **시간 (4 차원)**을 함께 다룬다는 점입니다.

• 기존: 매 프레임 (화면) 마다 새로 벽돌을 쌓으면, "어제 저 차가 어디로 갔지?"를 기억하기 어렵습니다.
• LaGS: 구슬들이 시간의 실을 가지고 있습니다.
  • 카메라가 찍은 영상에서 물체를 발견하면, 그 물체의 '구슬' 정보를 다음 프레임으로 **연결 (추적)**합니다.
  • 마치 마술사가 공을 한 손에서 다른 손으로 넘길 때, 공이 사라지지 않고 자연스럽게 이어지듯이, 차가 움직여도 그 차의 정체 (ID) 가 끊기지 않고 계속 따라갑니다.
  • 특히, **차 (Thing)**와 **도로/건물 (Stuff)**을 구분해서 처리하는 방식을 개선했습니다. 차는 개체별로 따로 추적하고, 배경은 전체적으로 처리하여 혼란을 줄였습니다.

4. 결과: 더 똑똑한 자율주행

이 방법을 nuScenes와 Waymo라는 실제 자율주행 데이터로 테스트한 결과, 기존 최고 기술 (State-of-the-Art) 보다 압도적으로 좋은 점수를 받았습니다.

• 정확도 향상: 차와 보행자를 더 정확하게 구분하고, 서로 섞이지 않게 분리합니다.
• 빠른 처리: 불필요한 벽돌을 치우고 구슬만 남겼기 때문에 계산이 훨씬 효율적입니다.
• 실제 적용: 로봇이나 자율주행차가 복잡한 도시 환경에서도 안전하고 신뢰할 수 있게 주변을 이해할 수 있게 해줍니다.

요약

이 논문은 **"무거운 벽돌 지도 대신, 가볍고 유연한 투명한 구슬 (Gaussian) 을 이용해 공간을 표현하고, 이를 다시 스프레이로 뿌려 정교한 지도를 만들며, 시간의 흐름에 따라 물체를 자연스럽게 추적하는 새로운 시스템"**을 개발했다고 할 수 있습니다.

마치 구름이 비를 뿌려 땅을 적시는 것처럼, 이 기술은 정보의 구름을 뿌려 로봇이 세상을 더 선명하고 정확하게 보게 해줍니다.

기술 요약

1. 문제 정의 (Problem)

로봇 및 자율주행 차량이 동적 환경에서 안전하고 신뢰성 있게 작동하기 위해서는 4 차원 (4D) 시공간적 환경 인식이 필수적입니다. 기존 방법들은 다음과 같은 한계를 가지고 있었습니다:

• 경계 상자 (Bounding Box) 기반 추적: 객체의 거친 기하학적 구조만 제공하며, 미세한 기하학적 세부 사항과 볼륨적 의미론 (Volumetric semantics) 이 부족합니다.
• 단일 프레임 3D 점유율 예측 (3D Occupancy Prediction): 밀집된 볼륨 그리드를 생성하지만, 객체 식별 (Instance ID) 이나 시간적 연관성 (Temporal association) 이 없습니다.
• 기존 4D Panoptic Occupancy Tracking (4D-POT) 의 한계: 기존 접근법은 마스크 기반 3D 점유율 예측과 쿼리 기반 3D 다중 객체 추적 (3D MOT) 을 단순히 결합하는 방식이어서, 시간적 요구사항과 인스턴스 수준의 요구사항을 충족하는 효율적인 표현 방식과 인코더 설계가 부족했습니다. 또한, 밀집된 볼륨 기반 아키텍처는 계산 비용이 높고 확장성이 떨어집니다.

2. 제안 방법 (Methodology)

저자들은 **잠재 가우스 스플래팅 (Latent Gaussian Splatting, LaGS)**이라는 새로운 접근법을 제안합니다. 이는 밀집된 볼륨 중심 아키텍처를 희소 점 (Sparse Point) 중심 아키텍처로 전환하여 4D 팬옵틱 점유율 추적을 수행합니다.

핵심 아키텍처

1. 이미지 인코더 및 명시적 리프팅 (Explicit Lifting):

   • 다중 뷰 이미지에서 특징을 추출하고, 깊이 (Depth) 정보를 사용하여 3D 볼륨 특징으로 명시적으로 리프팅합니다.
   • 이를 3D 볼륨 특징 피라미드 (Voxel Feature Pyramid) 로 정제합니다.

2. 잠재 가우스 특징 인코더 (Latent Gaussian Feature Encoder):

   • 희소 표현: 기존 COTR 과 같은 밀집 볼륨 인코더 대신, 3D 가우스 (3D Gaussians) 를 동적 공간의 '키 포인트 (Keypoints)'로 간주하여 희소 잠재 표현으로 사용합니다.
   • 계층적 스트림: 고해상도 (Fine, G0) 와 저해상도 (Coarse, G2) 의 두 가지 병렬 스트림을 사용합니다. Fine 스트림은 세부 정보를 포착하고, Coarse 스트림은 슈퍼 포인트 (Super-points) 를 집계하여 쿼리 정제와 디코딩을 돕습니다.
   • Serialized Multi-Stream Attention (SMSA): 서로 다른 스트림 간의 효율적인 정보 교환을 위해 새로운 어텐션 메커니즘을 도입했습니다.
   • 스플래팅 (Splatting): 처리된 가우스 특징을 다시 3D 볼륨 그리드로 '스플래팅'하여 최종 볼륨 특징을 생성합니다. 이는 희소 점 기반의 효율성을 유지하면서 밀집한 장면 컨텍스트를 보존합니다.

3. 팬옵틱 마스크 디코더 (Panoptic Mask Decoder):

   • 이중 쿼리 처리: 인스턴스 (Thing) 분할을 위한 탐지 쿼리와 전역 의미론적 (Stuff) 분할을 위한 의미 쿼리를 사용합니다.
   • 별도 집계 (Separate Aggregation): 의미론적 마스크와 인스턴스 마스크를 별도로 집계한 후 병합하여, 인스턴스 분할의 불균형 문제를 해결하고 정확도를 높입니다.
   • 볼륨 크로스 어텐션 (Volume Cross-Attention): 쿼리가 3D 볼륨 특징에 효율적으로 어텐션할 수 있도록 설계되었습니다.

4. 추적 및 쿼리 전파 (Tracking & Query Propagation):

   • Tracking-by-Attention: 이전 프레임에서 성공적으로 디코딩된 탐지 쿼리를 다음 프레임으로 전파하여 추적합니다.
   • PF-Track 기반 정제: PF-Track 의 시공간 정제 모듈을 통합하여 메모리 (과거) 와 궤적 예측 (미래) 을 기반으로 쿼리를 정제합니다.
   • 효율성: 프레임 간 그라디언트 전파를 차단 (Detaching) 하여 메모리 요구량을 줄이고, 디코더 리소스를 추적 성능 향상에 집중합니다.

3. 주요 기여 (Key Contributions)

1. 희소 중간 특징 표현: 3D/4D 예측을 위해 가우스를 희소 중간 특징 표현으로 도입하여, 의미론에서 특징 (Features) 으로 가우스 - 볼륨 스플래팅 개념을 확장했습니다.
2. 최신 4D-POT 접근법: 쿼리 기반 엔드 - 투 - 엔드 추적과 마스크 기반 팬옵틱 점유율 예측을 간소화하여 통합한 새로운 SOTA(State-of-the-Art) 접근법을 제시했습니다.
3. 지표 재평가: 기존 4D-POT 지표 (STQ, AQ 등) 의 구현 오류 (자유 공간 무시 등) 를 수정하고 정확한 재구현을 제공했습니다.
4. 데이터 확장: Occ3D nuScenes 데이터셋을 4D 팬옵틱 점유율 태스크로 확장하고, Waymo 에서만 가능했던 베이스라인을 재현하며 Ground Truth 주석을 공개했습니다.
5. 성능 향상: 두 데이터셋에서 기존 방법 대비 최대 +18.9%p의 STQ(Segmentation and Tracking Quality) 및 AQ(Association Quality) 향상을 달성했습니다.
6. 오픈 소스: 코드와 모델을 공개하여 연구 커뮤니티에 기여했습니다.

4. 실험 결과 (Results)

• 데이터셋: Occ3D nuScenes 및 Waymo 데이터셋에서 평가 수행.
• 성능:
  • nuScenes: STQ 에서 +18.9%p, AQ 에서 +19.8%p 향상.
  • Waymo: STQ 에서 +5.1%p, AQ 에서 +7.9%p 향상.
  • 3D 점유율 예측 (mIoU): 단일 프레임 기반 방법 (BEVDet4D+COTR) 보다 +4.9%p 높은 mIoU 를 기록하며, 기존 SOTA 방법들 (SurroundOcc, OccFormer 등) 과 유사하거나 더 높은 성능을 보였습니다.
• 정성적 평가:
  • 인스턴스 분리 (Instance Separation) 와 인스턴스 연관성 (Instance Association) 이 기존 방법 (TrackOcc) 보다 명확하게 개선됨.
  • 누락된 검출 (Missing Detections) 과 낮은 신뢰도 마스크 (Underconfident Masks) 가 감소함.
  • Waymo 데이터셋에서 Stuff 클래스의 다양성으로 인해 Thing 클래스 성능이 약간 희생되기도 했으나, 전반적인 추적 품질은 크게 향상됨.

5. 의의 및 결론 (Significance)

이 논문은 **가우스 스플래팅 (Gaussian Splatting)**과 **포인트 트랜스포머 (Point Transformer)**의 최신 기술을 4D 팬옵틱 점유율 추적에 성공적으로 적용했습니다.

• 아키텍처 혁신: 밀집된 볼륨 그리드를 기반으로 하던 기존 방식을, 희소 점 기반의 잠재 가우스 표현으로 전환함으로써 계산 효율성과 확장성을 크게 개선했습니다.
• 정보 집계: 가우스를 통해 더 크고 유연한 데이터 의존적 (Data-dependent) 이웃 관계를 형성하여 정보 교환 및 2D-to-3D 리프팅 성능을 향상시켰습니다.
• 미래 지향성: 이 연구는 동적이고 효율적이며, 중요도 (Saliency) 기반의 3D 표현에 대한 추가적인 탐구의 길을 열었으며, 자율주행 에이전트의 핵심 인식 백본으로의 역할을 강화했습니다.

요약하자면, LaGS는 4D 환경 인식의 정확도와 효율성을 동시에 해결하기 위해 희소 가우스 표현을 도입한 획기적인 모델로, 기존 방법론의 한계를 극복하고 새로운 SOTA 를 달성했습니다.