SuperQuadricOcc: Real-Time Self-Supervised Semantic Occupancy Estimation with Superquadric Volume Rendering

1. 문제 정의 (Problem Statement)

자율 주행 차량의 안전을 보장하기 위해서는 정밀한 3D 장면 모델링이 필수적입니다. 최근 **의미론적 점유율 추정 (Semantic Occupancy Estimation)**은 세상을 이산화된 볼륨 그리드 (Voxel Grid) 로 표현하여 3D 객체 감지의 한계 (강체 박스 예측) 와 BEV(Bird's Eye View) 의 수직 정보 부족을 해결하는 핵심 기술로 부상했습니다.

그러나 기존 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 지도 학습 (Supervised Learning) 의 비용: 고해상도 3D 점유율 데이터에 대한 수동 주석 (Annotation) 은 매우 비용이 많이 들고 확장성이 떨어집니다.
• 자기 지도 학습 (Self-Supervised Learning) 의 렌더링 병목: 2D 가상 레이블 (Pseudo-labels) 을 사용하여 3D 장면을 학습할 때, 3D 표현을 2D 이미지 공간으로 매핑하는 렌더링 과정이 필수적입니다.
  • 기존 볼륨 (Voxel) 기반 방법은 계산 비용이 높고 추론 속도가 느립니다.
  • 가우스 (Gaussian, 3DGS) 기반 방법은 효율적이지만, 수백만 개의 원시 (Primitive) 를 사용하여 메모리 사용량이 크고, 추론 시 대규모 비전 기반 모델 (VFMs) 에 의존하는 경우가 많아 실시간성이 떨어집니다.
  • **슈퍼쿼드릭 (Superquadric)**은 표현력이 뛰어나고 메모리 효율이 좋지만, 3DGS 나 볼륨 렌더링과 같은 효율적인 네이티브 래스터화 (Rasterization) 방법이 부재하여 자기 지도 학습 환경에서 활용되지 못했습니다.

2. 제안 방법 (Methodology)

저자는 **SuperQuadricOcc (SQOcc)**와 **SuperQuadricOcc-Render (SQOcc-R)**를 제안하여 위 문제를 해결합니다.

A. 장면 표현: 슈퍼쿼드릭 (Superquadrics)

• 장면을 슈퍼쿼드릭 원시 (Primitives) 집합으로 표현합니다. 각 원시는 중심 ($m$), 스케일 ($s$), 회전 ($r$), 둥글기/네모난 정도 ($\epsilon$), 밀도 ($\sigma$), 의미 정보 ($c$) 로 정의됩니다.
• 가우시안 분포와 유사한 지수 감쇠 함수를 사용하여 3D 점에서의 점유 확률을 모델링합니다. 이는 미분 가능하여 효율적인 최적화를 가능하게 합니다.
• 기존 가우스 기반 방법 (수백만 개) 에 비해 1,600 개의 슈퍼쿼드릭만으로 장면을 표현하여 메모리 효율을 극대화합니다.

B. 모델 아키텍처 (SQOcc)

• GaussianFlowOcc를 기반으로 하되, 가우스 대신 슈퍼쿼드릭을 사용하도록 수정되었습니다.
• ResNet-50 백본을 통해 이미지 특징을 추출하고, Transformer 네트워크를 통해 슈퍼쿼드릭의 속성 (위치, 형태 등) 을 시간적 (Temporal) 및 공간적으로 정제합니다.
• 학습 시에는 Vision-Language Models (VLM) 이나 Visual Foundation Models (VFM) 에서 생성된 2D 가상 의미/깊이 레이블을 사용합니다.

C. 렌더링 엔진: SuperQuadricOcc-Render (SQOcc-R)

슈퍼쿼드릭의 렌더링 병목을 해결하기 위해 개발된 실시간 CUDA 가속 볼륨 렌더러입니다.

• 공간 인덱싱 (Spatial Indexing): 모든 슈퍼쿼드릭을 ray sample 마다 조회하는 비효율적인 방식을 탈피합니다. 장면을 볼륨 그리드로 분할하고, 각 볼륨에 영향을 미치는 슈퍼쿼드릭만 인덱싱하여 저장합니다.
• 효율성: Ray sample 은 해당 볼륨 주변의 슈퍼쿼드릭만 조회하므로, 메모리 사용량과 계산 비용이 크게 감소합니다.
• 정밀도 유지: 3DGS 나 볼륨 근사화 (Approximation) 를 거치지 않고, 슈퍼쿼드릭의 점유 확률 방정식을 직접 쿼리하여 기하학적 정밀도 (Fidelity) 를 유지합니다.
• 역전파 (Backward Pass): 렌더링된 깊이와 의미 손실에 대해 슈퍼쿼드릭 파라미터로 미분 가능한 역전파를 수행합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 자기 지도 슈퍼쿼드릭 점유율 모델: SQOcc 는 슈퍼쿼드릭을 사용하여 자기 지도 방식으로 의미론적 점유율을 추정하는 최초의 모델입니다.
2. 실시간 렌더러 개발 (SQOcc-R): 공간 인덱싱 전략을 통해 수천 개의 슈퍼쿼드릭을 실시간 (58 FPS, 6 개 카메라 기준) 으로 렌더링할 수 있는 CUDA 기반 렌더러를 제안했습니다. 이는 기존 렌더링 방법의 정밀도 손실 문제를 해결했습니다.
3. 성능 및 효율성: Occ3D-nuScenes 데이터셋에서 State-of-the-Art (SOTA) 성능을 달성하면서도, 메모리 사용량을 획기적으로 줄이고 실시간 추론을 가능하게 했습니다.

4. 실험 결과 (Results)

Occ3D-nuScenes 및 OpenOccv2 데이터셋에서 평가되었습니다.

• 성능 (Performance):
  • mIoU: 17.14 (기존 SOTA 대비 2.4% 향상).
  • RayIoU: 17.26 (RayIoU 는 깊이 오차에 덜 민감하고 과잉 예측을 처벌하는 지표로, Scene Completion 능력을 잘 반영함).
  • VFM(Visual Foundation Model) 을 추론 시 사용하지 않아도 높은 성능을 냅니다.
• 효율성 (Efficiency):
  • 메모리: 0.70 GB (TT-Occ 대비 92.9% 감소). 이는 200 만 개 이상의 가우스를 사용하는 방법 대비 1,600 개의 슈퍼쿼드릭으로 표현이 가능하기 때문입니다.
  • 추론 속도: 21.5 FPS (실시간).
• 렌더링 비교:
  • SQOcc-R 은 MLGA(다중 레이어 가우스 근사), Gaussianisation, Voxel NeRF 등 다른 렌더링 방법보다 RayIoU와 메모리 효율성에서 압도적으로 우위를 보였습니다.
  • 특히 Voxel NeRF 는 메모리 부족 (OOM) 이나 높은 지연 시간 (Latency) 을 보인 반면, SQOcc-R 은 모든 해상도에서 일관된 성능을 유지했습니다.

5. 의의 및 결론 (Significance)

이 논문은 슈퍼쿼드릭이 자율 주행 3D 장면 표현에 있어 가우스나 볼륨 그리드보다 더 효율적이고 강력한 대안이 될 수 있음을 증명했습니다.

• 실용성: 메모리 사용량을 획기적으로 줄이고 실시간 추론을 가능하게 하여, 제한된 컴퓨팅 자원을 가진 자율 주행 차량에 배포하기 적합합니다.
• 확장성: 고비용인 3D 수동 주석 없이 대규모 데이터셋으로 확장 가능한 자기 지도 학습 파이프라인을 제공합니다.
• 기술적 진보: 슈퍼쿼드릭의 렌더링 한계를 공간 인덱싱을 통해 극복함으로써, 향후 슈퍼쿼드릭 기반의 3D 비전 연구에 새로운 방향을 제시합니다.

결론적으로, SuperQuadricOcc 는 정확도, 메모리 효율성, 실시간성이라는 세 가지 핵심 요소를 모두 만족시키는 차세대 3D 점유율 추정 솔루션입니다.