기술 요약: OccAnyScene

문제 정의

3D 시맨틱 점유 예측(3D semantic occupancy prediction)은 자율 주행 및 임바디드 AI(embodied AI)를 위한 통합적인 장면 이해에 필수적입니다. 그러나 기존 방법들은 공간 범위, 복셀 해상도, 카메라 구성 및 시맨틱 분류 체계와 같은 고정된 프로토콜에 맞춰 설계된 장면 특정적(scene-specific) 방식이 지배적입니다. 이러한 특수성은 범용적인 3D 인지 능력의 발전을 저해합니다.

본 논문은 서로 다른 실내외 장면을 동시에 처리할 수 있는 단일 모델을 요구하는 새로운 태스크 설정인 **교차 장면 3D 시맨틱 점유 예측(Cross-Scene 3D Semantic Occupancy Prediction)**을 도입합니다. 이 설정은 근본적인 과제를 제시합니다: 즉, 메트릭 일관성(metric-consistent)을 유지하면서도 장면 적응형(scene-adaptive)인 이미지-투-3D 리프팅(image-to-3D lifting)을 달야내는 것입니다.

• 메트릭 불일치(Metric Inconsistency): 실내 장면(예: 방)은 정밀한 단거리 인지가 필요한 반면, 실외 장면(예: 도로)은 거친 장거리 인지가 필요합니다.
• 파라미터화의 어려움(Parameterization Difficulty): 기존의 가우시안 기반 방법들은 폐쇄 영역(occlusion) 완성을 위해 필요한 절대적 오프셋과 스케일이 도메인마다 크게 달라지는 문제로 인해 어려움을 겪습니다. 서로 다른 카메라 내적 파라미터와 장면 깊이로 인해 공유된 절대적 파라미터화를 학습하는 것은 어렵습니다.

방법론: OccAnyScene

이러한 과제를 해결하기 위해 저자들은 사전 학습된 깊이 기초 모델(예: DepthAnythingV2/V3)을 기반으로 구축된 **픽셀-프러스텀 중심 가우시안 프레임워크(pixel-frustum-centered Gaussian framework)**인 OccAnyScene를 제안합니다. 이 프레임워크는 고정된 복셀 그리드나 단일 광선(ray)에 의존하는 대신, 각 특징 픽셀과 연관된 유한한 3D 프러스텀(frustum)을 연속적인 장면 표현을 구축하기 위한 기본 단위로 취급합니다.

아키텍처는 두 가지 주요 모듈로 구성됩니다:

1. 픽셀 정렬 프러스텀 특징 집계 (PFFA)

이 모듈은 폐쇄된 영역을 추론하기 위해 각 특징 픽셀에 대한 카메라 인지형 프러스텀 쿼리를 구축합니다.

• 입력: 깊이 기초 모델의 DPT 헤드로부터 추출된 조밀한 기하학적 특징($F_{geo}$)과 ViT 인코더의 시각적 토큰을 입력으로 받습니다.
• 초기화: 기하학적 단서와 내적 파라미터로부터 유도된 카메라 광선 방향을 사용하여 픽셀 쿼리를 초기화합니다.
• 컨텍스트 집계: 모듈은 순차적인 ViT 토큰을 2D 그리드로 복원하고 **픽셀 정렬 변형 크로스 어텐션(pixel-aligned deformable cross-attention)**을 수행합니다. 이를 통해 특징 픽셀 주변의 시맨틱 및 구조적 단서를 집계하여, 가시 표면 기하학, 관측 기하학 및 로컬 컨텍스트를 인코딩하는 프러스텀 쿼리를 생성합니다.

2. 프러스텀 파라미터화 가우시안 구축 (FPGC)

이 모듈은 각 프러스텀 쿼리를 예측된 픽셀 깊이 및 프러스텀 기하학에 의해 제약되는 위치와 스케일을 가진 여러 가우시안 프리미티브($K$개의 가우시안)로 디코딩합니다.

• 깊이 앵커링(Depth Anchoring): 다양한 내적 파라미터를 가진 데이터셋 간의 메트릭 일관성을 보장하기 위해, 모델은 경량 MLP를 사용하여 **표준 카메라 표면 깊이($D_{surf}$)**를 예측합니다. 이는 공통된 깊이 앵커 역할을 합니다.
• 위치 지정:
  • 깊이 증분($\Delta d_{p,k}$): 모든 가우시안을 표면에 배치하는 대신, 모델은 가시 표면에서 폐쇄 영역으로 표현을 확장하기 위해 깊이 증분을 예측합니다.
  • 서브픽셀 오프셋($\Delta u_{p,k}$): 다운샘플링된 특징 픽셀의 거친 특성을 고려하여, 제한된 서브픽셀 오프셋을 통해 가우시안 중심이 해당 픽셀 프러스텀 내에서 측면으로 이동할 수 있도록 합니다.
• 스케일 파라미터화: 불안정한 절대 스케일을 학습하는 것을 피하기 위해, 모델은 **프러스텀 상대적 스케일(frustum-relative scale)**을 사용합니다. 가우시안 깊이에서의 프러스텀 메트릭 단면을 기준으로 스칼라 프러스텀 스케일 참조값($b_{p,k}$)을 계산합니다. 그런 다음 디코더는 무차원 상대 스케일($\hat{s}_{p,k}$)을 예측하며, 이를 참조값에 곱하여 최종 가우시안 크기를 결정합니다. 이를 통해 서로 다른 카메라 파라미터와 장면 범위에 따라 공간적 지지(spatial support)를 자동으로 조정합니다.
• 출력: 결과 가우시안은 학습 가능한 분류 행렬을 통해 장면별 시맨틱 분류 체계로 매핑되며, 타겟 복셀 그리드에 스플랫(splat)됩니다.

주요 기여

1. 태스크 정의: 본 논문은 서로 다른 프로토콜을 가진 이질적인 실내외 장면으로부터 공동으로 학습해야 하는 설정인 교차 장면 3D 시맨틱 점유 예측을 공식적으로 도입합니다.
2. 프레임워크 설계: 픽셀-프러스텀 중심 가우시안 프레임워크인 OccAnyScene를 제안합니다. 이는 다음을 통해 점유 예측을 통합합니다:
   • PFFA: 폐쇄를 추론하는 프러스텀 쿼리 구축.
   • FPGC: 다양한 스케일과 내적 파라미터에 대해 안정성을 확보하기 위해 프러스텀 기하학에 상대적으로 위치와 스케일을 파라미터화하는 장면 적응형 가우시안 구축.
3. 성능: 광범적인 실험을 통해 OccAnyScene이 실내(Occ-ScanNet) 및 실외(SurroundOcc-nuScenes) 벤치마크 모두에서 최첨단(SOTA) 성능을 달성함을 입증했습니다. 결정적으로, 교차 장면 모델은 별도로 학습된 장면 특정 모델과 대등한 성능을 보여, 단일 모델이 성능 저하 없이 다양한 환경을 처리할 수 있음을 증명했습니다.

실험 결과

• 실내 (Occ-ScanNet): DAv3 인코더를 사용하는 교차 장면 설정에서 59.51% mIoU를 달성하여, 장면 특정 성능(59.92% mIoU)에 거의 근접했으며, 다른 교차 장면 적응 모델들(예: SplatSSC†의 급격한 성능 저하)보다 우수한 성능을 보였습니다.
• 실외 (SurroundOcc-nuScenes): DAv3 인코더를 사용하는 교차 장면 설정에서 22.87% mIoU를 달성하여, 역시 장면 특정 모델(23.06% mIoU)과 대등하며 적응형 베이스라인보다 우수한 성능을 보였습니다.
• 효율성: OccAnyScene-DAv2는 RTX 4090 기준 98.2M 파라미터, 86.4ms 추론 시간, 670 MiB 메모리 사용량을 기록하며 높은 효율성을 보여주었으며, 이는 EmbodiedOcc 및 SplatSSC와 같은 이전 연구들에 비해 메모리 사용량을 80% 이상 절감한 수치입니다.
• 절제 연구(Ablation Studies):
  • PFFA 또는 FPGC를 제거하면 성능이 크게 하락하여, 프러스텀 기반의 특징 집계와 파라미터화의 필요성을 확인했습니다.
  • "프러스텀 상대적 스케일"과 "깊이 증분"은 메트릭 변화와 폐쇄 영역 완성을 처리하는 데 핵심적입니다.
  • 픽셀당 가우시안 수($K$)를 1에서 3으로 늘려도 미미한 이득만 있었는데, 이는 폐쇄 완성이 단일 프러스텀 내의 깊은 적층보다는 인접 픽셀들의 집합적 기여를 통해 주로 이루어짐을 시사합니다.

의의 및 주장

본 논문은 OccAnyScene가 고정된 공간 표현에서 벗어나 **카메라 기하학 및 장면 범위에 적응하는 기하학적 참조(geometric reference)**로 전환함으로써 교차 장면 점유 예측의 어려움을 성공적으로 해결했다고 주장합니다.

저자들은 이 접근 방식이 룸 스케일(room-scale)과 스트리트 스케일(street-scale) 점유 예측을 단일 피드포워드 모델로 통합할 수 있게 한다고 강조합니다. 이는 다양한 환경에서 작동하는 자율 시스템의 배포와 확장을 단순화하기 위해 서로 다른 환경을 위한 별도의 모델을 유지하거나 전환할 필요성을 제거합니다. 본 연구는 적절한 기하학적 파라미터화(픽셀-프러스텀 중심)가 있다면, 단일 모델이 전문화된 모델과 대등한 성능을 유지하면서도 높은 계산 효율성을 가질 수 있음을 보여줍니다.

인정된 한계점:
저자들은 현재 평가가 두 가지 데이터셋(Occ-ScanNet 및 SurroundOcc-nuScenes)에 국한되어 있으며, 아직 미지의 임의의 장면에 대한 일반화 능력을 입증하지 못했음을 언급했습니다. 또한, 픽셀-프러스텀 표현은 본질적으로 카메라 시야 내의 영역만을 다루며, 서라운드 뷰 설정의 카메라 사이 간극은 소수의 보충적인 공간 쿼리에 의해 채워지는데, 이는 전체 지표에는 미미한 영향을 미치지만 카메라 뷰 외부의 영역을 완전히 커버하는 데 있어 한계가 있음을 나타냅니다.