Bridging 3D Gaussians and Semantic Occupancy for Comprehensive Open-Vocabulary Scene Understanding from Unposed Images

기술 요약: COVScene

문제 정의
본 논문은 외부 카메라 캘리브레이션이나 Structure-from-Motion (SfM) 파이프라인에 의존하지 않고, 포즈 정보가 없는(unposed) 희소한 이미지로부터 포괄적인 3D 장면 이해를 달성하는 과제를 다룹니다. 최근의 피드포워드 가우시안 방식들(예: LSM, Uni3R)은 포즈가 없는 재구성과 시맨틱 렌더링을 발전시켜 왔으나, 여전히 주로 표면 중심적(surface-centric)입니다. 이러한 방법들은 주로 이미지 공간 렌더링 손실을 통해 가우시안 프리미티브를 최적화합니다. 결과적으로 관측되지 않거나 관측이 약한 영역에서 학습된 프리미티브는 자유 공간(free space)과 점유 공간(occupied space)에 대한 명시적인 제약이 부족하게 됩니다. 이는 렌더링된 RGB 또는 시맨틱 이미지는 그럴듯해 보일지라도, "플로터(floaters)", 중공 구조(hollow structures), 모호한 밀도 분포와 같은 물리적으로 불가능한 아티팩트를 초래합니다. 기존 방식들은 종종 볼륨 점유(volumetric occupancy)를 보조적인 브랜치나 사후 처리(post-hoc) 변환으로 취급하며, 가우시안 표현을 수정하기 위한 볼륨 피드백을 훈련 과정 중에 제공하지 못합니다.

방법론
저자들은 COVScene을 제안합니다. 이는 **미분 가능한 볼륨 리프팅(differentiable volumetric lifting)**을 통해 렌더링 가능한 가우시안 프리미티브와 조밀한 시맨틱 점유 필드(dense semantic occupancy field)를 결합한 포즈-프리 시맨틱 가우시안 프레임워크입니다. 핵심 혁신은 이 리프팅 과정을 별도의 사후 처리 단계가 아닌 훈련 계산 그래프 내에서 수행한다는 점입니다.

1. 아키텍처:

   • 시맨틱 인식 기하학 트랜스포머(Semantic-Aware Geometry Transformer): 모델은 사전 훈련된 기하학 파운데이션 모델(VGDT)로부터 초기화된 공유 인코더를 사용하여, 포즈 정보가 없는 다중 뷰 이미지로부터 카메라 기하학, 깊이 및 장면 구조를 직접 추론합니다. 이를 통해 외부 SfM에 대한 의존성을 피합니다.
   • 멀티 태스크 디코딩(Multi-Task Decoding): DPT(Dense Prediction Transformer) 디코더는 세 가지 헤드로 분기됩니다: 카메라 헤드(외적/내적 예측), 깊이 헤드(3D 중심 추정), 그리고 시맨틱 가우시안 헤드(불투명도, 회전, 스케일, 색상 및 오픈 보캐블러리 시맨틱 특징 예측)입니다.
   • 미분 가능한 볼륨 리프팅(Differentiable Volumetric Lifting): 예측된 시맨틱 가우시안은 훈련 중에 조밀한 시맨틱 점유 필드 $(O, F)$로 리프팅됩니다. 각 복셀(voxel)에 대해, 점유 확률 $O(x)$는 가우시안 밀도를 누적하여 계산되며, 시맨틱 특징 $F(x)$는 밀도 가중 평균을 통해 집계됩니다. 이 과정은 완전히 미분 가능하여, 볼륨 손실로부터의 그래디언트가 가우시안의 불투명도, 기하 구조 및 시맨틱 특징을 직접 업데이트할 수 있도록 합니다.

2. 최적화 전략:
   프레임워크는 다음을 결합한 다중 목적 함수를 사용합니다:

   • 포토메트릭 및 시맨틱 감독(Photometric and Semantic Supervision): 표준 렌더링 손실(L1, LPIPS)과 오픈 보캐블러리 능력을 위한 고정된 비전-언어 모델(예: CLIP)과의 특징 수준 정렬을 결합합니다.
   • 기하학적 파운데이션 증류(Geometric Foundation Distillation): 고정된 기하학 텔리처(VGGT)로부터 증류를 수행하여 초기 다중 뷰 기하학 스캐폴드를 제공하고 스케일 모호성을 줄입니다.
   • 점유 엔트로피 정규화(Occupancy Entropy Regularization): 리프팅된 점유 필드에 이봉형(bimodal) 물리적 사전 확률을 강제하는 핵심 구성 요소입니다. 점유 확률의 엔트로피를 최소화함으로써, 모델은 모호한 상태($O(x) \approx 0.5$)를 억제하고 영역이 명확하게 비어 있거나($O(x) \to 0$) 점유되도록($O(x) \to 1$) 유도합니다. 이는 직접적인 복셀 수준의 감독 없이도 기하학적 불일치를 해결합니다.

주요 기여

• 통합 표현: COVScene은 미분 가능한 리프팅을 통해 렌더링 가능한 가우시안 프리미티브와 조밀한 시맨틱 점유 필드를 결합한 최초의 포즈-프리 프레임워크로, 단일 표현 내에서 새로운 뷰 합성, 오픈 보캐블러리 세그멘테이션, 시맨틱 점유 예측을 가능하게 합니다.
• 훈련 시 볼륨 피드백: 평가 시에만 가우시안을 복셀로 변환하는 이전 연구들과 달리, COVScene은 훈련 루프에 볼륨 정규화를 통합합니다. 이를 통해 볼륨 손실이 가우시안의 불투명도와 기하 구조를 직접 정규화할 수 있게 하여, 관측되지 않은 영역에서의 아티팩트를 줄입니다.
• 엔트로피 정규화: 점유 엔트로피 목적 함수는 물리적으로 타당한 자유/점유 구조를 강제하여, unposed 3DGS에서 흔히 발생하는 "플로터"와 중공 아티팩트를 효과적으로 억제합니다.
• 제로샷 능력: 이 방법은 광범위한 카테고리 수준의 주석 없이도 오픈 보캐블러리 시맨틱 쿼리 및 제로샷 3D 점유 예측을 지원합니다.

실험 결과
저자들은 ScanNet 및 ScanNet++ 데이터셋에서 세 가지 작업에 대해 COVScene을 평가했습니다:

• 새로운 뷰 합성 (NVS): COVScene은 최신 피드포워드 가우시안 베이스라인들과 비교하여 경쟁력 있는 렌더링 품질(PSNR, SSIM, LPIPS)을 유지합니다.
• 오픈 보캐블러리 세그멘테이션 (OVS): 이 프레임워크는 자기 지도 학습 기반의 베이스라인 및 다른 시맨틱 가우시안 방법들에 비해 향상된 오픈 보캐블러리 세그멘테이션 성능을 보여줍니다.
• 시맨틱 점유 예측: COVScene은 훈련 중 직접적인 복셀 수준의 감독이 없음에도 불구하고, 자기 지도 학습 베이스라인(예: SelfOcc)보다 강력한 시맨틱 점유 예측을 달성하며, 완전 지도 학습 방법들과도 경쟁력 있는 결과를 보여줍니다.
• 절제 연구 (Ablation Studies): 실험을 통해 단순히 평가 시점에 시맨틱 가우시안을 점유로 변환하는 것만으로는 불충분함을 확인했습니다. 기하학적 아티팩트를 줄이고 점유 정확도를 높이기 위해서는 훈련 시의 볼륨 그라운딩(volumetric grounding)이 필수적임을 입증했습니다.

의의 및 주장
본 논문은 COVScene이 효율적인 렌더링 가능 가우시안 표현과 물리적으로 근거 있는 볼륨 추론 사이의 간극을 메움으로써, 확장 가능한 3D 장면 이해를 위한 새로운 패러다임을 구축한다고 주장합니다. 점유를 보조적인 출력이 아니라 가우시안 표현에 대한 네이티브하고 미분 가능한 제약 조건으로 취급함으로써, 이 방법은 더 물리적으로 타당한 3D 재구성을 달성합니다. 저자들은 CO-Scene을 로보틱스와 임바디드 에이전트(embodied agents)를 위한 견고한 3D 이해를 향한 중요한 진전으로 위치시키며, 이들에게는 자유 공간과 점유 공간에 대한 정확한 추론이 매우 중요합니다. 본 연구는 볼륨 정규화가 희소하고 포즈 정보가 없는 입력의 내재적 모호성을 해결하기 위해 피드포워드 가우시안 파이프라인에 효과적으로 통합될 수 있음을 보여줍니다.