기술 요약: QueryOcc

문제 정의

이미지로부터 3D 장면의 기하학적 구조와 의미론(semantics)을 학습하는 것은 자율 주행의 핵심적인 과제이지만, 대규모 3D 주석(annotation) 작업은 비용이 매우 많이 듭니다. 기존의 자기 지도 학습(self-supervised) 방식들은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 렌더링 기반 방식: 이 방식들은 2D 이미지 재구성의 일관성에 의존합니다. 확장성은 뛰어나지만, 3D 구조가 명시적인 학습 목표가 아닌 이미지 합성의 부산물로 나타나기 때문에 간접적인 기하학적 신호만을 제공합니다. 또한 안정성을 위해 외부에서 추정된 깊이 지도(depth map)에 의존하는 경우가 많습니다.
2. Lidar 기반 방식: 이 방식들은 명시적인 3D 감독(supervision)을 제공하지만, 누적된 포인트 클라우드를 미리 정의된 복셀 그리드(voxel grid)로 이산화하는 과정에 의존합니다. 이러한 접근 방식은 공간적 정밀도, 확장성, 그리고 무한한 장면을 효율적으로 표현하는 능력을 제한합니다.

본 논문은 연속적인 4D 시공간에서의 직접적인 감독이 렌더링 기반 방식이나 복셀화된 라이다 방식보다 자기 지도 3D 시맨틱 점유(semantic occupancy) 학습을 위한 더 명확한 기하학적 피드백을 제공한다고 주장합니다.

방법론: QueryOcc

QueryOcc는 렌더링 손실이나 복셀 집계 없이 다중 뷰 이미지(및 선택적으로 라이다)로부터 연속적인 3D 시맨틱 점유를 직접 학습하는 쿼리 기반 자기 지도 프레임워크입니다.

1. 모델 아키텍처

프레임워크는 모듈형 4단계 파이프라인을 따릅니다:

• 이미지 인코딩 (Image Encoding): 다중 뷰 이미지는 사전 학습된 백본(backbone)에 의해 처리되어 조밀한 특징(dense features)을 추출합니다. 카메라 캘리브레이션 파라미터는 경량 MLP를 통해 인코딩되어 카메라 특유의 컨텍스트를 제공합니다.
• Lift-Contract-Splat (LCS): 이는 무한한 장면을 처리하기 위한 핵심 혁신입니다. 이 방식은 세 가지 주요 구성 요소를 통해 Lift-Splat-Shoot (LSS) 공식을 확장합니다:
  • 포인트 단위 인코딩 (Point-wise Encoding): 원시 특징을 스플래팅(splatting)하는 대신, 모델은 학습 가능한 함수를 사용하여 가시성(visibility), 불확정성(uncertainty), 시간적 단서(temporal cues)를 명시적으로 인코딩합니다. 이를 통해 점유된 영역과 관찰되지 않은 영역을 모두 표현할 수 있습니다.
  • 로그-선형 깊이 빈닝 (Log-Linear Depth Binning): 근거리 해상도와 원거리 커버리지 사이의 균형을 맞추기 위해, 깊이 빈(depth bin)은 균등한 간격이 아닌 근거리 영역($d_{near}$) 외부에서는 지수적으로 증가하는 간격을 사용합니다.
  • 축 정렬 축소 (Axis-Aligned Contraction): 장면 범위와 관계없이 일정한 메모리와 연산을 유지하기 위해, 축 정렬 축소 함수는 원거리 영역을 압축하는 동시에 자차(ego vehicle) 근처의 고해상도 디테일은 보존합니다. 이는 확장되는 BEV 그리드와 관련된 이차적(quadratic) 메모리 증가를 방지합니다.
• BEV 특징 처리 (BEV Feature Processing): 축소된 BEV 특징은 ResBlock과 다중 스케일 디포머블 어텐션(multi-scale deformable attention)을 통해 처리되어 국소적 및 전역적 의존성을 포착하며, 축소에 따른 국소적 스케일링에 적응하기 위해 동적 컨볼루션(dynamic convolutions)을 사용합니다.
• 통합 쿼리 디코더 (Unified Query Decoder): 경량 디코더는 임의의 4D 쿼리($q = [x, y, z, t]^\top$)에 대한 점유 및 시맨틱을 예측합니다. 쿼리는 BEV 공간과 정렬되도록 축소되고, MLP에 의해 인코딩된 후 보간된 BEV 특징과 융합됩니다. 디코더는 최종 예측을 출력하기 전, 주변 위치에서 특징을 추출하기 위한 오프셋(offset)을 예측합니다(디포머블 어텐션을 모사함).

2. 자기 지도 학습 (Self-Supervised Training)

프레임워크는 직접 4D 시공간에서 작동하며, 시간을 경과하며 관찰된 포인트 클라우드로부터 감독 신호를 생성합니다.

• 감독 소스 (Supervision Sources):
  • 카메라 전용 (Camera-only): 비전 파운데이션 모델(VFM)이 예측한 메트릭 깊이를 사용하여 픽셀을 3D로 들어 올림(lifting)으로써 의사 포인트 클라우드(pseudo point clouds)를 생성합니다. 이는 시맨틱 의사 레이블 또는 조밀한 VFM 특징과 쌍을 이룹니다.
  • 카메라-라이다 (Camera-Lidar): 실제 라이다 포인트 클라우드가 명시적인 기하학적 감독 역할을 하며, 시맨틱 레이블이나 특징을 추출하기 위해 카메라 뷰로 투영됩니다.
  • 통합 (Unified): 두 소스의 조합입니다.
• 쿼리 생성 (Query Generation): 감독은 포인트 클라우드로부터 샘플링된 시공간 4D 쿼리를 통해 적용됩니다:
  • 부정 쿼리 (Negative/Unoccupied Queries): 센서 원점으로부터 관찰된 지점까지의 광선(ray)을 따라 샘플링됩니다.
  • 긍정 쿼리 (Positive/Occupied Queries): 관찰된 지점 뒤의 버퍼 존(buffer zone) 내에서 샘플링됩니다.
• 손실 함수 (Loss Function): 모델은 점유를 위한 이진 크로스 엔트로피(binary cross-entropy), 시맨틱을 위한 카테고리컬 크로스 엔트로피(categorical cross-entropy), 그리고 VFM 특징 증류(distillation)를 위한 L1 손실의 조합을 사용하여 학습됩니다.

주요 기여

1. QueryOcc 프레임워크: 렌더링 손실이나 복셀 집계 없이 다중 뷰 이미지로부터 연속적인 3D 시맨틱 점유를 학습하는 유연한 쿼리 기반 프레임워크를 제안합니다.
2. 무한 축소 표현 (Unbounded Contractive Representation): 근거리 디테일을 보존하면서 원거리 영역을 부드럽게 압축하여, 일정한 메모리 하에서 장거리 감독을 가능하게 하는 새로운 장면 표현 방식입니다. 이는 "lift-contract-splat" 메커니즘과 결합되어 이미지 특징을 이 공간으로 들어 올립니다.
3. 최첨단 성능 (State-of-the-Art Performance): 이 방법은 self-supervised Occ3D-nuScenes 벤치마크에서 우수한 결과를 달성하였으며, 실시간 추론(11.6 FPS)을 유지하면서도 이전 방식들을 능가하는 성능을 보여줍니다.

실험 결과

Occ3D-nuScenes 벤치마크에서 평가한 결과:

• 성능: QueryOcc는 23.6%(강화된 QueryOcc+ 변형의 경우 25.8%)의 시맨틱 RayIoU를 달성하여, 이전의 최고 self-supervised 방식(GaussianFlowOcc)보다 26% 높은 성능을 기록했습니다. 또한 점유(occupancy) RayIoU를 25% 개선했습니다.
• 효율성: 모델은 A100 GPU에서 11.6 FPS로 동작하며 총 지연 시간은 86ms로, 렌더링 기반 NeRF 방식(예: SelfOcc의 1.2 FPS)보다 훨씬 빠릅니다.
• 강건성 (Robustness): 모델은 다양한 클래스에서 잘 작동하며, 특히 작고 가는 카테カテゴリ(예: 교통 콘, 보행자)에서 뛰어난 성능을 보입니다. 또한 이미지 인코더(예: ConvNeXt-Base 또는 ResNet-50)의 선택에 관계없이 강건합니다.
• 절제 연구 (Ablation Studies):
  • 직접적인 쿼리 기반 감독은 렌더링 기반 감독(23.6 vs 15.0 RayIoU)보다 크게 우수하며, 이는 2D 재구성이 더 약한 기하학적 제약을 제공함을 나타냅니다.
  • 제안된 모든 구성 요소(로그-선형 빈, 축소, 포인트 인코딩)는 성능 향상에 기여합니다.
  • 카메라와 라이다 감독을 결합하면 최상의 결과를 얻으며, 이는 조밀한 시맨틱 단서와 정확한 기하학을 효과적으로 융합함을 의미합니다.
  • 성능은 더 높은 입력 해상도와 추가 데이터셋(예: Argoverse 2)에 따라 확장되며, 강력한 데이터 효율성과 교차 도메인 일반화 능력을 입증합니다.

의의

본 논문은 QueryOcc가 카메라로부터의 자기 지도 3D 장면 이해를 위한 새로운 벤치마크를 구축한다고 주장합니다. 이 연구의 의의는 직접적인 4D 쿼리 기반 자기 지도 학습이 렌더링 기반 방식보다 더 명확한 기하학적 피드백을 제공하여, 대규모 학습을 위한 강력한 토대가 될 수 있음을 입증했다는 데 있습니다. 렌더링 손실과 복셀화를 제거함으로써, 이 프레임워크는 높은 기하학적 정확도, 계산 효율성, 그리고 무한한 장면을 다룰 수 있는 능력 사이의 균형을 달성했습니다. 이 작업은 연속적인 4D 감독이 이미지 합성의 부산물이 아닌, 명시적인 목표로서 기하학과 시맨틱 모두를 강력하게 학습할 수 있게 한다는 점을 강조합니다.