기술 요약: 변형 가능 가우스 점유 (DeGO)

문제 정의

동적 3D 점유 예측은 자율 주행, 특히 인간 중심의 비강체 에이전트에 대한 추론에 있어 필수적입니다. 그러나 기존 약지도 프레임워크는 두 가지 주요 한계에 직면해 있습니다:

1. 강체 운동 가정: 대부분의 기존 방법은 단순한 프레임 간 오프셋에 의존하며 강체 운동을 가정합니다. 이로 인해 인간 에이전트 (예: 보행자, 자전거 타는 사람) 의 특징인 세밀한 비강체 변형을 포착하지 못합니다.
2. 용량 불균형: 3D 볼륨 전체에 가우스 원소를 균일하게 분배하는 방법들은 종종 정적 배경 영역 (도로, 벽) 에 과도한 용량을 할당하여, 작고 안전에 중요한 인간 인스턴스를 위한 해상도가 부족해집니다.
3. 시간적 불일치: 기존 볼륨 또는 가우스 접근법은 강체와 비강체 운동이 공존하는 동적 환경에서 시간적 일관성을 유지하는 데 어려움을 겪어, 불안정한 기하학적 업데이트를 초래합니다.

방법론

저자들은 **DeGO(변형 가능 가우스 점유)**를 제안합니다. 이는 분리된 가우스 변형과 인자화된 4D 기반 모델 증류를 통합한 프레임워크입니다. 이 방법은 Grounded-SAM 과 Metric3D 에서의 의사레이블을 활용하여 밀집된 볼륨 주석 없이 약지도 하에서 작동합니다.

1. 분리된 가우스 변형 (DGD)

모든 클래스를 균일하게 취급하는 대신, DeGO 는 각 가우스 원소가 운동 행동을 적응적으로 모델링할 수 있도록 합니다.

• 소프트 강체 마스크: 각 가우스는 학습 가능한 강체 마스크 ($m_i \in [0, 1]$) 로 보강됩니다. 이 마스크는 가우스가 강체 운동만 수행할지, 아니면 강체 오프셋과 비강체 변형의 조합을 수행할지를 암묵적으로 제어합니다.
• 하이브리드 운동 업데이트:
  • 강체 영역 ($m_i \approx 0$): 가우스는 위치 오프셋 ($\Delta \mu$) 을 통해서만 업데이트됩니다.
  • 비강체 영역 ($m_i \approx 1$): 가우스는 위치 오프셋과 회전 ($r$), 스케일 ($s$), 불투명도 ($\alpha$) 에 영향을 미치는 국소 변형을 모두 겪습니다.
• 정규화: 이진 정규화 손실은 마스크가 이진 값에 수렴하도록 유도하여 강체와 비강체 행동 간의 명확한 분리를 보장합니다.

2. 인자화된 특징 증류 (FFD)

시간적 일관성과 다중 뷰 정렬을 강화하기 위해, DeGO 는 VGGT라는 4D 기반 모델에서 지식을 증류합니다.

• 4D 교사 특징: 프레임별 2D 특징을 증류하는 기존 방법과 달리, FFD 는 VGGT 에서 시공간 표현을 추출합니다. 교사 모델은 교차 카메라 (공간) 및 교차 프레임 (시간) 어텐션 메커니즘을 사용하여 다중 뷰 시퀀스를 처리합니다.
• 증류 과정: 학생 모델 (DeGO) 은 렌더링된 가우스 특징을 교사의 4D 특징과 정렬합니다. 이는 교차 카메라 및 교차 프레임 추론 능력을 전달하여 명시적인 3D 레이블 없이도 가우스 필드에 대한 안정적인 지침을 제공합니다.
• 아키텍처: 증류는 가우스 트랜스포머를 대상으로 하며, 변형 헤드가 운동 업데이트를 예측하기 전에 3D 가우스 특징을 기반 모델의 시공간 토큰과 정렬합니다.

3. 최적화 및 추론

• 학습: 모델은 다중 뷰 이미지의 짧은 시퀀스로 학습됩니다. 총 손실은 분할 손실, 깊이 회귀 손실, 특징 증류 손실, 그리고 변형 정규화를 결합합니다.
• 추론: 배포 중 시스템은 단일 프레임, 순방향 방식으로 작동합니다. 시간적 변형 모듈은 운동 인식 사전 지식을 학습하기 위해 학습 중에 사용되지만, 추론 시에는 시간적 입력이 필요하지 않습니다. 출력은 하류 점유 예측을 위해 볼륨화된 단일 3D 가우스 세트입니다.

주요 기여

1. 통합 변형 가능 프레임워크: 각 가우스가 강체 및 비강체 운동을 적응적으로 모델링하고, 4D 기반 모델의 지침을 받아 인간 중심 및 전체 장면 이해를 모두 개선하는 새로운 점유 프레임워크입니다.
2. 인간 중심 분리 변형: 변형 용량을 선택적으로 할당하여 비강체 에이전트의 정확한 모델링을 가능하게 하면서도 강체 구조에 대한 기하학적 안정성을 유지하는 메커니즘입니다.
3. 인자화된 4D 증류: 기반 모델 (VGGT) 로부터 교차 카메라 및 교차 프레임 지식을 가우스 필드로 전달하여 기반 모델 정렬 동적 장면 표현을 생성하는 전략입니다.

실험 결과

실험은 Occ3D-NuScenes 벤치마크 (4 만 프레임, 6 개 카메라 뷰) 에서 수행되었습니다.

• 전체 성능: DeGO 는 약지도 하에서 최첨단 성능을 달성하여, 이전 최강 약지도 방법 (GaussianFlow) 대비 전체 mIoU 를 10.9% 향상시키고 IoU 를 12.4% 개선했습니다.
• 인간 중심 지표: 이 방법은 비강체 에이전트 모델링에서 상당한 개선을 보여주어, 제안된 인간 중심 mIoU(HCM) 에서 13.5% 향상과 인스턴스 mIoU(InsM) 에서 **7.8%**의 개선을 달성했습니다.
• 절대 실험 통찰:
  • 변형 모듈 단독만으로도 베이스라인 대비 43.4% 의 개선을 제공했습니다.
  • VGGT 를 교사로 사용한 것은 DINOv2 보다 높은 성능을 보였으며, 이는 VGGT 의 다중 뷰 및 시간 데이터 사전 학습에 기인합니다.
  • 공간 (교차 카메라) 및 시간 (교차 프레임) 어텐션 특징을 모두 증류하는 것은 상호 보완적인 이점을 제공하여, 결합된 접근 방식이 가장 좋은 결과를 낳았습니다.
  • 강체 마스크는 운동 유형을 구분하는 데 가장 중요한 구성 요소로 확인되었습니다.

의의

이 논문은 DeGO 가 강체 및 비강체 역학을 명시적으로 분리함으로써 현재 점유 예측 방법의 근본적인 한계를 해결한다고 주장합니다. 변형 인식 모델링과 기반 모델 지침 증류를 결합함으로써, 이 접근법은 값비싼 3D 볼륨 레이블에 의존하지 않고도 강력한 시간적 일관성과 안전에 중요한 인간 인스턴스의 우수한 재구성을 달성합니다. 결과는 동적 장면에서 약지도 학습을 안내하기 위해 4D 기반 모델을 사용하는 것의 효과성을 강조합니다.