GeoDiffusion:Enhancing Self-Supervised Monocular Depth Estimation in Dynamic Scenes

기술 요약: GeoDiffusion

문제 정의

단안 깊이 추정(Monocular depth estimation)은 경로 계획 및 장애물 감지와 같은 자율 주행 작업에 있어 매우 중요합니다. LiDAR나 스테레오 카메라와 같은 전통적인 방식은 정확하지만, 비용이 많이 들거나 복잡한 캘리브레이션을 요구하는 경우가 많습니다. 자기 지도 학습 기반의 단안 깊이 추정은 정답(ground-truth) 깊이 레이블 없이 광학적 일관성(photometric consistency)을 활용함으로써 비용 효율적인 대안을 제공합니다. 그러나 기존의 자기 지도 학습 방식은 주로 정적인 환경을 가정합니다. 움직이는 물체, 모션 블러, 폐쇄(occlusion), 급격한 조명 변화가 특징인 실제 동적 장면에서는 이러한 가정이 실패합니다. 이러한 요소들은 광학적 일관성을 저해하여 부정확한 포즈 추정과 저하된 깊이 예측을 초ら합니다. 역동성을 해결하기 위한 이전의 시도들은 시맨틱 세그멘테이션이나 모션 세그멘테이션과 같은 보조 작업을 활용했으나, 이는 비용이 많이 드는 주석(annotation)이나 정밀한 궤적 모델링을 필요로 하여 실용성이 떨어집니다.

방법론

저자들은 동적 주행 장면에서의 깊이 추정 성능을 향상시키기 위해 확산 모델(diffusion models)을 통합한 자기 지도 학습 프레임워크인 GeoDiffusion을 제안합니다. 이 아키텍처는 교사-학생(teacher-student) 패러다임과 조건부 확산 프로세스로 구성됩니다:

1. 강건한 의사 깊이 구축 (Robust Pseudo-Depth Construction):

   • 사전 학습된 Lite-Mono-8M 모델이 교사 역할을 수행하여 다중 스케일 의사 깊이 맵(pseudo-depth maps)을 생성합니다.
   • **다중 뷰 일관성 모듈(multiview consistency module)**이 프레임 간 깊이를 재투영함으로써 이 맵들을 필터링합니다. 변동성이 높은 픽셀(움직임, 폐쇄 또는 경면 반사를 나타냄)은 일관성이 없는 것으로 표시되어 제외됩니다. 이를 통해 수동 주석 없이도 훈련을 위한 신뢰할 수 있는 의사 정답(pseudo-ground-truth) 레이블을 생성합니다.

2. 조건부 깊이 확산 (Conditional Depth Diffusion - 학생 네트워크):

   • 학생 네트워크는 반복적인 디노이징(denoising) 작업으로서 깊이 추정을 수행합니다.
   • 순방향 확산 (Forward Diffusion): 깊이 맵에 노이즈가 점진적으로 추가됩니다.
   • 역방향 확산 (Reverse Diffusion): 학생 네트워크는 이산적인 단계($T$) 동안 디노이징을 수행하여 대상 프레임의 깊이 맵을 예측합니다. 이 과정은 다음 요소들에 의해 유도됩니다:
     • 다중 스케일 이미지 특징: Lite-Mono DepthNet 인코더에 의해 추출됩니다.
     • 변별적 사전 정보 (Discriminative Priors): 교사의 깊이 예측값($D_{teacher}$)이 디노이징 궤적을 안내하는 조건부 입력으로 작용하여 기하학적 일관성과 구조적 충실도를 보장합니다.
   • 학생 네트워크는 학습 가능한 어텐션 가중치를 통해 다중 스케일 특징의 균형을 맞추는 컴팩트한 노이즈 예측기를 사용합니다.

3. 포즈 추정 (Pose Estimation):

   • 사전 학습된 ResNet-18 인코더와 4층 컨볼루션 디코더를 사용하는 별도의 모듈이 연속된 프레임 사이의 상대적인 6-DOF 포즈를 예측합니다.

4. 훈련 목적 함수 (Training Objective):
   모델은 세 가지 손실 함수의 가중 합을 사용하여 훈련됩니다:

   • 광학적 일관성 손실 ($L_{ph}$): 합성된 대상 프레임과 실제 대상 프레임 사이의 차이를 SSIM 및 $L_1$ 손실을 사용하여 측정합니다.
   • 지식 증류 손실 ($L_{KD}$): 학생이 일관성 마스크에 의해 필터링된 교사의 신뢰할 수 있는 의사 깊이와 정렬되도록 유도합니다.
   • DDIM 손실 ($L_{DDIM}$): 안정성을 확보하기 위해 학생의 예측과 의도된 확산 궤적 사이의 일관성을 강제합니다.

추론 시에는 교사 모델과 보조 네트워크들은 제거되며, 경량화된 학생 모델만 사용됩니다.

주요 기여

• GeoDiffusion 프레임워크: 동적 장면에서 오류를 줄이기 위해 확산 모델을 활용하는 새로운 자기 지도 단안 깊이 프레임워크입니다.
• 강건한 의사 레이블 생성: 사전 학습된 교사 모델과 다중 뷰 일관성 검증을 결합하여 움직임 및 폐쇄로 인한 신뢰할 수 없는 영역을 필터링함으로써 레이블이 필요 없는 감독 방식을 제공합니다.
• 변별적 사전 정보 주입: 확산 과정 중에 교사로부터 유도된 깊이를 변별적 사전 정보로 주입하는 모듈을 도입하여 기하학적 및 구조적 충실도를 향상시켰습니다.
• 최첨단 성능 (SOTA): 시맨틱 또는 모션 세그멘테이션 레이블에 의존하지 않고도 표준 벤치마크에서 우수한 정확도와 효율성을 달성했습니다.

실험 결과

저자들은 Cityscapes와 KITKI 데이터셋에서 Monodepth2, RA-Depth, DNA-Depth를 포함한 최첨단 방법들과 GeoDiffusion을 비교 평가했습니다.

• Cityscapes: GeoDiffusion은 AbsRel 0.105, SqRel 0.905, RMSE 5.750을 달성하여 이전의 자기 지도 모델들(예: RA-Depth는 AbsRel 0.111, RMSE 5.791)을 능가했습니다. 정성적 결과는 동적 객체에 대한 개선된 정확도를 보여주었습니다.
• KITTI: 이 방법은 AbsRel 0.090, SqRel 0.609, RMSE 4.180을 달성하여 선도적인 방법인 RA-Depth(AbsRel 0.096, RMSE 4.216)를 넘어섰습니다.
• 효율성: 모델은 약 760만 개의 파라미터를 포함하고 있으며, 이는 RA-Depth(9.98M) 및 Monodepth2(14.3M)보다 더 컴팩트합니다. RTX 3090에서의 추론 속도는 프레임당 약 9.2 ms로, 실시간 애플리케이션에 적합함을 나타냅니다.
• 절제 연구 (Ablation Studies): 실험을 통해 강건한 의사 깊이 구축(RPC), 변별적 사전 정보 강화(DPE), 지식 증류($L_{KD}$), 그리고 광학적 손실($L_{PH}$)의 통합이 성능을 체계적으로 향상시키며, 전체 모델이 가장 우수한 지표를 낸다는 것을 확인했습니다.

의의 및 주장

본 논문은 GeoDiffusion이 확산 모델의 생성 및 디노이징 능력을 활용함으로써 동적 환경에서의 자기 지도 깊이 추정의 한계를 성공적으로 해결했다고 주장합니다. 교사-학생 증류 방식과 다중 뷰 일관성 필터링을 사용함으로써, 이 프레임워크는 값비싼 정답 깊이 레이블이나 보조 시맨틱/모션 주석 없이도 높은 정확도를 달성합니다.

저자들은 GeoDiffusion을 고도의 정확도, 구조적 견고함, 계산 효율성의 균형을 갖춘 자율 주행을 위한 3D 인지 기술의 중요한 진전으로 위치시킵 kind. 그러나 본 논문은 사전 학습된 교사로부터 얻은 의사 정답에 대한 의존도가 까다로운 조명이나 날씨 조건에서 편향을 유발하여 일반화에 영향을 미칠 수 있다는 한계를 겸허히 인정합니다. 향-후 연구는 이러한 의존도를 줄이고 동적 객체에 대한 견고성을 개선하는 데 집중할 것을 제안합니다.