기술 요약: FlexDepth – 자기지도 학습 기반 단안 깊이 추정을 위한 유연한 스케일 기반 모델 제품군

1. 문제 정의

자기지도 학습 기반 단안 깊이 추정(Self-Supervised Monocular Depth Estimation, MDE)은 정밀한 정답(ground-truth) 깊이 레이블 없이도 수행할 수 있다는 점에서 자율 주행 및 로보틱스 분야에 매우 중요합니다. 그러나 기존 방식들은 복잡한 주행 환경에서 다음과 같은 중대한 한계에 직면해 있습니다:

• 스케일과 강건성 간의 트레이드오프: 대부분의 경량 모델은 단일 스케일 설계나 단순화된 디코더에 의존하여, 동적 장면(예: 움직이는 차량, 보행자)에서의 성능 저하와 객체 경계에서의 구조적 충실도 저하를 겪습니다.
• 동적 객체 처리의 복잡성: 동적 객체를 처리하도록 설계된 방법들은 과도한 복잡성, 보조 작업(예: 광학 흐름, 시맨틱 세그멘테이션), 또는 무거운 백본(예: Vision Transformer)을 도입하며, 이는 자원 제한적인 엣지 장치에 부적합하게 만듭니다.
• 파운데이션 모델의 한계: 지도 학습 기반의 파운데이션 모델(예: Depth Anything V2)은 강력한 제로샷 일반화 성능을 제공하지만, 방대한 데이터셋에 대한 의존도와 무거운 계산 요구량으로 인해 실시간 엣지 기반 자동차 시나리오에 배포하기 어렵습니다.

핵적 과제는 경량 자기지도 모델과 대규모 지도 학습 모델 사이의 강건성 격차를 줄이면서도, 데이터 효율성과 엣지 하드웨어에서의 배포 가능성을 어떻게 유지하느냐 하는 것입니다.

2. 방법론

저자들은 역동적인 주행 시나리오에 최적화된 스케일 기반 자기지도 MDE 모델 제품군인 FlexDepth를 제안합니다. 이 아키텍처는 세 가지 주요 혁신으로 구성됩니다:

A. 스케일 기반 디코더 (Scale-Driven Decoder, SDD)

고정된 파이프라인(pre-convolution $\to$ upsampling $\to$ concatenation)을 사용하는 전통적인 디코더와 달리, FlexDepth는 모델의 스케일(Nano, Small, Medium, Large, X-Large)에 따라 구성 요소를 적응적으로 선택하는 디코더를 도입합니다.

• Post-Convolution 설계: 저자들은 전역적 시맨틱 정보의 비가역적인 손실을 방지하기 위해 pre-convolution 단계를 제거했습니다. 대신, post-convolution ($C$), upsampling ($U$), 그리고 예측 헤드 ($P$)에 집중합니다.
  • 소형 스케일 (Nano/Small): 그래디언트 흐름의 안정성을 보장하기 위해 **고효율 보틀넥 (High-Efficiency Bottlenecks, HEB)**을 사용하며 전통적인 예측 헤드 순서를 따릅니다.
  • 대형 스케일 (Medium/X-Large): 미세한 국부 특징 캡처를 위해 Cross Stage Partial (CSP) 구조를 갖춘 **고성능 보틀넥 (High-Performance Bottlenecks, HPB)**을 사용하며, 고채널 특징 일관성을 활용하기 위해 **역전된 예측 헤드 (inverted prediction head, upsampling 후 prediction 수행)**를 사용합니다.
• 동적 업샘플링 (Dynamic Upsampling, $U$): 표준 바이리니어 보간법을 오프셋 생성과 동적 리샘플링의 2단계 프로세스로 대체합니다. 컨볼루션 레이어가 시맨틱 콘텐츠를 기반으로 오프셋($\Delta P$)을 예측하여, 모델이 특징 맵에서 최적의 위치를 적응적으로 샘플링할 수 있게 함으로써 더 선명한 객체 경계를 생성합니다.

B. 2단계 정적-동적 분리 학습 (Two-Stage Static-Dynamic Decoupled Training)

외부 사전 정보(prior)에 의존하지 않고 움직이는 객체로 인한 불안정성을 해결하기 위해, FlexDepth는 2단계 학습 전략을 채택합니다.

1. 1단계 (결합 최적화): 표준 광학 재투영 손실(photometric reprojection loss), 최소 재투록 손실(minimum reprojection loss), 그리고 엣지 인지 평활도 손실(edge-aware smoothness loss)을 사용하여 깊이 예측 네트워크와 PoseNet(ResNet-18 기반)을 동시에 학습시킵니다.
2. 2단계 (동적 정교화): 동적 영역은 정적 배경에 비해 초기 및 후기 학습 에포크 간의 예측 불안정성(분산)이 높다는 관찰 결과를 활용합니다.
   • 1단계의 초기 및 최종 에포크의 디스패리티 맵(disparity maps)을 비교하여 **정적-동적 분리 마스크 ($M$)**를 생성합니다.
   • 마스크는 고정된 임계값이 아닌 특징 진화(feature evolution)를 기반으로 동적 객체와 정적 배경을 구분하는 적응형 임계 함수 $g(\phi(f_{si}, f_{sl}))$에 의해 결정됩니다.
   • 깊이 네트워크는 마스크ed 정규 분포 손실(masked normal distribution loss)과 기하학적 깊이 평활화(geometric depth smoothing)를 사용하여 이 마스크와 함께 재학습되며, 이를 통해 동적 노이즈를 정적 장면 학습으로부터 효과적으로 분리합니다.

C. 자기지도 학습 파이프라인

모델은 광학 일관성(photometric consistency)을 사용하여 라벨이 없는 비디오 시퀀스만으로 전체 학습됩니다.

• 손실 함수: 광학 오차($L_p$), 최소 재투영 손실($L_r$), 엣지 인지 평활도($L_{smooth}$)를 결합하며, 2단계에서는 마스크드 정규 분포 손실($L_m$)과 기하학적 깊이 평활화($L_{GDS}$)를 추가로 사용합니다.
• 보조 데이터 없음: 이 방법은 시맨틱 레이블, 광학 흐름, 또는 의사 깊이 맵(pseudo-depth maps) 없이 작동합니다.

3. 주요 기여

1. FlexDepth 제품군: 정확도와 효율성의 트레이드오프를 체계적으로 연구하여, 최소한의 계산 오버헤드로 임의의 스케일에서 최첨단(SOTA) 성능을 달는 확장 가능한 모델 제품군(Nano부터 X-Large까지)을 제시합니다.
2. 스케일 기반 디코더 (SDD): 모델 크기에 따라 보틀넥 유형(HEB vs. HPB)과 업샘플링 전략을 동적으로 선택하여 실시간 추론과 고정밀 깊이 매핑 사이의 균형을 맞추는 새로운 디코더 아키텍처를 제안합니다.
3. 정적-동적 분리 학습: 학습 불안정성에서 유도된 적응형 마스크를 사용하여 동적 객체를 정적 배경으로부터 격리하는 2단계 전략을 통해, 추가적인 추론 비용이나 보조 입력 없이도 동적 환경에서의 강건성을 향상시킵니다.

4. 실험 결과

실험은 KITKI, Cityscapes, Make3D(제로샷 일반화용) 데이터셋에서 수행되었습니다.

• 성능 대 효율성:
  • Flex-Nano: 단 0.7 GFLOPs를 소모하며 모바일 플랫폼(Snapdragon 8 Elite)에서 37.6 FPS를 달성하였으며, Lite-Mono의 Tiny 및 Small 변체보다 높은 정확도를 보이면서도 훨씬 가볍습니다.
  • Flex-X-Large: 24.6 GFLOPs로 KITTI 및 Cityscapes에서 새로운 SOTA를 기록하였으며, 더 무거운 모델인 MonoVit(59.7 GFLOPs) 및 DSI-MonoViT를 능가했습니다.
• 동적 장면 강건성: Cityscapes에서 Flex-X-Large는 보조 단서(예: ProDepth, DSI-MonoViT)를 사용하는 방법들에도 불구하고, 추가 정보 없이도 동적 영역에서 우수한 정확도(Abs Rel 0.091)를 달성했습니다.
• 제로샷 일반화: KITTI에서 학습된 모델은 Make3D 데이터셋으로의 강력한 전이성을 보여주며, 특정 지표에서 대규모 파운데이션 모델의 성능에 근접하는 등 다른 자기지도 방식들을 능가했습니다.
• Ablation 연구: SDD 구성 요소(HPB, 동적 업샘플링, 역전된 헤드)와 2단계 학습 전략이 성능 향상에 핵심적임을 확인했습니다. 2단계를 제거하면 동적 장면에서의 성능이 급격히 저하됩니다.

5. 의의 및 주장

본 논문은 FlexDepth가 동적인 주행 환경에서 경량 효율성과 강건한 인지 능력 사이의 간극을 성공적으로 메웠다고 주장합니다.

• 배포 가능성: 최소한의 계산 비용(예: Nano의 경우 0.7 GFLOPs)으로 SOTA 성능을 달성함으로써, FlexDepth는 자원이 제한된 자동차 엣지 장치에서 신뢰할 수 있는 실시간 인지를 가능하게 합니다.
• 내재적 강건성: 본 방법은 복잡한 보조 파이프라인이나 무거운 백본에 의-존하는 대신, 아키텍처 설계와 학습 전략(정적-동적 분리)을 통해 동적 장면에 대한 강건한 처리가 가능하다는 것을 입증했습니다.
• 파운데이션 모델과의 상호 보완: 저자들은 대규모 파운데이션 모델(예: Depth Anything V2)의 우수한 제로샷 능력을 인정하면서도, 인도메인 자기지도 학습(FlexDepth와 같은)이 낮은 자원 점유율과 특정 주행 맥락에서의 대등하거나 우월한 정확도를 바탕으로 엣지 배포에 있어 실질적인 이점을 제공한다고 주장합니다.

한계점: 저자들은 FlexDepth가 주행 인지에 특화되어 설계되었으므로, 불규칙한 질감과 근거리 폐쇄(occlusion)가 존재하는 실내 환경에 대한 적용은 제한적일 수 있음을 명시했습니다.