3D Consistency Optimization for Self-Supervised Monocular Video Depth Estimation

기술 요약: 자기 지도 학습 기반 단안 비디오 깊이 추정을 위한 3D 일관성 최적화

문제 정의
신뢰할 수 있는 단안 비디오 깊이 추정은 내시경 항법을 위한 밀집 재구성, 로봇 보조 가이드, 수술 장면 이해를 포함한 다운스트림 3D 추론 및 체화된 AI(embodied AI)에 필수적입니다. 그러나 임상 현장 도입은 하드웨어 제약으로 인해 어려움을 겪고 있습니다. 대부분의 표준 내시경은 단안 방식이며 신뢰할 수 있는 카메라 포즈 트래킹 기능이 결여되어 있습니다. 기존의 자기 지도 학습 방식은 비디오 프레임을 독립적인 개체로 취급하거나 약한 시간적 정규화에 의존합니다. 이러한 방법들은 수술 장면의 전체적인 3D 기하학적 구조를 포착하지 못하여, 기하학적으로 일관되지 않은 예측, 심각한 프레임 간 드리프트(drift), 그리고 시간적 깜빡임(flickering) 현상을 초래합니다. 이러한 오류는 까다로운 내시경 조건에서 빠르게 누적되어, 다운스트림 3D 재구성의 신뢰성을 저해합니다.

방법론
저자들은 순차적인 비디오 깊이 추정을 제약 없는 다중 뷰 3D 재구성 문제로 재정의하는 패러다임의 전환을 제안합니다. 이 방법은 프레임을 개별적으로 처리하는 대신, 내시경 비디오를 공유된 3D 장면에 고정된 다중 뷰 관측값들의 집합으로 취급합니다. 이 접근 방식은 카메라 포즈의 정답(ground-truth) 없이도 최근 3D 파운데이션 모델의 기하학적 사전 지식(geometric priors)을 활용합니다.

프레임워크는 두 가지 주요 단계로 구성됩니다:

1. 3D 기하학 이해 네트워크 (3D Geometry Understanding Network):

   • 아키텍처: 이 네트워크는 공간-시간적 일관성을 강제하기 위해 프레임 수준의 intra-view 어텐션과 글로벌 inter-view 어텐션을 교차 사용하는 Alternating-Attention Transformer를 활용합니다. 입력 이미지는 DINOv2 특징을 사용하여 토큰화됩니다.
   • 장면 표현: 기저 장면은 3D 중심, 불투명도, 비등방성 공분산, 구형 조화 계수(spherical harmonic coefficients)로 매개변수화된 3D 가우시안 프리미티브($P$)의 집합으로 표현됩니다.
   • 헤드(Heads): 네트워크는 세 가지 특화된 헤드를 사용합니다:
     • 카메라 헤드(Camera Head): 프레임별 외부 포즈($T_t$)와 내부 파라미터($K$)를 예측합니다.
     • 깊이 헤드(Depth Head): 픽셀을 3D 공간으로 역투영(back-project)하여 가우시안 중심의 초기화를 제공하기 위한 초기 per-pixel 깊이 맵($D^{init}_t$)을 예측합니다.
     • 가우시안 헤드(Gaussian Head): 트랜스포머 특징을 얕은 CNN 외관 특징과 융합하여 나머지 가우시안 속성을 예측합니다.
   • 렌더링: 미분 가능한 가우시안 스플래팅 메커니즘은 3D 가우시안과 예측된 카메라 파라미터로부터 기대 RGB 이미지($\hat{I}_t$)와 깊이 맵($\hat{D}_t$)을 렌더링합니다.

2. 3D 일관성 최적화 프레임워크 (3D Consistency Optimization Framework):
   네트워크는 렌더링된 출력물에 대해 세 가지 시너지 효과가 있는 제약 조건을 부과함으로써 깊이 맵과 카메라 포즈를 공동으로 최적화하는 자기 지도 학습 목적 함수를 통해 훈련됩니다:

   • 이미지 수준의 광도 일관성 ($L_{rgb}$): 입력 프레임 $I_t$와 렌더링된 이미지 $\hat{I}_t$ 사이의 $L_1$ 차이를 최소화하여 외관 및 구조적 일관성을 보장합니다.
   • 세계 좌표계 기하학적 정렬 ($L_{3D}$): 이는 공간적 드리프트를 제거하는 핵심 메커니즘입니다. 프레임 $t$에서 렌더링된 깊이 점들을 통합된 세계 좌표계로 역투영한 후, 이를 인접한 프레임($t'$)으로 재투영합니다. 재투영된 깊이와 타겟 프레임의 렌더링된 깊이 사이의 일관성 손실을 계산하며, 이는 유효한 픽셀 세트(폐쇄 및 범위를 벗어난 투영 처리)에 대해서만 엄격하게 수행됩니다. 동적인 조직 움직임과 이상치(outliers)를 완화하기 위해 견고한 Huber 페널티가 적용됩니다.
   • 다중 스케일 시간적 그래디언트 일관성 ($L_{temp}$): 이 손실은 기하학적 불연속성을 유지하면서 인접 프레임 간의 공간적 그래디언트 절대 미스매치를 여러 스케일에 걸쳐 억제하여 시간적 깜빡임을 방지합니다.

최종 훈련 목적 함수는 이 세 가지 손실의 가중 합입니다. 결정적으로, 이 최적화는 엄격하게 훈련 시에만 적용되는 목적 함수입니다. 추론 시에는 테스트 타임 최적화 없이 단일 피드포워드 패스(feed-forward pass)를 통해 깊이를 예측합니다.

주요 기여

1. 새로운 패러다임: 저자들은 단안 비디오 깊이 추정을 포즈가 필요 없는 다중 뷰 3D 일관성 최적화 문제로 재구성하는 자기 지도 학습 프레임워크를 도입하여, 임상 내시경을 위한 3D 파운데이션 모델의 잠재력을 끌어올렸습니다.
2. 통합 최적화 전략: 명시적인 세계 좌표계 정렬과 다중 스케일 시간적 그래디언트 제약을 특징으로 하는 전략을 제안합니다. 이는 순차적인 프레임들을 전역적으로 일관된 기하학적 구조에 고정하여 프레임 간 3D 드리프트를 효과적으로 제거합니다.
3. 최첨단 성능(SOTA): 이 방법은 공개 벤치마크에서 우수한 정확도를 달eric하며, 제약 없는 임상 환경에 대한 강력한 제로샷 일반화 성능을 입증했습니다.

결과
프레임워크는 두 가지 공개 수술 데이터셋인 SCARED(정답 깊이 및 포즈 포함)와 Hamlyn(복잡한 생체 내 절차, 제로샷 평가용)에서 평가되었습니다.

• 정량적 성능: SCARED 데이터셋에서 제안된 방법은 모든 지표에서 최근 베이스라인(EndoDAC, VDA, EndoDAV, AnySplat)을 능가했습니다. 구체적으로, Absolute Relative Error(Abs Rel)를 0.100(AnySplat)에서 0.060으로, RMSE를 10.400에서 5.503으로 줄였으며, $\delta_1$ 정확도는 0.978을 달성했습니다.
• 제로샷 일반화: Hamlyn 데이터셋에서도 이 방법은 모든 지표에서 가장 좋은 결과를 얻었으며, Abs Rel을 0.299에서 0.108로, RMSE를 29.938에서 10.535로 감소시켰습니다.
• 정성적 분석: 시각적 비교 결과, 본 방법은 기존 방법들, 특히 큰 움직임이 있는 시나리오에서 관찰되는 비정상적인 오류와 시간적 불일치(깜빡임)를 피하고 장면 구조를 더 잘 보존함을 보여주었습니다.
• 절제 연구(Ablation Studies): 실험을 통해 세 가지 손실 구성 요소($L_{rgb}$, $L_{3D}$, $L_{temp}$)가 모두 상호 보완적인 이점을 제공함을 확인했습니다. 기하학적($L_{3D}$) 및 시간적($L_{temp}$) 제약의 포함은 베이스라인에 비해 공간적 정확도와 안정성을 크게 향상시켰습니다. 또한, 일관성 최적화 모듈을 서로 다른 백본(VDA 및 AnySplat)에 적용했을 때 일관되게 성능이 개선되었습니다.

의의
본 논문은 단안 비디오 깊이 추정을 견고한 다중 뷰 3D 재구성 문제로 변환함으로써, 제안된 프레임워크가 강력한 3D 파운데이션 모델과 포즈가 없는 임상 내시경 사이의 간극을 효과적으로 메운다고 주장합니다. 결과는 전역적 3D 일관성과 시간적 코히런스(coherence)를 명시적으로 강제하는 것이 실제 수술실에서 신뢰할 수 있는 깊이 추정을 가능하게 하며, 기존의 최첨단 방법들에 비해 기하학적 드리프트와 시간적 불안정성을 크게 줄인다는 것을 입증합니다. 이러한 발전은 밀집 재구성과 로봇 보조 가이드와 같은 최소 침습 수술의 더 신뢰할 수 있는 다운스트림 애플리케이션을 위한 길을 열어줍니다.