Confidence-aware Monocular Depth Estimation for Minimally Invasive Surgery

이 논문은 내시경 영상의 잡음과 아티팩트로 인한 문제를 해결하고 예측 신뢰도를 정량화하기 위해, 교정된 신뢰도 목표, 신뢰도 인식 손실 함수, 추론 시 신뢰도 예측 헤드를 통합한 새로운 신뢰도 인식 단안 깊이 추정 프레임워크를 제안합니다.

핵심

🏥 배경: 수술실은 왜 위험할까요?

최소 침습 수술은 작은 구멍으로 내시경을 넣어 수술하는 방식입니다. 하지만 내시경 카메라가 보는 세계는 생각보다 혼란스럽습니다.

• 연기와 물기: 수술 중 나오는 연기나 피, 체액이 렌즈를 흐리게 만듭니다.
• 반사광: 조직이 젖어 있어 빛이 반사되면 눈이 부셔 사물이 잘 안 보입니다.
• 가려짐: 수술 도구가 화면을 가리거나, 카메라가 빠르게 움직여 흐릿해지기도 합니다.

기존의 AI 는 이런 '혼란스러운 상황'에서도 무조건 깊이를 추정하려고 노력하다가, 잘못된 판단을 내릴 확률이 높습니다. 마치 안개 낀 밤에 운전하면서 거리감을 재는 것과 비슷합니다.

💡 이 연구의 핵심 아이디어: "내가 얼마나 확신하는지 알려줘!"

이 논문은 단순히 "깊이가 여기다"라고 말하는 것을 넘어, **"이 부분은 내가 100% 확신하지만, 저 부분은 안개 때문에 50% 만 확신해"**라고 AI 가 스스로 판단할 수 있게 만들었습니다. 이를 **신뢰도 (Confidence)**라고 부릅니다.

이 기술은 크게 세 가지 단계로 작동합니다.

1. "여러 전문가에게 물어봐" (앙상블 신뢰도 추출)

• 비유: 한 명의 전문가에게만 물어보는 게 아니라, 5 명의 서로 다른 전문가에게 같은 사진을 보여주고 깊이를 재게 합니다.
• 원리: 5 명이 모두 "여기는 10cm"라고 말하면 AI 는 "아, 이 부분은 확실하구나 (신뢰도 높음)"라고 판단합니다. 하지만 5 명이 "10cm, 20cm, 5cm..."라고 제각각 말하면 AI 는 "이 부분은 연기나 반사 때문에看不清 (안 보인다), 믿을 수 없구나 (신뢰도 낮음)"라고 판단합니다.
• 결과: 이 차이를 계산해서, 어떤 부분은 믿고, 어떤 부분은 의심해야 하는지 지도 (맵) 로 만듭니다.

2. "신뢰할 수 있는 부분만 집중해서 공부해" (신뢰도 인식 손실 함수)

• 비유: 학생이 시험을 공부할 때, 정답이 확실한 문제는 열심히 풀고, 문제 자체가 흐릿하거나 오류가 있는 문제는 과감하게 건너뛰는 것과 같습니다.
• 원리: 기존 AI 는 흐릿한 부분 (연기, 반사) 에서도 억지로 정답을 맞추려고 노력하다가 오히려 망가졌습니다. 하지만 이 새로운 방법은 "신뢰도가 낮은 부분"은 학습에 비중을 적게 주고, "신뢰도가 높은 부분"에 집중하도록 훈련시킵니다.
• 효과: AI 가 헛된 정보에 속지 않고, 확실한 정보만 바탕으로 더 똑똑해집니다.

3. "수술 중에도 스스로 판단하게 해" (추론 시 신뢰도 예측)

• 비유: 운전할 때 "이 길은 안전해"라고 말해주는 내비게이션이 아니라, **"이 앞길은 안개가 끼어서 위험하니 조심해"**라고 경고하는 내비게이션입니다.
• 원리: 수술 중 AI 는 깊이를 추정할 때, 동시에 **"이 깊이에 대한 내 확신은 80% 입니다"**라는 숫자를 함께 출력합니다.
• 효과: 수술 로봇이나 의사는 "이 부분은 AI 가 확신이 없으니, 수동으로 확인하거나 다른 방법을 쓰자"라고 판단하여 환자의 안전을 지킬 수 있습니다.

📊 결과: 얼마나 좋아졌나요?

이 방법을 실험해 보니 다음과 같은 결과가 나왔습니다.

• 정확도 향상: 특히 연기나 반사가 심한 어려운 상황 (StereoKP 데이터셋) 에서 깊이를 재는 정확도가 약 8% 향상되었습니다.
• 안전성: AI 가 "나는 모르겠다"라고 말하는 구간을 정확히 찾아내어, 위험한 실수를 미리 방지할 수 있게 되었습니다.

🎯 결론

이 연구는 AI 에게 "무조건 정답을 맞추는 것"보다 "언제 정답을 믿을지 아는 것"이 더 중요하다는 점을 증명했습니다.

마치 숙련된 외과 의사가 "이 부분은 잘 안 보이니 조심해야겠다"라고 직관적으로 판단하는 것처럼, AI 도 수술 중 혼란스러운 상황에서 스스로의 한계를 인정하고 신뢰할 수 있는 정보만 제공함으로써, 수술의 안전성과 정확성을 높이는 데 큰 기여를 할 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최소 침습 수술 (MIS) 에서 3D 공간 이해를 위해 컴퓨터 비전 기술, 특히 단안 깊이 추정 (Monocular Depth Estimation, MDE) 이 수술 내비게이션, 자율 조직 조작, 안전 모니터링 등에 필수적입니다.
• 문제점:
  • 영상 품질 저하: 내시경 영상은 연기가 발생하거나, 반사광 (specular reflections), 흐림 (blur), 가려짐 (occlusions), 조명 변화 등 다양한 노이즈와 아티팩트에 노출되어 있습니다. 이러한 요소들은 기존 MDE 모델의 정확도를 크게 떨어뜨립니다.
  • 신뢰도 부재: 현재 대부분의 MDE 모델은 깊이 값만 출력할 뿐, 해당 예측이 얼마나 신뢰할 수 있는지 (Confidence) 에 대한 정보를 제공하지 않습니다. 수술 환경에서는 낮은 평균 오차보다 '언제 예측이 불확실한지'를 아는 것이 환자 안전과 수술 오류 방지에 더 중요합니다.

2. 제안 방법론 (Methodology)

저자들은 신뢰도 인식 (Confidence-aware) MDE 프레임워크를 제안하며, 이는 크게 세 가지 핵심 단계로 구성됩니다 (Fig. 2 참조).

A. 앙상블 기반 깊이 신뢰도 추정 (Ensemble-based Depth Confidence Estimation)

• 데이터 생성: 다양한 무작위 시드로 미세 조정 (fine-tuning) 된 스테레오 매칭 모델들의 앙상블 (Ensemble) 을 사용하여 스테레오 영상 프레임에서 불변도 (disparity) 맵을 생성합니다.
• 신뢰도 계산: 앙상블 내 K 개의 모델이 예측한 불변도 값들의 분산 (variance) 을 계산합니다.
  • 분산이 크면 (모델 간 예측 불일치) = 노이즈가 많거나 불확실한 영역 $\rightarrow$ 낮은 신뢰도.
  • 분산이 작으면 (모델 간 예측 일치) = 명확한 영역 $\rightarrow$ 높은 신뢰도.
• 확률 변환: 계산된 분산을 시그모이드 함수 형태의 식 (Eq. 1) 을 통해 0 에서 1 사이의 픽셀 단위 신뢰도 확률 ($P_c$) 로 변환합니다.

B. 신뢰도 인식 손실 함수 (Confidence-aware Loss)

• 학습 전략: 기존 MDE 모델 (DepthAnything v1-Base) 을 학습할 때, 위에서 생성된 픽셀 단위 신뢰도 지도를 가중치로 활용합니다.
• 손실 함수: 전체 손실 ($L_{total}$) 은 신뢰도 가중치가 적용된 세 가지 손실 함수 (Scale-invariant Logarithmic Loss, Gradient Matching Loss, Edge-aware Smoothness Loss) 의 합입니다.
  • 수식: $L_{conf} = \frac{1}{N} \sum P_c(i) \cdot l_i$
  • 효과: 신뢰도가 높은 픽셀은 학습에 큰 영향을 미치고, 노이즈가 많거나 불확실한 픽셀의 영향력을 줄여 모델이 신뢰할 수 있는 영역에 집중하도록 유도합니다.

C. 추론 시 신뢰도 예측 헤드 (Inference-time Confidence Head)

• 모델 구조: MDE 디코더에 경량화된 신뢰도 예측 헤드를 추가합니다 (3x3 Conv + ReLU + 1x1 Conv).
• 기능: 추론 (Inference) 단계에서 깊이 값과 함께 픽셀 단위 신뢰도 지도를 동시에 출력할 수 있게 합니다. 이는 수술 중 실시간으로 어느 영역의 깊이 정보가 신뢰할 수 있는지 판단하는 데 활용됩니다.

3. 주요 기여 (Key Contributions)

1. 신뢰도 지도 생성: 스테레오 매칭 모델 앙상블의 분산을 활용하여 연속적인 픽셀 단위 깊이 신뢰도 지도를 생성하고, 이를 확률로 변환하는 새로운 함수를 도입했습니다.
2. 신뢰도 인식 손실 (Confidence-aware Loss): 학습 과정에서 신뢰도 지도를 가중치로 사용하여, 신뢰할 수 없는 영역의 영향을 억제하고 신뢰할 수 있는 영역의 학습을 강화하는 새로운 손실 함수를 제안했습니다.
3. 추론 시 신뢰도 출력: 경량 헤드를 통해 추론 시 깊이와 함께 신뢰도 맵을 출력할 수 있게 하여, 임상 적용 시 예측의 신뢰성을 평가하고 위험을 완화할 수 있는 기반을 마련했습니다.

4. 실험 결과 (Results)

연구진은 내부 데이터셋 (StereoKP, MicroCT-SE, MicroCT-PK) 과 공개 데이터셋 (Hamlyn, DaVinci) 을 통해 광범위한 실험을 수행했습니다.

• 성능 향상 (StereoKP 데이터셋):
  • 가장 노이즈가 많고 아티팩트가 심한 임상/전임상 데이터셋인 StereoKP 에서 기존 베이스라인 (DepthAnything v1-Base) 대비 밀도 깊이 추정 정확도가 약 8% 향상되었습니다.
  • MAE (평균 절대 오차): 2.04mm $\rightarrow$ 1.79mm 로 감소.
  • Acc@2mm (2mm 이내 정확도): 72.4% $\rightarrow$ 77.9% 로 증가.
  • ARE (상대 오차): 12.41% $\rightarrow$ 8.86% 로 감소.
  • $\delta_1$ (1.25 배 이내 정확도): 85.83% $\rightarrow$ 94.14% 로 증가.
• 다른 데이터셋: MicroCT(실험실 환경) 에서는 미세한 개선을 보였으며, Hamlyn 및 DaVinci(공개 임상 데이터) 에서는 일관된 개선을 보였습니다. 특히 노이즈가 제거된 데이터보다는 노이즈가 포함된 실제 환경에서 신뢰도 기반 학습의 효과가 두드러졌습니다.
• 정성적 평가: 가려짐, 반사광, 모호한 질감이 있는 영역에서 제안된 모델이 베이스라인보다 더 안정적이고 일관된 깊이 추정을 제공함을 시각적으로 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 신뢰성 확보: 이 프레임워크는 수술 중 발생하는 다양한 노이즈와 아티팩트 문제를 해결하여 MDE 모델의 정확도를 높일 뿐만 아니라, '예측의 신뢰도'를 정량화할 수 있게 합니다.
• 안전성 강화: 신뢰도 지도를 통해 불확실한 영역을 식별함으로써, 수술 내비게이션이나 자율 조작 시스템이 위험한 상황에서 결정을 내리는 것을 방지하고 환자 안전을 보장하는 데 기여합니다.
• 범용성: 다양한 내시경 환경 (전임상, 임상, 실험실) 에서 일관된 성능 향상을 보여주어, 컴퓨터 지원 최소 침습 수술 (CA-MIS) 의 실용성을 높이는 중요한 기술로 평가됩니다.

요약하자면, 이 논문은 앙상블 학습을 통한 신뢰도 라벨링과 신뢰도 가중 학습을 결합하여, 노이즈가 많은 수술 환경에서도 정확하고 신뢰할 수 있는 3D 깊이 정보를 제공하는 새로운 MDE 패러다임을 제시했습니다.