Boosting Generalizable Depth Estimation in Endoscopy by Mixture of Lightweight Experts and Intrinsic Image Alignment

당신이 손전등 하나만을 가지고 어둡고 축축한 동굴을 탐험하고 있다고 상상해 보세요. 빛이 젖은 벽에 부딪혀 이상하게 반사되거나, 모퉁이를 돌 때마다 동굴의 모습이 달라진다면, 벽이 얼마나 멀리 떨어져 있는지 파악하기가 매우 어려워질 것입니다. 이것은 의사들이 최소 침습 수술을 할 때 직면하는 도전 과제와 정확히 일과 같습니다. 이 과정에서는 아주 작은 카메라(내시경)가 사용됩니다. 인체 내부는 매우 까다로운 환경입니다. 조직은 번들거리고, 빛은 무질서하게 반사될 수 있으며, 환자의 해부학적 구조는 저마다 다릅니다. 로봇과 외과의가 3D로 "볼" 수 있도록 돕기 위해, 과학자들은 **깊이 추정(depth estimation)**이라는 기술을 사용합니다. 이는 기본적으로 컴퓨터가 평면적인 사진만을 보고 사물이 얼마나 멀리 떨어져 있는지 추측하는 기술입니다. 컴퓨터는 자율주행 자동차와 같은 외부 세계에서는 이 기술에 능숙해지고 있지만, 조명이 매우 불규칙하고 질감이 독특한 인체 내부에서는 종종 혼란을 겪습니다.

이 논문은 카메라가 깊이를 더 잘 이해할 수 있도록 설계된 EndoMINI라는 새롭고 영리한 시스템을 소개합니다. 연구진은 두 가지 주요 비결을 사용하여 이 시스템을 구축했습니다. 첫째, 하나의 일반적인 뇌에 의존하는 대신 "전문가 팀"을 만들었습니다. 이는 마치 한 명의 교사가 모든 학생에게 모든 과목을 가르치려고 노력하는 대신, 수학, 미술, 역사 등 특정 수업에 가장 적합한 교사를 선택하는 스마트한 스위치가 있는 학교와 같습니다. 컴퓨터의 뇌에서 이는, 시스템이 반짝이는 간을 보고 있는지 혹은 둔탁한 장을 보고 있는지에 따라 즉각적으로 적절한 "전문가" 모드로 전환할 수 있음을 의미합니다. 둘째, 컴퓨터에게 눈부심을 무시하도록 가르쳤습니다. 당신이 창문에 비친 반사광을 피하기 위해 눈을 찌푸리는 것처럼, 이 시스템은 조직의 "색상"과 빛의 "번쩍임"을 분리하는 법을 배워, 빛이 아무리 요동치더라도 거리를 정확하게 측정할 수 있게 합니다.

연구팀은 SCARED라는 데이터셋을 포함한 여러 데이터셋을 통해 새로운 EndoMINI 시스템을 테스트했으며, 모델이 유사한 이미지로 학습되었을 때뿐만 아니라 완전히 새로운 영상을 보았을 때(이를 "제로샷(zero-shot)" 테스트라고 함)도 기존 방식보다 더 뛰어난 성능을 보였다는 것을 발견했습니다. 또한, 그들은 시스템이 카메라의 움직임을 파악하고, 사전에 알려주지 않아도 카메라 자체의 설정값을 예측할 수 있다는 점을 보여주었습니다. 이러한 결과는 전문화된 전문가들과 눈부심을 무시하는 방식의 결합을 통해, 시스템이 외과의에게 훨씬 더 명확한 3D 뷰를 제공하여 로봇 수술을 더 안전하고 정밀하게 만들 수 있음을 시사합니다.

문제점: 왜 내시경 깊이 추정이 까다로운가?

깊이 추정은 카메라로부터 물체가 얼마나 떨어져 있는지 파악하는 기술입니다. 외부 세계에서 컴퓨터는 이 분야에 상당히 능숙해졌지만, 인체 내부에서는 악몽과 같습니다. 논문은 두 가지 주요 악당을 지적합니다:

1. "번들거림" 문제: 체내 조직은 젖어 있고 반사성이 강합니다. 빛이 예측할 수 없는 방식으로 반사되어, 평평한 표면을 마치 튀어나온 부분이나 구멍처럼 보이게 만듭니다.
2. "매번 달라지는" 문제: 모든 환자는 서로 다르며, 심지어 동일한 환자의 신체 부위라도 서로 다르게 보일 수 있습니다. 한 종류의 조직을 인식하도록 학습된 모델은 다른 종류의 조직을 마주하면 완전히 혼란에 빠질 수 있습니다.

기존의 방법들도 이를 해결하려 노력했지만, 이러한 새로운 장면에 적응하거나 눈을 멀게 하는 강렬한 빛을 무시하는 데 어려움을 겪었습니다.

해결책: 전문가 팀과 눈부심 필터

저자들은 두 가지 혁신적인 접근 방식으로 이러한 문제를 해결하는 새로운 프레임워크인 EndoMINI를 제안합니다.

1. 저계수 전문가 혼합 (MiLoRE)
보통 한 명의 사서에게 도움을 요청해야 하는 도서관을 상상해 보세요. 만약 당신이 희귀한 책에 대해 묻는다면, 그 사서는 답을 모를 수도 있습니다. 이제, 특정 분야의 전문가를 정확히 호출할 줄 아는 똑똑한 로봇이 있는 도서관을 상상해 보세요. 당신이 역사에 대해 물으면 역사 전문가를 부르고, 과학에 대해 물으면 과학 전문가를 부르는 식입니다.

EndoMINI에서 컴퓨터는 "저계수 전문가 혼합(Mixture of Low-Rank Experts, MiLoRE)"을 사용합니다. 모든 것을 배우려고 하는 하나의 거대하고 경직된 뇌를 갖는 대신, 시스템에는 이미지를 보고 어떤 작은 전문화된 "전문가" 모듈을 활성화할지 결정하는 "라우터(router)"가 있습니다.

• 작동 원리: 이 시스템은 기존의 똑똑한 뇌에 작고 조절 가능한 "보조 바퀴" 층을 추가하는 것과 같은 기술인 LoRA(Low-Rank Adaptation)를 사용합니다. MiLoRE 시스템은 여러 개의 이러한 작은 전문가들을 가지고 있습니다. 카메라가 특정 유형의 조직을 포착하면, 라우터는 해당 장면을 처리하기에 가장 적합한 전문가(또는 전문가들의 조합)를 선택합니다.
• 결과: 이를 통해 모델은 처음부터 완전히 다시 학습할 필요 없이 다양한 내시경 장면들에 빠르게 적응할 수 있습니다. 이는 효율적이고 유연합니다.

2. 고유 이미지 정렬 (IIA)
이제 눈부심에 대해 이야기해 봅시다. 반짝이는 물체의 사진을 찍을 때, 밝은 점 때문에 물체의 실제 형태를 보기 어려워집니다. 논문은 물체의 "진정한 색상"과 빛의 "번쩍임"을 분리하는 방법을 소개합니다.

• 비유: 그림을 생각해 보세요. 물감 자체는 "반사율(reflectance, 조직의 실제 색상)"이고, 그 위에 비치는 빛은 "음영(shading)"입니다. 이 논문의 시스템은 이 두 가지를 분리하는 법을 배웁니다. 특수한 네트워크를 사용하여 이미지를 "반사율 맵(reflectance map, 조직이 실제로 어떻게 보이는지)"과 "음영 맵(shading map, 빛이 어디에 닿는지)"으로 분해합니다.
• 마법 같은 효과: 서로 다른 영상 프레임 간의 "반사율" 맵을 정렬함으로써, 시스템은 변화하는 빛에 방해받지 않고 깊이를 계산할 수 있습니다. 이는 본질적으로 "밝은 점은 무시하고, 그 아래의 실제 색상을 보라"고 말하는 것과 같습니다.

연구 결과

연구진은 SCARED, Hamlyn, SERV-CT라는 세 가지 데이터셋을 통해 EndoMINI를 테스트했습니다. 이 데이터셋들은 실제 로봇 수술 영상들을 포함하고 있습니다.

• 지도 학습 성능 (Supervised Performance): 정답이 알려진 상태에서 모델을 학습시킨 SCARED 데이터셋에서, EndoMINI는 기존의 최첨단 방식들을 모두 앞질렀습니다. 예를 들어, EndoMINI는 0.047의 **절대 상대 오차(Absolute Relative Error, RelAbs)**를 달em으로써, 그다음으로 우수한 방식인 EndoDAC의 0.052보다 낮은(더 좋은) 수치를 기록했습니다.
• 제로샷 성능 (Zero-Shot Performance): 이것이 진짜 시험대입니다. 모델은 SCARED 데이터셋으로 학습된 후, 추가 학습 없이 Hamlyn 및 SERV-CT 데이터셋에서 깊이를 추측하도록 요청되었습니다. EndoMINI는 여전히 최고 성능을 유지하며, 새로운 환경에서도 잘 일반화된다는 것을 보여주었습니다. Hamlyn 데이터셋에서 EndoMINi는 0.140의 RelAbs를 달성하여, 이전의 최고 기록인 0.143(DVSMono)을 넘어섰습니다.
• 자가 운동 및 카메라 설정 (Ego-Motion and Camera Settings): 시스템은 단순히 깊이를 추측하는 데 그치지 않고, 카메라가 어떻게 움직였는지(자차 운동)를 파악했을 뿐만 아니라, 사전에 제공되지 않은 카메라의 내부 설정값(내적 파라미터)까지 높은 정확도로 예측해 냈습니다.

왜 중요한가

논문은 전문가 팀(MiLoRE)과 눈부심을 무시하는 스마트한 방식(고유 이미지 정렬)을 결합함으로써, EndoMINI가 내시경 수술을 위한 훨씬 더 신뢰할 수 있는 3D 뷰를 생성한다고 결론짓습니다. 이것은 단순한 미세한 개선이 아닙니다. 로봇이 인체 내부의 세계를 인간 외과의가 바라는 것처럼 명확하게 볼 수 있게 함으로써, 로봇 수술을 더 안전하고 정밀하게 만드는 데 있어 중요한 진전입니다. 저자들은 이러한 고품질의 3D 인지 능력이 복잡한 해부학적 구조를 자신 있게 탐색할 수 있도록 도와, 최소 침습 수술의 판도를 바꿀 게임 체인저가 될 수 있다고 제안합니다.