Beyond Uncertainty: Generalizable Failure Monitoring for Surgical Segmentation under Acquisition Degradation

수술실에서 외과의는 안정적인 손놀림과 날카로운 눈에 의존하지만, 점점 더 체내를 볼 수 있는 소프트웨어에도 의존하고 있습니다. 현대의 컴퓨터 시스템은 환자 내부의 카메라로부터 전달되는 실시간 비디오 피드를 관찰하며, 수술 도구와 장기의 윤곽을 자동으로 그려내어 외과의가 위치를 추적하거나 기술을 평가하는 데 도움을 줄 수 있습니다. 이러한 시스템은 수천 시간의 선명하고 고품질인 영상으로 학습됩니다. 하지만 실제 수술은 무질서합니다. 조직을 소작할 때 발생하는 연기, 갑작스러운 조명 변화, 흐릿한 움직임, 또는 비디오 신호 자체의 압축 현상 등은 영상을 저하시킬 수 있습니다. 이런 일이 발생하면, 컴퓨터는 여전히 완벽해 보이는 윤곽을 자신 있게 그려낼 수 있지만, 정작 보고 있는 이미지는 너무 왜곡되어 정확하지 않을 수 있습니다. 이것은 '침묵의 실패(silent failure)'입니다. 시스템은 틀렸음에도 불구하고 자신이 틀렸다는 것을 알지 못하며, 화면을 지켜보는 인간에게 아무런 경고도 보내지 않습니다.

하노이에 위치한 빈유니버시티(VinUniversity)의 연구진은 이러한 침묵의 실수를 잡아낼 새로운 방법을 개발했습니다. 그들은 TCSR-Monitor라고 불리는 시스템을 만들었는데, 이는 수술 비디오를 감시하는 독립적인 감시자 역할을 합니다. 이 시스템은 컴퓨터 비전 모델을 수정하거나 다시 학습시키는 대신, 단순히 모델이 생성한 결과물을 관찰하고 이를 일련의 상식적인 규칙들과 대조하여 확인합니다. 이 시스템은 그려진 윤곽의 모양, 다음 비디오 프레임으로 넘어갈 때 얼마나 부드럽게 움직이는지, 그리고 이미지 자체의 품질을 살펴봅니다. 이러한 관찰 내용들을 모델 자체의 신뢰도 점수와 결합함으로써, 이 모니터는 원래의 컴퓨터 프로그램이 완벽하게 수행하고 있다고 주장하더라도 도구가 잘못 식별되었음을 포착할 수 있습니다. 연구진은 이를 실제 세계의 문제들인 블러(blur)나 노이즈를 모사하기 위해 인위적으로 저하시킨 대규모 수술 비디오 데이터셋을 통해 테스트했습니다. 그 결과, 이 새로운 시스템이 컴퓨터의 내부적인 목소리(신뢰도)에만 귀를 기울이는 것보다 형상과 움직임을 살펴보는 것이 중요하다는 것을 입증하며, 컴퓨터의 신뢰도만으로 판단할 때보다 이러한 실패를 훨씬 더 잘 감지해 낸다는 것을 발견했습니다.

연구진이 다룬 핵심 문제는 딥러닝 모델, 즉 이러한 수술 도구를 구동하는 모델들이 종종 과도하게 확신에 차 있다는 점입니다. 이미지가 흐릿하거나 어두울 때, 표준 모델은 자신이 옳다고 확신하며 수술 도구의 선명하고 깨끗한 윤곽을 여전히 출력할 수 있습니다. 현실 세계에서 이는 위험한데, 외과의가 잘못된 윤곽을 믿고 실수를 저지를 수 있기 때문입니다. 기존 방식들은 불확실성을 측정함으로써 이 문제를 해결하려 했습니다. 즉, 컴퓨터에게 "얼마나 확신합니까?"라고 묻는 것입니다. 만약 컴퓨터가 확신하지 못한다면 경보를 울리는 방식입니다. 하지만 연구진은 특정 유형의 이미지 저하 상황에서는 컴퓨터가 완전히 틀렸음에도 불구하고 여전히 고집스럽게 확신을 유지한다는 것을 발견했습니다. 새로운 접근 방식인 TCSR-Monitor는 컴퓨터가 확신하면서도 틀릴 수 있다는 점을 인정하며, 따라서 컴퓨터의 신뢰도에만 의존하는 것을 멈추고 비디오 자체의 증거를 살피기 시작합니다.

이 감시자를 구축하기 위해 연구진은 내부 작동 방식을 알 필요가 없는 시스템을 설계했습니다. 이것은 '포스트 혹(post-hoc)' 모니터로, 기존 모델의 가중치를 변경하거나 내부 코드에 접근할 필요 없이 그 위에 얹혀서 작동한다는 의미입니다. 이는 수술용 소프트웨어가 수정하거나 재학습할 수 없는 '블랙박스'인 병원 환경에서 매우 중요합니다. 이 시스템은 비디오를 프레임 단위로 관찰합니다. 각 이미지마다 22가지의 서로 다른 단서를 추출합니다. 이 단서 중 일부는 모델이 여러 가능성 사이에서 얼마나 흔들리는지와 같은 모델의 신뢰도에서 옵니다. 다른 일부는 윤곽의 모양에서 옵s다. 수술 도구는 흩어진 픽셀의 집합이 아니라 견고한 물체처럼 보여야 합니다. 또한 시스템은 도구가 어떻게 움직이는지도 확인합니다. 실제 비디오에서 도구는 부드럽게 움직이므로, 만약 윤곽이 한 프레임에서 다음 프레임으로 불규칙하게 튀어 오른다면 이는 문제가 발생했다는 신호입니다. 마지막으로, 시스템은 블러, 밝기, 대비를 확인하여 이미지 자체의 품질을 측정합니다.

연구진은 로봇 수술 녹화본이 포함된 EndoVis 2017이라는 데이터셋을 사용하여 시스템을 테스트했습니다. 그들은 이 비디오들을 가우시안 블러, 모션 블러, JPEG 압축을 포함한 여섯 가지 유형의 문제로, 다섯 가지 서로 다른 심각도 수준에서 의도적으로 손상시켰습니다. 그런 다음 모니터가 컴퓨터의 윤곽이 실제 도구와 충분히 일치하지 않는 순간, 즉 '실패'로 정의된 프레임을 예측하도록 했습니다. 시스템이 단순히 훈련된 특정 유형의 나쁜 이미지를 암기하는 것이 아니라 진정으로 실패를 포착하는 법을 배우고 있는지 확인하기 위해, 연구진은 엄격한 테스트 방법을 사용했습니다. 그들은 다섯 가지 유형의 이미지 손상에 대해 모니터를 훈련시킨 후, 한 번도 본 적 없는 여섯 번째 유형의 이미지로 테스트했습니다. 이는 학생에게 타이어 펑크, 깨진 앞 유리, 찌그러진 문을 보고 고장 난 자동차를 인식하도록 가르친 뒤, 바퀴가 빠진 자동차를 식별하게 하는 것과 유사합니다. 모니터는 성공적이었으며, 이는 모니터가 특정 결함을 암기한 것이 아니라 실패라는 일반적인 개념을 학습했음을 보여주었습니다.

결과는 컴퓨터의 신뢰도에만 의존하는 것이 충분하지 않다는 것을 보여주었습니다. 불확실성에 기반한 표준 방식들도 일부 오류를 찾아낼 수는 있었지만, 가장 위험한 '확신에 찬 실패'들을 많이 놓쳤습니다. 형상, 움직임, 이미지 품질를 신뢰도와 결합한 새로운 TCSR-Monitor는 이러한 기존 방식들보다 성능이 현저히 뛰어났습니다. 학습 과정에서 보지 못한 이미지에서의 실패를 식별해야 하는 테스트에서, 이 시스템은 불확별성 기반의 베이스라인 모델들보다 훨씬 더 자주 문제를 정확히 식별해 냈습니다. 또한 연구진은 시스템이 단순히 모든 흐릿한 이미지를 실패로 표시하는 것은 아닌지 확인하기 위해 특정 점검을 수행했습니다. 그들은 모니터가 컴퓨터가 여전히 정확한 상태에서의 흐릿한 이미지와, 컴퓨터가 실수를 저지른 상태에서의 흐릿한 이미지를 구분할 수 있음을 보여주었습니다. 이는 매우 중요한 차이입니다. 시스템이 단순히 "이미지가 나쁘다"라고 소리치는 것만으로는, 컴퓨터가 실제로 틀렸을 때를 구분하지 못한다면 유용하지 않기 때문입니다.

하지만 연구진은 이 시스템이 아직 즉각적인 임상 적용을 위해 완벽하지는 않다는 점을 주의 깊게 언급했습니다. 시스템이 실패를 성공적으로 식별해 냈지만, 오경보(false alarms)도 발생시켰습니다. 어떤 경우에는 이미지가 중간 정도 손상되었을 때, 시스템이 올바르게 그려진 윤곽의 약 40%를 실패로 표시하기도 했습니다. 이는 만약 오늘날 외과의가 이 경보 스트림에 의존한다면, 컴퓨터가 제 역할을 수행하고 있음에도 불구하고 경고로 인해 방해를 받을 수 있음을 의미합니다. 이를 해결하기 위해 팀은 몬드리안 컨포멀 캘리브레이션(Mondrian conformal calibration)이라는 통계적 기법을 사용했습니다. 이 방법은 이미지 저하 수준에 따라 경보의 민감도를 조정하여, 모든 유형의 문제에 걸쳐 놓치는 실패의 비율이 일정하게 유지되도록 합니다. 이는 안전성을 확보해주었지만, 오경보를 완전히 제거하지는 못했으며, 이는 모든 실수를 잡아내는 것과 지속적인 방해를 피하는 것 사이의 트레이드오프(trade-off)를 보여줍니다.

연구 또한 이 모니터링 시스템이 다른 종류의 수술용 컴퓨터와도 작동할 수 있는지 탐구했습니다. 연구진은 범용 비전 모델인 더 강력하고 새로운 모델 SAM2를 사용하여 테스트했습니다. 흥ered히게도, 이 특정 모델의 경우 단순한 불확실성 측정이 복잡한 새로운 모니터보다 더 효과적이었습니다. 이는 새로운 시스템이 모든 상황에서 작동하는 마법의 탄환은 아니며, 밑바탕이 되는 컴퓨터 모델이 틀렸음에도 불구하고 고집스럽게 확신을 가질 때 빛을 발하는 특화된 도구임을 시사합니다. 연구진은 자신들의 시스템이 학습한 특징들(형상과 움직임을 보는 것)을 새로운 모델로 전이할 수 있었지만, 해당 사례에서는 더 단순한 방식보다 성능이 뛰어나지는 않았다는 것을 발견했습니다. 이러한 뉘나스(nuance)는 중요합니다. 새로운 접근 방식의 가치는 모든 다른 방법들을 대체하는 능력이 아니라, 보지 못한 문제에 대한 일반화 능력과 컴퓨터가 확신하면서도 틀렸을 때의 강건함(robustness)에 있습니다.

궁극적으로, 이 연구는 수술용 AI를 더 안전하게 만들기 위한 신뢰할 수 있는 프레임워크를 제공합니다. 외부 관찰 레이어를 추가하여 출력의 형상, 움직임, 품질를 확인함으로써, 컴퓨터 스스로가 보지 못하는 오류를 잡아낼 수 있음을 입증했습니다. 연구진은 자신의 코드와 훈련된 구성들을 공개하여 다른 과학자들이 이 토대 위에 구축할 수 있도록 했습니다. 비록 실시간 수술실에서 사용하기 위해서는 오경보를 줄이는 정교화 작업이 더 필요하지만, 이 연구는 명확한 방향을 제시합니다. 이는 컴퓨터가 자신이 틀렸을 때를 알기를 바라는 것에서 벗어나, 컴퓨터가 스스로 옳다고 주장할 때조차 컴퓨터가 틀렸음을 알아챌 수 있는 시스템을 만드는 것으로 초점을 옮깁 만큼 중요한 진전입니다. 이는 수술이라는 고도의 긴장감이 흐르는 환경에서 디지털 조수가 신뢰할 수 있는 파트너로 남을 수 있도록 하는 필수적인 단계입니다.