A Pixel-based Confidence Weighted Transfusion model for Colonoscopy and Colon Capsule Endoscopy image-based Polyp Segmentation

인체 내부의 대장 점막은 작고 종종 눈에 보이지 않는 혹인 용종이 형성될 수 있는 복잡한 풍경과 같습니다. 이러한 성장은 결국 암으로 변할 수 있기 때문에 매우 중요하며, 이로 인해 조기 발견은 생명을 구하는 결정적인 단계가 됩니다. 이러한 용종을 찾아내는 현재의 표준 방법은 대장 내시경이라 불리는 절차로, 의사가 카메라가 달린 유연한 튜브를 대장을 통해 안내하며 문제를 살피는 방식입니다. 하지만 이 과정은 매우 까다롭습니다. 의사들은 수천 장의 이미지를 스캔해야 하며, 종종 열악한 조명이나 카메라의 움직임 속에서 작업을 수행해야 하므로, 용종이 너무 작거나, 숨겨져 있거나, 배경과 섞여 버리는 등의 이유로 최대 3분의 1까지 놓칠 수 있습니다. 이를 돕기 위해 과학자들은 인공지능을 활용하여 컴퓨터가 이러한 성장을 인식하도록 가르치고 있습니다. 그러나 지금까지 구축된 도구들은 고질적인 문제에 직면해 있습니다. 즉, 이 도구들은 전체적인 맥락을 이해하는 데 서툴거나, 세부적인 디테일을 보는 데 서툰 등 두 가지 측면 사이의 균형을 잡는 데 어려움을 겪으며, 카메라의 종류나 이미지의 품질이 바뀔 때 제대로 작동하지 못합니다.

덴마크의 대학 및 병원 연구진은 이 특정 문제를 해결하기 위해 새로운 접근 방식을 개발했습니다. 그들은 두 가지 서로 다른 방식으로 대장을 바라보는 방식 사이의 가교 역할을 하도록 설계된 컴퓨터 모델을 만들었습니다. 한 가지 방식은 전통적인 대장 내시경을 사용하는 것으로, 이는 고해상도의 선명한 이미지를 제공합니다. 다른 하나는 대장 캡슐 내시경을 사용하는 것으로, 환자가 소화 기관을 통과하며 사진을 찍는 알약 크기의 카메라를 삼키는 방식인데, 이 이미지들은 종종 해상도가 낮고 제어되지 않은 조명 아래에서 촬영됩니다. 연구진은 한 종류의 이미지로 학습된 단일 컴퓨터 모델이 다른 종류의 이미지를 보여주었을 때 실패하는 경우가 많다는 점을 깨달았습니다. 실제로 고품질 광학 대장 내시경 이미지로 학습된 모델은 캡슐 데이터를 적용했을 때 성능을 유지하지 못했으며, 이는 두 영상 유형 간의 지식 전이 과정에 상당한 격차가 있음을 보여줍니다. 이를 해결하기 위해 그들은 두 개의 별도 모델의 강점을 결합한 시스템을 구축했습니다. 한 모델은 선명하고 상세한 내시경 이미지에 특화되어 있고, 다른 모델은 변화무쌍한 캡슐 카메라 이미지에 맞춰 조정되었습니다. 이 새로운 시스템은 두 모델에게 하나의 정답을 강요하는 대신, 이미지의 모든 픽셀을 하나하나 살펴보며 다음과 같은 간단한 질문을 던집니다. "어떤 모델이 이 특정 지점에 대해 더 확신을 가지고 있는가?" 그런 다음 모델의 답변을 혼합하여, 더 확실하다고 판단되는 모델에 더 많은 가중치를 부여합니다. 이를 통해 시스템은 선명한 고해상도 이미지를 보고 있든, 흐릿한 저해상도 이미지를 보고 있든 즉각적으로 적응할 수 있습니다.

연구진은 '트랜스퓨즈넷(TransFuseNet)'이라 명명한 이 새로운 시스템을 컴퓨터로 생성한 합성 이미지와 수천 건의 시술에서 얻은 실제 환자 데이터를 포함한 다양한 이미지 세트를 통해 테스트했습니다. 그 결과, 이 시스템은 다양한 조건에서도 용종의 형태와 크기를 정확하게 그려낼 수 있음을 발견했습니다. 실제 캡슐 내시경 이미지를 사용한 테스트에서 시스템은 약 82%의 사례에서 용종의 경계를 정확히 식별했으며, 표준 대장 내시경 이미지를 사용한 테스트에서는 거의 90%의 정확도에 도달했습니다. 결정적으로, 이 결합된 시스템은 영상 유형을 전환할 때 흔히 발생하는 성능 저하를 성공적으로 완화했습니다. 한 가지 양식(modality)으로 학습된 개별 모델들은 다른 양식으로 테스트했을 때 크게 고전했지만, 융합된 시스템은 각 픽셀에 대해 가장 신뢰할 수 있는 예측을 동적으로 선택함으로써 견고한 정확도를 유지했습니다. 또한 시스템은 모든 예측에 대해 확신의 척도를 제공하여, 컴퓨터가 확신하는 영역과 확신이 낮은 영역을 강조함으로써 의사들이 컴퓨터의 제안을 어느 정도까지 신뢰할 수 있는지 알 수 있도록 도왔습니다.

이 시스템은 단순히 용종을 찾는 것을 넘어, 용종을 측정하는 방법도 제공합니다. 감지된 성장물(용종)을 구성하는 픽패의 수를 계산함으로써, 소프트웨어는 용종의 상대적 크기를 추정할 수 있으며, 이는 용종이 위험한지를 결정하는 핵심 요소입니다. 연구진은 자신들의 모델이 실시간 비디오 피드에 맞춰 이미지를 처리할 수 있을 만큼 빠르다는 것을 보여주었는데, 초당 약 46프레임을 분석하며 이는 의사들이 영상을 검토하는 속도보다 빠릅니다. 이러한 속도는 이 도구가 시술 중에 실시간으로 사용되어, 절대 지치지 않는 '제2의 눈' 역할을 할 수 있음을 시사합니다. 이 연구는 국소적인 세부 사항과 이미지에 대한 폭넓은 이해를 결합하고, 매 순간 어떤 정보원을 신뢰할지 컴퓨터가 스스로 결정하게 함으로써, 암의 초기 징후를 포착하는 데 있어 더욱 신뢰할 수 있는 도구를 만드는 것이 가능하다는 것을 확인시켜 줍니다. 이 시스템은 의사를 대체하기 위한 것이 아니라, 놓치는 용종의 수를 줄여 대장암에 직면한 환자들에게 더 나은 치료 결과와 더 나은 예후를 가져다줄 수 있는 강력한 방법을 제시합니다.