PolypVision: A Three-Stage Hierarchical Deep Learning Framework for Classification and Segmentation of Colorectal Polyps

탐정의 도구 상자: 장 속으로의 여정

당신의 몸을 거대하고 구불구불한 도시라고 상상해 보세요. 그 도시 안에서 대장은 길고 어두운 터널과 같습니다. 때때로 이 터널 벽에는 폴립(용종)이라고 불리는 작은 혹들이 자라나기도 합니다. 대부분의 경우, 이 혹들은 정원의 평범한 잡초처럼 해롭지 않습니다. 하지만 어떤 것들은 훨씬 더 위험한 존재, 즉 평범한 잡초가 가시 돋친 덩굴로 변하는 것처럼 아주 교활한 말썽꾸러기가 될 수 있습니다. 의사들의 큰 과제는 이 혹들이 문제를 일으키기 전에, 어떤 것이 '잡초'이고 어떤 것이 '덩굴'인지 파악하여 조기에 발견하는 것입니다.

이를 위해 의사들은 길고 유연한 튜브(내시경)에 달린 특수 카메라를 사용하여 터널 내부의 사진을 찍습니다. 하지만 수천 장의 사진을 일일이 살펴보는 것은 매우 힘든 작업이며, 전문가인 의사들조차 때로는 보고 있는 것이 무엇인지에 대해 의견이 갈릴 수 있습니다. 여기서 "딥러닝(deep learning)"이라는 도구를 가진 컴퓨터 과학이 등장합니다. 딥러닝을 수백만 장의 사진을 공부한 아주 똑똑한 학생이라고 생각해보세요. 이 학생은 인간보다 훨씬 빠르게 형태나 피부의 질감 같은 패턴을 인식하는 법을 배웁니다. 목표는 의사를 대체하는 것이 아니라, 지치지 않고 놓치기 쉬운 미세한 디테일까지 잡아낼 수 있는 고성능 기술 비서를 제공하는 것입니다.

PolypVision을 만나보세요: 3단계 탐정단

이 논문에서 연구진은 PolypVision이라는 새로운 컴퓨터 프로그램을 소개합니다. PolypVision은 대장 폴립의 미스터리를 해결하기 위해 설계된 3단계 탐정단이라고 생각하면 됩니다. 단순히 사진을 보고 추측하는 대신, 이 탐정단은 특정 순서에 따라 움직이며 한 단계에서 다음 단계로 단서를 전달하여 전체 이야기를 완성합니다.

1단계: 문지기 (문제가 있는가?)
EfficientNetV2-M이라는 스마트한 두뇌를 기반으로 구축된 첫 번째 탐정은 이미지를 보고 다음과 같은 간단한 질문을 던집니다. "이것은 해롭지 않은 혹(hyperplastic)인가, 아니면 위험한 혹(adenomatous)인가?" 하지만 이 탐정은 매우 예리합니다. 결정을 내리는 동안, 혹의 모양과 미세한 표면 패턴(Paris 및 JNet 분류법으로 알려짐)도 함께 설명합니다. 희귀한 사례 때문에 혼란을 겪지 않도록, 이 탐정은 Focal Loss라는 특별한 기술을 사용합니다. 이는 컴퓨터에게 "까다롭고 희귀한 혹들에 더 주의를 기울여!"라고 말하는 것과 같습니다.

2단계: 외곽선 그리기 (어디까지인가?)
첫 번째 탐정이 "네, 이것은 위험한 혹입니다"라고 말하면, 두 번째 탐정이 업무를 이어받습니다. 이 탐정은 **UNet++**라는 도구를 사용하여 픽셀 단위로 혹의 완벽한 외곽선을 그립니다. 지도 위에 레이저 포인터로 모양을 따라 그리는 것을 상상해 보세요. 그것이 바로 이 단계가 하는 일입니다. 이 단계는 혹이 정확히 어디서 시작해서 어디서 끝나는지를 파악합니다. 하지만 여기서 멈추지 않습니다! 방금 그려낸 크기와 모양을 바탕으로, 이 탐정은 단순한 냉 스네어(cold snare), 표준 제거법, 또는 더 발전된 기술 중 어떤 방식으로 제거하는 것이 가장 좋을지 제안합니다. 이 탐정은 첫 번째 탐정의 노트를 바탕으로 학습했기 때문에, 자신이 보고 있는 것이 어떤 종류의 혹인지 이미 알고 있습니다.

3단계: 하위 분류기 (어떤 종류의 말썽꾸러기인가?)
혹이 위험한 것으로 확인되면 세 번째 탐정이 투입됩니다. 이 탐정은 줌을 당겨 위험한 혹들을 **관상(tubular), 관상융모(tubulovillous), 또는 융모(villous)**라는 세 가지 특정 가족으로 분류합니다. 이것들을 서로 다른 품종의 강아지라고 생각해보세요. 모두 강아지처럼 보이지만, 어떤 품종은 더 많은 문제를 일으킬 가능성이 높습니다. 이 탐정은 이전 단계에서 얻은 지식을 활용하여 매우 정밀한 추측을 내놓습니다. 더 잘 학습할 수 있도록 연구팀은 MixUp이라는 기술을 사용했는데, 이는 두 개의 서로 다른 사진을 혼합하여 새로운 학습 사례를 만드는 것으로, 컴퓨터가 혹의 모습이 조금씩 다르더라도 여전히 같은 유형임을 이해하도록 돕습니다.

연구 결과는 어떠했나요?

연구진은 공개된 세 가지 데이터셋(PolypGen, Kvasir-SEG, CVC-ClinicDB)을 사용하여 PolypVision을 테스트했습니다. 결과는 인상적이었습니다.

• 엄청난 정확도: 프레임을 분류하는 데 있어 PolypVision은 약 0.99의 AUC를 달st했습니다. 컴퓨터 테스트의 세계에서 이는 매우 어려운 시험에서 99%의 점수를 받은 것과 같습니다. PolypVision은 현재 사용 가능한 최고 수준의 방법들과 대등하거나 오히려 더 뛰어난 성능을 보였습니다.
• 훌륭한 탐지 능력: Kvasir-SEG 데이터셋에서 PolypVision은 94.4% mAP@50의 점수로 폴립을 찾아내고 정확하게 식별했습니다. 이는 혹을 찾아내고 그 주변에 정확한 상자를 그리는 능력이 매우 뛰어났음을 의미합니다.
• 무엇을 보고 있는지 파악함: 연구팀은 컴퓨터가 결정을 내릴 때 어디를 "보고" 있었는지 확인하기 위해 Grad-CAM이라는 도구를 사용했습니다. 히트맵(heatmap)을 통해 컴퓨터가 무작위 부분이 아닌 실제 폴립과 그 질감에 집중하고 있음을 보여주었습니다. 다만, 컴퓨터가 실수를 했을 때는 때때로 엉뚱한 영역을 보고 있었다는 점도 발견했으며, 이는 향후 개선을 위한 중요한 단서가 됩니다.

이것이 왜 중요한가요?

PolypVision의 가장 흥고한 점은 작동하기 위해 특수한 카메라가 필요하지 않다는 것입니다. 이 프로그램은 **기기 독립적(device-independent)**입니다. 즉, 특정 하드웨어에 맞춰 다시 조정할 필요 없이 거의 모든 표준 내시경의 사진을 분석할 수 있습니다.

연구진은 이 도구를 https://polypvision.com에서 누구나 사용할 수 있는 무료 웹 애플리케이션으로 공개했습니다. 연구진은 각 단계가 이전 단계의 결과를 바탕으로 구축되는 이 "계층적(hierarchical)" 접근 방식이 폴립을 분석하는 복잡한 작업을 처리하는 강력한 방법이라고 제안합니다. 이 시스템은 매우 유망하지만, 저자들은 실제 병원에서 새로운 환자들을 대상으로 테스트하여 모든 상황에서 완벽하게 작동하는지 증명하는 과정이 여전히 필요하다고 신중하게 덧붙였습니다. 현재로서는, 이 도구는 의사들이 화면 앞에서 편안하게 문제를 조기에 발견할 수 있도록 돕는 강력하고 무료이며 매우 정확한 조력자입니다.