Ensemble method of transfer learning Deep learning and vision transformer influencing explainable AI for Breast Cancer Prediction

당신이 아주 작고 알록달록한 세포 사진 속에 숨겨진 미스터리를 풀려는 탐정이라고 상상해 보세요. 이 사진들은 환자의 몸에서 채취한 것입니다. 그리고 이 미스터리는 바로 이것입니다: "이것은 무해한 혹(양성)인가, 아니면 위험한 침입자(악성)인가?" 이것이 유방암 진단의 세계입니다. 오랫동안 인간 탐정(의사)들은 현미경으로 이 이미지들을 들여다보며 눈을 가늘게 뜨고 관찰해야 했으며, 이는 매우 피로하고 때로는 까다로운 일이었습니다.

최근 컴퓨터 과학자들은 딥러닝을 사용하여 "디지털 탐정"을 구축했습니다. 하지만 여기에는 함정이 있습니다. 이 디지털 탐정들은 퍼즐을 풀 수는 있지만, 어떻게 풀었는지는 설명하기를 거부하는 천재들과 같습니다. 그들은 그저 "악성입니다"라고 말하고 끝내버립니다. 이는 의사들에게 신뢰할 수 있는 답변을 제공해야 하는 상황에서 매우 두려운 일입니다.

이 논문은 단순히 퍼즐을 푸는 것뿐만 아니라, 손전등을 비추어 자신이 정확히 어디에서 단서를 발견했는지 보여주는 새로운 디지털 탐정 팀을 소개합니다.

옛날 방식 vs. 새로운 팀

먼저, 연구진은 몇몇 솔로 탐정들을 시험해 보았습니다. 그들은 ResNet101, InceptionV3, Xception, InceptionResNetV2와 같은 유명한 컴퓨터 뇌 구조(architecture)를 사용했습니다. 이것들을 수백만 장의 다른 사진을 미리 공부한 개별 전문가라고 생각하면 됩니다. 그들은 뛰어나지만, 한계가 있습니다.

논문에 따르면 이 솔로 전문가들은 꽤 괜찮았지만, 특히 사진이 확대되거나 축소될 때(배율: 40x, 100x, 200x, 400x) 종종 혼란을 겪었습니다. 가장 뛰어난 솔로 전문가는 ResNet101이었으며, 40x 배율 수준에서 약 94.4%의 정확도를 기록했습니다. 이는 B+ 성적이지만, 의학에서는 A+를 원합니다.

"슈퍼 팀(앙상블)"의 힘

그래서 저자들은 다른 시도를 해보기로 했습니다. 한 명의 탐정 대신, 그들은 슈퍼 팀을 만들었습니다. 그들은 앞서 언급한 솔로 전문가들을 새로운 유형의 AI인 **비전 트랜스포머(Vision Transformer, ViT)**와 결합했습니다.

CNN(솔로 전문가)이 사진을 한 번에 작은 사각형 하나씩 살펴보는 사람과 같다면, 비전 트랜스포머는 전체 사진을 보고 서로 다른 부분들이 어떻게 연관되어 있는지 즉각적으로 이해하는 사람, 즉 나무뿐만 아니라 숲 전체를 동시에 보는 사람과 같습니다.

연구진은 "융합(fusion)" 모델, 구체적으로 ResNet101 + ViT를 만들었습니다. 그들은 단순히 추측한 것이 아니라, BreakHis 데이터셋에 있는 7,909장의 실제 의료 이미지를 사용하여 이 팀을 테스트했습니다.

결과는 어땠을까요? 슈퍼 팀은 압도적이었습니다.

• 40x 배율에서 팀은 **96.82%**의 정확도를 달성했습니다.
• 100x에서 **96.15%**에 도달했습니다.
• 200x에서 **96.45%**를 기록했습니다.
• 400x에서도 여전히 **95.60%**를 유지했습니다.

이 논문은 이 앙상블 전이 학습(Ensemble Transfer Learning, ETL) 방식이 솔로 모델을 단독으로 사용하는 것보다 훨-씬 더 낫다고 명시적으로 밝히고 있습니다. 논문은 단일 모델에 의존하는 것에 반대하며, 단일 모델은 "지나치게 자신만만"해지거나 팀이라면 잡아낼 수 있는 미세한 패턴을 놓칠 수 있다고 지적합니다.

손전등: AI를 설명 가능하게 만들기

이 부분이 가장 멋진 부분입니다. 논문은 단순히 높은 점수를 원하는 것이 아니라, AI가 **설명 가능(EXAI)**하기를 원했습니다. 그들은 Grad-CAM, Heat Maps, LIME, Occlusion Sensitivity와 같은 특별한 도구들을 사용했습니다.

AI를 시험을 치르는 학생이라고 상상해 보세요. 예전 방식은 선생님에게 정답지만 제출하는 것이었습니다. 새로운 방식은 학생이 질문 속의 정확히 어떤 단어들이 정답으로 이어졌는지 하이라이트 표시를 하는 것과 같습니다.

• Grad-CAM과 Heat Maps는 이미지 위에 따뜻하게 빛나는 지도를 그려서, AI가 세포 군집의 어느 부분을 보고 있는지 의사에게 정확히 보여줍니다.
• LIME은 특정 특징 주변에 작은 상자를 그려서, "나는 여기서 이런 모양을 보았고, 그래서 이것이 위험하다고 생각한다"라고 말해줍니다.

논문은 이러한 도구들이 AI의 의사 결정 과정을 명확하고 신뢰할 수 있게 만든다는 것을 보여줍니다. 이 투명성이 "블랙박스" 컴퓨터와 인간 의사 사이의 간극을 메워줌으로써 의사들이 진단에 대한 확신을 갖도록 돕는다고 제안합니다.

이 논문이 배제하는 것들

이 논문은 무엇이 효과적이지 않은지에 대해서도 매우 명확하게 밝히고 있습니다. 논문은 단일한 표준 딥러닝 모델이 이 특정 작업에 최선의 해결책이라는 생각을 명시적으로 배제합니다. 단 하나의 아키텍처(예를 들어 InceptionV3만 사용하거나 Xception만 사용하는 것)에 의존하는 것이 결합된 팀 접근 방식에 비해 낮은 정확도와 낮은 신뢰도로 이어진다는 것을 보여줍니다. 또한, 모델들이 훌륭하긴 하지만, 까다롭게 보이는 "양성(무해한)" 사례들에 대해 여전히 어려움을 겪어 때때로 이를 위험한 것으로 오인할 수 있다고 언급하면서도, 새로운 팀은 이전의 솔로 모델들보다 이런 실수를 훨씬 적게 한다는 점을 짚어줍니다.

얼마나 확신할 수 있는가?

저자들은 이 수치들이 단순한 시뮬레이션이 아니라 실제 데이터셋을 바탕으로 측정된 결과이기 때문에 꽤 자신감이 있습니다. 그들은 모델을 실행하고, 정답의 개수를 세고, 점수(정확도, 정밀도, 재현율, F1-스코어)를 계산했습니다.

하지만 논문은 또한 한 가지 한계점을 인정합니다. 이 모델들을 오직 **하나의 특정 데이터셋(BreakHis)**에서만 테스트했다는 점입니다. 그들은 이 방법이 유망하긴 하지만, 이 방법이 어디에서나 작동한다는 것을 증명하려면 다른 병원의 다른 데이터셋에서도 테스트되어야 한다고 제로합니다. 그들은 이것이 전 세계를 위한 최종적이고 완벽한 해결책이라고 주장하는 것이 아니라, 비전 트랜스포머를 전통적인 딥러닝과 결합하는 것이 승리하는 전략임을 시사하는 중요한 진전이라고 말합니다.

요약하자면, 이 논문은 서로 다른 유형의 AI를 팀으로 묶고 그들이 "풀이 과정"을 보여줄 수 있는 방법을 제공함으로써, 우리가 유방암을 조기에 발견하기 위해 훨씬 더 똑똑하고 신뢰할 수 있는 도구를 구축할 수 있다고 제안합니다. 이것은 암을 치료하는 마법 지팡이는 아니지만, 의사들이 사용하는 매우 강력하고 새로운 돋보기입니다.