BrainFusionNet: a deep learning and XAI model to understand local, global, and sequential features of MRI images for improved brain tumour detection

개요: 뇌 스캔을 위한 탐정 팀

당신이 아주 시끄럽고 안개가 자욱한 방(MRI 스캔) 안에 숨겨진 아주 작은 보물(뇌종양)을 찾으려고 노력하고 있다고 상상해 보세요. 때로는 안개가 너무 짙어서 보물의 가장자리를 볼 수 없을 때도 있습니다. 때로는 보물이 주변 가구와 똑같이 생겨서 구분이 안 될 때도 있습니다.

오랫동안 컴퓨터(딥러 러닝)는 이 퍼즐을 풀기 위해 노력해 왔습니다. 하지만 컴퓨터는 다음과 같은 이유로 종종 혼란에 빠집니다:

1. 노이즈가 가장자리를 가립니다.
2. 복잡성 때문에 정상 조직과 병든 조직을 구분하기 어렵습니다.
3. "망각" 문제: 컴퓨터가 세부 사항을 찾기 위해 이미지 속을 더 깊게 들여다볼수록, 큰 그림을 잊어버리거나 그 반대의 현상이 발생합니다.

이 논문의 저자들은 BrainFusionNet이라는 새로운 도구를 만들었습니다. 이것을 단 한 명의 탐정이 아니라, 사건을 해결하기 위해 협력하는 특화된 3인 1조의 탐정 팀이라고 생각하세요.

3인 1조의 탐정 팀

이 모델은 단 한 가지 유형의 컴퓨터 두뇌를 사용하는 대신, 서로 다른 각도에서 MRI를 살펴보기 위해 세 가지 서로 다른 "두뇌"(알고리즘)를 결합합니다.

1. "국소적" 탐정 (CNN):

   • 역할: 이 탐정은 돋보기를 사용합니다. 이미지의 작고 구체적인 지점들을 살펴보고 작은 디테일, 질감, 가장자리를 찾아냅니다.
   • 비유: 그림을 보면서 페인트가 갈라졌는지 확인하기 위해 개별적인 붓터치 하나하나에 집중하는 것을 상상해 보세요. 이 부분의 모델은 종양의 "결"을 포착하는 데 탁려합니다.

2. "전역적" 탐정 (Vision Transformer 또는 ViT):

   • 역할: 이 탐정은 뒤로 물러나서 방 전체를 한꺼번에 봅니다. 이미지의 서로 다른 부분들 사이의 점들을 연결하여 맥락을 이해합니다.
   • 비유: 그림에서 한 걸음 물러나 전체 그림을 보는 것을 상상해 보세요. 이 모델이 종양이 나머지 뇌와 어떤 관계를 맺고 있는지 이해하도록 도와주며, 작은 디테일에 매몰되지 않도록 합니다. 이는 어떤 부분의 이미지에 집중해야 할지 결정하는 "자기 주의(self-attention)" 메커니즘처럼 작동합니다.

3. "이야기꾼" (GRU):

   • 역할: 이 탐정은 국소적 탐정과 전역적 탐정의 기록을 가져와 순서대로 정리합니다. 비록 MRI는 정지된 이미지이지만, 그 안의 특징들은 하나의 시퀀스(이야기 같은 흐름)를 가지고 있습니다.
   • 비유: 두 명의 목격자로부터 이야기를 듣고 나서, "좋습니다, 그들이 말한 순서에 따르면 결론은 이렇습니다"라고 말하는 탐정을 상상해 보세요. 이 부분은 모델이 최종 결정을 내리기 전에 국소적인 디테일과 전역적인 그림 사이의 관계를 이해하도록 돕습니다.

결과: 이 세 가지 접근 방식을 융합함으로써, 모델은 작은 디테일과 큰 그림을 동시에 볼 수 있으며, 이를 통해 훨씬 더 정확한 진단에 도달합니다.

"블랙박스" 문제: 컴퓨터가 스스로를 설명하게 만들기

보통 컴퓨터가 "이것은 종양입니다"라고 말할 때, 의사들은 "왜?"라고 물을 수 없습니다. 컴퓨터는 그냥 답을 내놓을 뿐이며, 이는 마치 "블랙박스"와 같습니다.

이를 해결하기 위해 저자들은 설명 가능한 AI (XAI) 도구를 추가했습니다. 그들은 세 가지 다른 "손전등"(LIME, SHAP, Grad-CAM)을 사용하여 MRI 이미지에 빛을 비추고, 결정을 내릴 때 컴퓨터가 정확히 어디를 보고 있었는지 보여줍니다.

• 초록색 강조: "이 부분이 종양이라고 생각하게 만든 부분입니다."
• 빨간색 강조: "이 부분이 종양이 아니라고 생각하게 만든 부분입니다."

이를 통해 의사들은 컴퓨터가 실제 종양을 보고 있는 것인지, 아니면 단순히 무작위 그림자를 보고 추측하는 것인지 확인할 수 있습니다.

실험: 얼마나 잘 작동했는가?

연구팀은 두 가지 서로 다른 뇌 스캔 데이터를 사용하여 자신들의 새로운 "3인 팀"을 6개의 유명한 다른 컴퓨터 모델(VGG16, ResNet 등)과 비교 테스트했습니다.

• 점수: BrainFusionNet은 98%의 정확도를 기록했습니다.
• 경쟁: 다른 모델 중 가장 뛰어난 모델은 약 96%를 기록했습니다.
• 비결: 논문은 이 새로운 모델이 특히 다른 모델들이 놓치기 쉬운 작은 종양을 찾는 데 매우 뛰어나다는 것을 발견했습니다. 또한 이미지의 "노이즈"를 더 잘 처리했습니다.

놀라운 발견: 이미지의 밝기

연구진은 독특한 작업을 수행했습니다. 그들은 이미지의 픽셀 강도(픽셀이 얼마나 밝거나 어두운지)를 분석했습니다.

• 발견: 그들은 밝기가 높은(높은 픽셀 강도) 이미지가 컴퓨터가 올바르게 분류하기 훨씬 쉽다는 것을 발견했습니다.
• 비유: 책을 읽는 것과 같습니다. 불빛이 밝으면(높은 강도) 단어를 쉽게 읽을 수 있습니다. 불빛이 어두우면(낮은 강도) 단어를 잘못 읽을 수 있습니다. 컴퓨터는 MRI의 "조명"이 좋지 않거나 일관되지 않을 때 더 어려움을 겪습니다.

이 논문이 말하지 않는 것 (한계점)

논문이 실제로 주장하는 내용에 충실해야 합니다:

• 치료법이 아닙니다: 이 논문은 종양을 탐지하고 분류하는 것에 관한 것이지, 치료하는 것에 관한 것이 아닙니다.
• 아직 병원용 도구가 아닙니다: 저자들은 어떻게 작동할 수 있는지를 보여주기 위해 프로토타입 앱(웹 인터페이스 및 안드로이드 앱)을 구축했다고 언급했지만, 논문의 초점은 실제 병원에 배치하는 것이 아니라 모델 자체의 연구와 테스트에 있습니다.
• MRI에 국한됨: 이 모델은 MRI 스캔만을 대상으로 테스트되었습니다. 저자들은 아직 CT, X-ray 또는 초음파 영상을 테스트하지 않았음을 인정했습니다.
• 전이 학습(Transfer Learning)의 실패: 논문은 일반적인 사진으로 훈련된 모델을 뇌 스캔에 적용하려고 했을 때(전이 학습), 처음부터 직접 훈련시키는 것보다 오히려 성능이 더 떨어졌다고 기록했습니다. 이는 뇌 스캔이 매우 독특해서 일반적인 지식이 별로 도움이 되지 않음을 시사합니다.

요 요약

BrainFusionNet은 뇌 스캔을 바라보는 세 가지 방식(작은 디테일, 큰 그림, 특징의 시퀀스)을 결합하여 종양을 찾아내는 새로운 하이브리드 컴퓨터 모델입니다. 이는 현재의 최고 모델들보다 더 정확하며, 특히 작은 종양을 찾는 데 뛰어나고, 의사에게 왜 그런 결정을 내렸는지 보여주는 "손전등" 기능을 포함하고 있습니다. 또한 이 연구는 MRI 이미지 자체의 밝기가 컴퓨터가 종양을 보는 능력에 얼마나 큰 역할을 하는지도 밝혀냈습니다.