💻 computer science

Swin-TCN-XAI: A Hybrid End-to-End Framework for Explainable Multi-Class Brain Tumor MRI Classification

이 논문은 다중 클래스 뇌종양 MRI 분류에서 최첨단 정확도와 임상적 해석 가능성을 달야하기 위해 Swin Transformer와 시간적 합성곱 신경망(Temporal Convolutional Networks)을 다단계 설명 가능성 기술과 결합한 하이브리드 딥러닝 프레임워크인 Swin-TCN-XAI를 소개한다.

원저자: Umme Sara, MSTMd. Mamu, MD IRFANUL KABIR HIRA, MD SOHAG HOSSAIN, Md. Kowsar Ahmed, Md. Mamun Ur Rashid

게시일 2026-08-11

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Umme Sara, MSTMd. Mamu, MD IRFANUL KABIR HIRA, MD SOHAG HOSSAIN, Md. Kowsar Ahmed, Md. Mamun Ur Rashid

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

탐정, 탐정의 수첩, 그리고 뇌의 비밀 코드

당신이 복잡하고 구불구불한 도시 속에서 미스터리를 풀려는 탐정이라고 상상해 보세요. 이 도시는 인간의 뇌이며, 미스터리는 그 안에 숨겨진 종양입니다. 이 도시를 보기 위해 당신은 손전등 대신 MRI(자기공명영상)라고 불리는 특별한 카메라를 사용합니다. 이 카메라는 마치 책의 페이지들처럼 수백 장의 얇은 단면 사진을 찍습니다. 오랫동안 의사들은 이 책의 모든 페이지를 일일이 손으로 읽으며 무언가 잘못되었다는 작은 단서를 찾아야 했습니다. 그것은 매우 고된 작업이었고, 때로는 사진들이 너무 비슷하거나 종양이 까다롭게 생겼다는 이유로 최고의 탐정조차 단서를 놓치기도 했습니다.

최 최근 과학자들은 컴퓨터에게 탐정이 되는 법을 가르치기 시작했습니다. 그들은 뇌 사진을 보고 "아, 여기에 종양이 있군요!"라고 말할 수 있는 "AI"(인공지능) 모델을 구축했습니다. 하지만 문제가 하나 있었습니다. 이 컴퓨터 탐정들은 종종 "블랙박스"와 같았습니다. 그들은 답을 내놓긴 했지만, 왜 그렇게 생각했는지는 설명하지 못했습니다. 이는 마치 친구가 추론 과정을 보여주지 않은 채 수수께끼의 정답만 맞히는 것과 같습니다. 의학에서는 '무엇'을 아는 것만큼이나 '왜'를 아는 것이 중요합니다. 컴퓨터가 환자에게 종양이 있다고 말한다면, 의사는 컴퓨터가 뇌의 정확히 어느 부분을 보고 있는지 확인하여 그 답을 신뢰할 수 있어야 합니다. 이 논문은 놀라운 속도와 정확도로 미스터리를 해결할 뿐만 아니라, 단계별로 자신의 풀이 과정을 보여줌으로써 의사가 단서를 검증할 수 있도록 설계된 새로운 종류의 탐정 팀을 소개합니다.

팀 구성: 하이브리드 탐정단

이 연구의 저자들은 Swin-TCN-XAI라고 불리는 새로운 시스템을 만들었습니다. 이 시스템을 미스터리를 해결하기 위해 협력하는 두 부분으로 구성된 탐정단이라고 생각해보세요.

파트 1: 초정밀 관찰자 (Swin Transformer)
먼저, 뇌의 사진책 중 한 페이지를 아주 날카로운 눈으로 관찰하는 관찰자를 상상해 보세요. 이 관찰자가 바로 Swin Transformer입니다. 이의 역할은 뇌의 단면 하나를 보고 종양처럼 보일 수 있는 모든 미세한 디테일(모양, 질감, 패턴)을 찾아내는 것입니다. 이 모델은 단일 이미지 내에서 사물을 포착하는 데 매우 뛰어납니다. 마치 붐비는 사진 속에서 특정 인물을 찾아내는 것과 비슷합니다.

파트 2: 이야기꾼 (TCN)
하지만 뇌는 단 한 장의 사진이 아닙니다. 뇌는 겹겹이 쌓인 책 전체와 같습니다. 종양은 한 페이지에서는 이상하게 보이다가 다음 페이지에서는 정상적으로 보일 수도 있고, 여러 페이지에 걸쳐 길게 뻗어 있을 수도 있습니다. 여기서 두 번째 탐정인 **T형 합성곱 신경망(TCN)**이 등장합니다. 첫 번째 탐정이 한 페이지를 본다면, TCN은 페이지들의 이야기를 읽습니다. TCN은 이미지의 시퀀스를 살펴보며 한 단면이 다음 단면과 어떻게 연결되는지 이해합니다. 이것은 단순히 한 칸의 만화를 보는 것이 아니라, 만화책의 흐름과 페이지 간의 관계를 이해하며 읽는 것과 같습니다.

이들이 팀을 이루면, 초정밀 관찰자는 세부 사항을 찾아내고, 이야기꾼은 그 세부 사항들이 3D 공간에서 어떻게 결합되는지 이해합니다. 논문은 이 둘을 함께 사용하는 것이 하나만 사용하는 것보다 훨씬 효과적임을 보여줍니다.

대규모 테스트: 과적합은 허용되지 않는다!

이전의 컴퓨터 탐정들이 겪었던 가장 큰 문제 중 하나는 훈련 과정에서 "과적합(overfitting)"이 발생하는 경우였습니다. 만약 당신이 시험 공부를 하고 있는데, 선생님이 이미 연습했던 문제와 똑같은 문제를 시험에 냈다고 상상해 보세요. 당신은 만점을 받겠지만, 실제로 내용을 이해한 것이 아니라 답을 암기했을 뿐입니다.

뇌 스캔의 세계에서도, 컴퓨터가 훈련 그룹과 테스트 그룹 모두에서 동일한 환자의 단면을 보게 되면 이런 일이 발생합니다. 컴퓨터는 실제 종양이 어떻게 생겼는지 배우는 대신, "환자 A의 뇌는 이렇게 생겼다"라는 것을 암기해 버릴 수 있습니다.

이 논문의 저자들은 이 점에 대해 매우 엄격했습니다. 그들은 환자의 뇌 단면이 훈련 그룹에 포함되었다면, 그 환자의 다른 어떤 단면도 테스트 그룹에 들어가지 않도록 했습니다. 이것은 "환자 단위(patient-wise)" 분할 방식입니다. 이는 컴퓨터가 한 번도 본 적 없는 새로운 환자의 뇌에서도 종양을 인식할 수 있는지 증명해야 함을 의미합니다. 이것이 바로 탐정이 정말 똑똑한 것인지, 아니면 단순히 암기하는 것인지를 가려내는 진짜 시험입니다.

결과: 완벽에 가까운 점수

새로운 Swin-TCN-XAI 팀을 이 엄격한 과적합 방지 테스트에 투입했을 때, 결과는 놀라웠습니다.

정확도(Accuracy): 이 시스템은 **99.41%**의 확률로 정답을 맞혔습니다.
"종양이 없는 경우": 건강한 뇌를 찾아내는 데 있어 완벽했습니다. 건강한 사람을 종양이 있다고 잘못 진단하지 않았고(정밀도 100%), 건강한 뇌를 놓친 적도 없었습니다(재현율 100%).
까다로운 사례: 가장 발견하기 어려운 유형인 신경교종(glioma)에 대해서도, 이 시스템은 0.9925라는 놀라운 점수(종양을 찾아내는 능력과 실수를 하지 않는 능력 사이의 균형을 나타내는 척도)를 기록하며 매우 높은 정확도를 보였습니다.

논문은 이 팀을 다섯 개의 다른 최상위 탐정 팀(LSTM이나 표준 CNN 같은 다양한 AI 기법 사용)과 비교했습니다. Swin-TCN 팀은 모든 지표에서 그들을 압도했습니다. 단순히 조금 더 나은 수준이 아니라, 일관되게 가장 뛰어난 성능을 보였습니다.

"설명 가능한" 마법: 풀이 과정을 보여주다

이 논문에서 가장 흥ло로운 부분은 높은 점수가 아니라, 바로 XAI(설명 가능한 인공지능) 부분입니다. 저자들은 단순히 블랙박스를 원하는 것이 아니라, 투명한 시스템을 원했습니다. 그들은 컴퓨터가 자신의 생각을 설명할 수 있도록 세 가지 서로 다른 도구를 추가했습니다.

Grad-CAM (하이라이터): 이 도구는 뇌 영상을 가져와 컴퓨터가 보고 있는 정확한 지점을 밝은 색상으로 강조합니다. 만약 컴퓨터가 "종양"이라고 말한다면, 하이라이터는 종양 바로 위에 빛나는 붉은 덩어리를 표시합니다. 논문은 컴퓨터가 단순히 무작위 노이즈나 두개골 가장자리가 아니라, 실제로 종양을 보고 있다는 것을 보여줍니다.
SHAP (성적표): 이 도구는 결정을 성적표처럼 세분화합니다. 이 도구는 이미지의 어떤 특정 부분이 최종 판단에 가장 많이 기여했는지 알려줍니다. 이는 컴퓨터가 "특정한 질감과 형태 때문에 '종양'이라고 판단했다"라고 말하는 것과 같습니다.
LIME (국소 탐정): 이 도구는 단일 이미지를 보며 "만약 이 작은 부분을 가린다면 결과가 바뀔까?"라고 질문합니다. 이는 결정이 이미지의 이상한 흔적이 아니라 실제 병변에 근거한 것인지 확인하는 데 도움을 줍니다.

논문에 따르면 세 가지 도구는 모두 서로 일치했습니다. 세 도구 모두 동일한 해부학적 위치를 가리켰으며, 이는 컴퓨터가 무작위 추측이 아닌 실제 의학적 단서에 기반하여 결정을 내리고 있음을 확인시켜 주었습니다.

이것이 의미하는 바 (그리고 그렇지 않은 것)

저자들은 자신들이 무엇을 달성했고 무엇을 달성하지 못했는지 명확히 밝히고 있습니다. 그들은 이 특정한 하이브리드 팀(Swin + TCN)이 신경교종(Glioma), 수막종(Meningioma), 뇌하수체 종양(Pituitary tumors), 그리고 "종양 없음(No Tumor)"이라는 네 가지 뇌 상태를 분류하는 데 매우 정확하고 신뢰할 수 있음을 입증했습니다. 또한 단면의 시퀀스(이야기)를 보는 것이 단면을 하나씩 보는 것보다 낫다는 것을 보여주었습니다.

하지만 논문은 이것이 "단면별(slice-by-slice)" 접근 방식이라는 점도 언급합니다. 컴퓨터는 순서를 이해하긴 하지만, 책의 페이지를 한 장씩 읽는 방식입니다. 아직 복잡한 형태를 위해 3D 뇌 전체를 한꺼번에 보는 방식까지 학습하지는 못했습니다. 또한, 시스템이 어디를 보았는지는 잘 설명하지만, 의사의 판단을 대체할 수 있는 깊은 "왜(인과관계)"에 대해서는 완전히 설명하지 못한다는 점을 저자들도 인정하고 있습니다.

결론적으로, 이 프레임워크는 의사들에게 강력한 도구가 될 수 있습니다. 이 시스템은 영상의학과 의사를 대체하기 위한 것이 아니라, 자신의 풀이 과정을 보여줌으로써 의사가 더 빠르고 확신 있게 결정을 내릴 수 있도록 돕는 '초스마트한 제2의 의견' 역할을 하기 위해 존재합니다. 이는 AI가 단순히 답만 주는 것이 아니라, 우리와 함께 뇌의 미스터리를 이해하도록 돕는 미래를 향한 한 걸음입니다.

기술 요약: 설명 가능한 다중 클래스 뇌종양 MRI 분류를 위한 Swin-TCN-XAI

문제 정의
자기공명영상(MRI)을 이용한 자동 뇌종양 분류는 실제 임상 활용을 저해하는 세 가지 주요 한계점에 직면해 있다. 첫째, 기존의 많은 방법론은 개별 MRI 슬라이스를 독립적인 2D 이미지로 취급하여, 볼륨 스캔에 내재된 고유한 순차적 순서와 슬라이스 간 의존성을 무시한다. 둘째, 시계열 모델링을 시도할 때, 흔히 순환 구조(예: LSTM, GRU)에 의존하는데, 이는 순차적 제약, 계산 비효율성 및 기울기 소실 문제를 야기한다. 셋째, 가장 결정적으로 임상 도입을 위해 중요한 점은, 성능이 높은 모델들이 대개 "블랙박스"로 작동하여 방사선 전문의가 예측의 해부학적 근거를 검증하는 데 필요한 해석 가능성이 부족하다는 것이다. 현재의 설명 가능한 AI(XAI) 접근 방식은 종합적인 다수준 설명을 제공하기보다는 단일 모달리티 통찰(공간적 히트맵 또는 특성 순위 중 하나)만을 제공하는 경우가 많다.

방법론
본 논문은 상호 보완적인 공간 및 순차적 특징 표현을 공동으로 학습하는 동시에 임상적 투명성을 보장하도록 설계된 하이브리드 엔드투엔드 딥러닝 프레임워크인 Swin-TCN-XAI를 제안한다.

아키텍처: 이 프레임워크는 Swin Transformer(구체적으로 ImageNet-1K로 사전 학습된 Swin-Tiny 백본)와 **Temporal Convolutional Network (TCN)**를 통합한다.
- 공간 추출: Swin Transformer는 이동 윈도우 자기 주의 메커니즘(shifted-window self-attention mechanism)을 사용하여 입력 MRI 슬라이스(224×224로 크기 조정됨)를 처리한다. 이는 이미지를 겹치지 않는 4×4 패치로 토큰화하여 768차원의 7×7 그리드 토큰 세트를 생성하며, 이를 통해 국소적 및 전역적 공간 문맥을 포착한다.
- 시계열 모델링: 평탄화된 토큰 시퀀스(49개 토큰)는 TCN으로 전달된다. 순환 모델과 달리, TCN은 **확장된 인과적 컨볼루션(dilated causal convolutions)**과 잔차 연결(residual connections)을 사용하여 슬라이스 시퀀스 전반의 정렬된 토큰 간 의존성을 모델링한다. 이를 통해 병렬 학습과 안정적인 기울기 흐름을 가능하게 하는 동시에 장거리 순차적 관계를 포착할 수 있다.
- 퓨전 전략: 각 구성 요소는 **차등 학습률(differential learning rates)**을 사용하여 엔드투엔드로 공동 최적화된다. 사전 학습된 Swin 백본의 학습된 표현을 보존하기 위해 보수적인 비율( $2 \times 10^{-5}$ )을 적용하고, 신속한 도메인 적응을 촉진하기 위해 TCN 분류 헤드에는 더 높은 비율( $3 \times 10^{-4}$ )을 적용한다.
설명 가능성 (XAI): "블랙박스" 문제를 해결하기 위해, 본 프레임워크는 3단계 설명 가능성 파이프라인을 포함한다:
1. Grad-CAM: 최종 TCN 컨볼루션 블록에 적용되어 병변 위치를 시각화하는 클래스 판별적 공간 히트맵을 생성한다.
2. SHAP (SHapley Additive exPlanations): 전역 및 클래스별 수준에서 분류 결정에 대한 각 Swin 토큰의 한계 기여도를 정량화하는 데 사용된다.
3. LIME (Local Interpretable Model-Agnostic Explanations): 개별 MRI 슬라이스에 대한 인스턴스 수준의 슈퍼픽셀 속성을 제공하여 결정 경계를 검증한다.
평가 프로토콜: 모델은 11,148개의 슬라이스로 구성된 4개 클래스 데이터셋(Glioma, Meningioma, Pituitary Tumor, No Tumor)에 대해 평가되었다. 결정적으로, 본 연구는 데이터 누수를 방지하기 위해 엄격한 환자 단위(patient-wise) 훈련-테스트 분할(80/20)을 채택하였으며, 이를 통해 동일 환자의 슬라이스가 훈련 및 테스트 세트에 모두 등장하는 것을 방지하여 보다 현실적인 일반화 성능을 확보하였다.

주요 기여

하이브리드 프레임워크: Swin Transformer의 계층적 공간 특징 추출과 TCN의 효율적인 순차적 모델링을 독특하게 결합하여, 순환 네트워크의 최적화 불안정성을 피하는 Swin-TCN-XAI를 제안하였다.
다수준 설명 가능성: Grad-CAM, SHAP, LIME를 하나의 파이프라인으로 통합하여, 임상 감사를 지원하기 위해 공간적, 특성 수준, 인스턴스 수준의 해석을 동시에 제공한다.
엄격한 검증: 기존 문헌에서 사용된 무작위 슬라이스 단위 분할과 달리, 엄격한 환자 단위 평가 프로토콜 하에서 높은 성능을 입증함으로써 더욱 현실적인 일반화 추정치를 제공하였다.

결과
제안된 프레임워크는 테스트 세트에서 다음과 같은 최첨단(state-of-the-art) 성능을 달성하였다:

전체 정확도: 99.41%
매크로 평균 지표: 정밀도(Precision) 0.9940, 재현율(Recall) 0.9948, F1-Score 0.9944.
클래스별 성능:
- No Tumor: 완벽한 정밀도와 재현율 (1.0000).
- Glioma: 침습적 종양 유형의 어려움을 해결하며 F1-Score 0.9925 달성.
- Meningioma & Pituitary: 각각 0.9897 및 0.9953의 F1-Score 기록.
비교 성능: 본 모델은 모든 지표에서 5가지 시계열 및 하이브리드 베이스라인(CNN+LSTM, Swin+LSTM 및 다양한 CNN/Transformer 변형 포함)을 능가하였다. 또한 외부 데이터셋(Figshare 및 Mendeley)에서도 99% 이상의 정확도를 유지하며 견고한 일반화 능력을 보여주었다.
절제 연구 (Ablation Study): 전체 Swin+TCN 아키텍처는 CNN 전용, TCN 전용, Swin 전용 또는 Swin+LSTM 변형 모델보다 우수한 성능을 보였으며, 이를 통해 계층적 공간 특징과 확장된 인과적 시계열 모델링의 특정 융합이 효과적임을 확인하였다.

의의 및 주장
본 논문은 Swin-TCN-XAI가 자동 뇌종양 진단을 위한 정확하고 견고하며 해석 가능한 접근 방식을 제공한다고 주장한다. 높은 분류 성능과 다수준 설명 전략을 결합함으로써, 이 프레임워크는 신뢰할 수 있는 임상 의사결정을 지원한다. 저자들은 모델이 해부학적으로 유의미한 영역에 집중하는 능력(Grad-CAM, SHAP, LIME을 통해 검증됨)과 엄격한 환자 단위 검증을 강조하며, 이를 통해 컴퓨터 보조 진단(CAD) 시스템의 제2 판독 도구로서 통합될 수 있는 적합성을 갖추었음을 밝힌다. 본 연구는 이 프레임워크가 고성능 딥러닝 모델과 신경 종양학 분야의 규제 및 임상 도입에 필요한 투명성 사이의 결정적인 간극을 메운다고 결론짓는다.