Explainable Hybrid ConvNeXt–Vision Transformer Model for Pneumonia Detection from Chest X-ray Images

당신의 눈이 궁극의 탐정이 된 세상을 상상해 보세요. 하지만 때로는 가장 날카로운 탐정이라 할지라도 보이지 않는 것을 보는 데 약간의 도움이 필요할 때가 있습니다. 의학의 영역에서 의사들은 우리 가슴 내부를 들여다보기 위해 X선이라는 특별한 카메라를 사용하며, 그 안에서 '폐렴'이라는 이름의 은밀한 침입자를 찾아내려 노력합니다. 폐렴은 호흡을 어렵게 만드는 폐 감염으로, 이를 조기에 발견하는 것은 마치 집 전체가 타버리기 전에 불을 잡는 것과 같습니다. 하지만 까다로운 점이 하나 있습니다. 건강한 폐와 감염된 폐의 차이는 폭풍 속의 속삭임처럼 아주 미세할 수 있다는 것입니다. 인간 전문가조차 그 단서를 놓치기 쉽습니다.

딥러닝(Deep Learning)이라 불리는 인공지능(AI)의 세계로 들어가 봅시다. 딥러닝을 수천 장의 사진을 보며 학습하는 매우 똑똑한 학생이라고 생각해 보세요. 보통 이 학생은 두 가지 주요 방식으로 공부합니다. 한 가지 방식은 돋보기를 들고 그림을 보며 아주 작은 붓터치까지 세밀하게 관찰하는 것이고(이를 합성곱 신경망, 즉 CNN이라고 합니다), 다른 한 가지 방식은 뒤로 물러나 전체적인 그림과 색상들이 서로 어떻게 연결되는지를 보는 것입니다(이를 비전 트랜스포머, 즉 ViT라고 합니다). 오랫동안 과학자들은 어떤 학생이 더 나은지를 두고 논쟁해 왔습니다. 하지만 만약 우리가 이 두 가지를 동시에 수행하는 '슈퍼 학생'을 만들 수 있다면 어떨까요? 그것이 바로 국제 이슬람 대학교 치타공(International Islamic University Chittagong)의 연구진이 하고자 했던 일입니다. 그들은 단순히 폐가 아픈지 아닌지를 추측하는 것을 넘어, '왜' 그렇게 생각하는지까지 설명할 수 있는 도구를 만들고자 했습니다. 이를 통해 의사들이 더 빠르고 안전한 결정을 내릴 수 있도록 돕기 위해서입니다.

슈퍼 학생의 비밀 무기

연구진은 '하이브리드' 모델을 구축했습니다. 이는 두 가지 서로 다른 AI의 뇌를 하나로 합쳐서 하나의 슈퍼 브레인을 만든다는 뜻의 멋진 표현입니다. 이 뇌의 절반은 ConvNeXt를 기반으로 하는데, 이는 폐가 감염되었을 때 나타나는 작고 뿌연 패치와 같은 국소적인 세부 사항을 포착하는 데 탁월합니다. 나머지 절반은 **비전 트랜스포머(ViT)**로, 전체적인 큰 그림과 폐의 각 부분이 어떻게 연결되는지를 이해하는 데 뛰어납니다.

하지만 그들은 여기서 멈추지 않았습니다. 그들은 CBAM이라는 특별한 '주의 집중 메커니즘(attention mechanism)'을 추가했습니다. 이것을 마법의 안경이라고 상상해 보세요. 이 안경은 AI에게 "이봐, 여기를 봐, 이 부분이 중요해. 저 흐릿한 배경은 무시해"라고 말해줍니다. 이를 통해 모델은 노이즈를 걸러내고 X선에서 가장 중요한 정확한 지점에 집중할 수 있습니다.

이 새로운 슈퍼 브레인을 가르치기 위해 연구진은 단 몇 장의 사진만을 사용하지 않았습니다. 그들은 6,590장의 흉부 X선 이미지라는 거대한 라이브러리를 모았습니다. 어떤 사진은 건강한 폐를, 어떤 사진은 폐렴을 보여주었습니다. 이 라이브러리를 학습용(training), 숙제 검사용(validation), 그리고 최종 시험용(testing)이라는 세 가지 묶음으로 나누었습니다. 이미지를 AI에게 입력하기 전에, 이미지를 옆으로 뒤집거나 밝기를 조절하는 등의 몇 가지 기술을 사용하여 데이터를 더욱 개선함으로써, AI가 사진이 조금 다르게 보이더라도 혼란을 느끼지 않도록 했습니다.

결과: 새로운 챔피언

최종 시험을 치를 때, 결과는 인상적이었습니다. 하이브리드 모델은 **94.03%**의 확률로 정답을 맞혔습니다. 이를 체감할 수 있도록, 이 모델을 ResNet152, MobileNetV2, 그리고 단독 비전 트랜스포머와 같은 다른 우수한 AI 학생들과 비교 테스트했습니다. 하이브리드 모델은 이들을 모두 제치고 정확도, 정밀도, 재현율에서 더 높은 점수를 기록했습니다.

하지만 진짜 마법은 점수 그 자체가 아니라 '설명 가능성(explainability)'에 있었습니다. 과거의 AI 모델들은 블랙박스와 같았습니다. X선을 넣으면 "예" 또는 "아니오"라는 결과만 나올 뿐, 왜 그런 결과가 나왔는지 알 수 없었습니다. 연구진은 Grad-CAM이라는 기술을 사용하여 AI의 사고 과정을 화려한 히트맵(heat map)으로 변랬습니다. 모델이 폐렴을 발견하면, 히트맵은 폐의 감염된 구역을 정확히 밝히며 붉게 빛나 의사에게 "제가 걱정하는 부분은 바로 '이곳'입니다"라고 보여줍니다. 이는 신뢰를 쌓는 데 매우 중요한 일입니다. 의사는 X선을 보며 붉게 빛나는 지점을 확인하고, 컴퓨터의 추측을 맹목적으로 믿는 대신 "아, 컴퓨터가 보는 것이 바로 이것이구나"라고 말할 수 있습니다.

이것이 중요한 이유 (그리고 한계점)

이 연구는 서로 다른 유형의 AI 뇌를 결합하고 중요한 세부 사항에 집중하는 방법을 더하는 것이 폐렴을 찾아내는 데 더 신뢰할 수 있는 도구를 만든다는 점을 시사합니다. 이 모델은 **95.01%**의 정밀도와 **92.74%**의 재현율을 달ไซ하며 높은 확신을 가지고 건강한 폐와 병든 폐를 구별할 수 있음을 보여주었습니다. 연구진은 이 접근 방식이 단일 모델을 사용하는 것보다 더 나은데, 그 이유는 미세한 디테일과 전체적인 맥락을 모두 포착하기 때문이라고 주장합니다.

그러나 이 논문은 이것이 아직 마법 같은 만병통치약은 아니라는 점을 주의 깊게 명시하고 있습니다. 이 모델은 폐렴이 매우 경미하게 나타나거나 이미지가 까다로운 경우 여전히 약간의 어려움을 겪으며, 특정 데이터 세트를 대상으로 테스트되었습니다. 저자들은 이 모델이 컴퓨터 보조 진단 도구를 향한 유망한 단계이지만, 전 세계 모든 병원에서 완벽하게 작동하기 위해서는 더 많은 작업이 필요하다고 제안합니다. 또한 데이터 세트가 크기는 하지만, 훨씬 더 크고 다양해질 수 있다고 지적합니다.

요약하자면, 이 논문은 폐렴을 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 서로 다른 두 AI 세계의 장점을 결합하고 여기에 '주의(attention)'를 더했을 때, 단순히 똑똑할 뿐만 아니라 이해하기 쉬운 도구를 얻을 수 있다는 것을 증명함으로써, 의사가 보이지 않는 것을 볼 수 있도록 돕는 강력하고 투명한 새로운 방법을 제시하고 있습니다.