💻 computer science

Classification of COVID-19 cases from chest CT volumes using hybrid model of 3D CNN and 3D MLP-Mixer

본 논문은 흉부 CT 볼륨으로부터 코로나19를 자동 분류하기 위해 하이브리드 3D CNN 및 3D MLP-Mixer 모델을 제안하며, 국소적 및 전역적 이미지 특징을 모두 효과적으로 활용함으로써 기존의 3D CNN 방식보다 높은 79.5%의 정확도를 달성하였다.

원저자: Masahiro Oda, Tong Zheng, Yuichiro Hayashi, Yoshito Otake, Masahiro Hashimoto, Toshiaki Akashi, Shigeki Aoki, Kensaku Mori

게시일 2026-08-03

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Masahiro Oda, Tong Zheng, Yuichiro Hayashi, Yoshito Otake, Masahiro Hashimoto, Toshiaki Akashi, Shigeki Aoki, Kensaku Mori

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 3차원 퍼즐 상자 속에서 미스터리를 풀려는 탐정이라고 상상해 보십시오. 이 상자는 장난감 상자가 아니라, 'CT 스캔'이라 불리는 수천 개의 아주 작은 조각들로 이루어진 인간 흉부의 디지털 지도입니다. 수년 동안 의사들은 바이러스가 폐에 숨어 있는 것과 같은 문제를 찾아내기 위해 이 스캔들을 사용해 왔습니다. 하지만 모든 조각을 일일이 손으로 확인하는 것은 매우 지치는 작업입니다. 특히 "미스터리"가 병원을 압도할 정도로 빠르게 퍼지는 바이러스라면 더욱 그렇습니다. 이를 돕기 위해 과학자들은 '인공지능(AI)'이라 불리는 "컴퓨터 탐정"을 구축했습니다. 이 AI 탐정들은 보통 두 가지 주요 도구를 사용합니다. 하나는 작은 국소적 단서들을 포착하는 데 뛰어난 도구(돋보기와 같은 역할)이고, 다른 하나는 한 번에 전체적인 그림을 보는 데 능숙한 도구(상공을 비행하는 드론과 같은 역할)입니다. 여기서 핵심적인 질문은, 우리가 컴퓨터에게 이 두 가지 도구를 동시에 사용하여 이전보다 더 빠르고 정확하게 바이러스를 찾아내도록 가르칠 수 있는가 하는 점입니다.

이 논문은 흉부 CT 스캔 속 코로나19의 미스터리를 해결하기 위해 특별히 설계된 새로운 종류의 컴퓨터 탐정을 소개합니다. 연구진인 일본의 연구팀은 두 가지 서로 다른 유형의 AI 두뇌를 결합한 "하이브리드" 모델을 구축했습니다. 첫 번째 부분은 3D CNN(합성곱 신경망)으로, 이는 초정밀 현미경처럼 작동합니다. 이 모델은 폐의 3D 볼륨을 스캔하여 바이러스가 공격할 때 흔히 나타나는 작은 구름 모양의 패치나 '간유리 음영'과 같은 미세하고 국소적인 세부 사항을 찾아냅니다. 두 번째 부분은 3D MLP-Mixer로, 이는 더 새로운 유형의 AI로서 숙련된 퍼즐 해결사 역할을 합니다. 이 모델은 단순히 한 지점만을 보는 대신, 현미경이 찾아낸 모든 단서들을 모아 서로 섞음으로써 폐 전체의 "큰 그림"을 이해합니다.

연구진은 일본의 여러 병원에서 수집한 1,205개의 흉부 CT 볼륨 데이터셋을 사용하여 이 새로운 하이브리드 팀을 테스트했습니다. 그들은 데이터를 **80%**는 AI 학습용으로, 나머지 **20%**는 실력을 테스트하는 용도로 나누었습니다. 하이브리드 모델이 테스트를 치렀을 때, 환자가 코로나19에 걸렸을 확률이 높은지 낮은지를 **79.5%**의 정확도로 정확히 식별해 냈습니다. 이 새로운 팀업이 기존의 방식보다 실제로 더 나은지를 확인하기 위해, 저자들은 "현미경"(3D CNN)만 사용한 뒤 단순한 층을 통과시키는 표준 모델과 비교했습니다. 기존 모델은 **74.8%**의 정확도에 그쳤습니다. 결과는 "퍼즐 해결사"(3D MLP-Mixer)를 추가하는 것이 현미경만 사용하는 것보다 복잡한 바이러스성 폐렴 패턴을 이해하는 데 정말로 도움이 된다는 것을 시사합니다. 그러나 저자들은 이러한 개선이 견고하기는 하지만 아직 완벽하지는 않으며, 이 도구가 실제 임상 현장에서 일상적으로 사용되기 전에는 더 많은 데이터와 다양한 훈련 기법을 사용하는 등의 추가적인 작업이 필요하다고 언급했습니다.

기술 요약: 3D CNN과 3D MLP-Mixer를 결합한 하이브리드 모델을 이용한 흉부 CT 볼륨 기반 COVID-19 사례 분류

문제 정의
신종 코로나바이러스 감염증(COVID-19)의 급격한 전 세계적 확산은 의료 기관의 심각한 인력 부족을 초래하였으며, 이에 따라 효율적인 진단 워크플로우가 필요해졌습니다. 역전사 중합효소 연쇄 반응(RT-PCR)이 표준 진단 도구이지만, 그 민감도는 42%에서 71% 사이로 보고될 만큼 낮습니다. 반면, 흉부 CT 기반 진단은 97%의 높은 민감도를 보이는 것으로 보고되어 바이러스성 폐렴을 식별하는 데 있어 중요한 수단이 됩니다. 그러나 CT 볼륨을 수동으로 판독하는 것은 많은 시간이 소요됩니다. 기존의 자동화된 컴퓨터 보조 진단(CAD) 시스템은 주로 합성곱 신경망(CNN)에 의존하는데, 이는 수용 영역(receptive field)이 제한적이며 주로 국소적인 이미지 특징만을 활용한다는 한계가 있습니다. 반대로, 비전 트랜스포머(ViT)는 전역적(global) 특징을 고려하지만, 높은 성능을 달-성하기 위해 방대한 양의 학습 데이터를 필요로 하며, 이는 의료 영상 분야에서 흔히 가용한 데이터가 부족한 상황과 상충됩니다. 과제는 제한된 학습 데이터에서도 견고하게 작동하면서, 3D CT 볼륨으로부터 국소적 및 전역적 특징을 효과적으로 모두 활용할 수 있는 자동화된 분류 방법을 개발하는 것입니다.

방법론
저자들은 3D CNN과 3D 버전의 MLP-Mixer를 결합한 하이브리드 모델을 사용하여 흉부 CT 볼륨을 자동 분류하는 방법을 제안합니다.

전처리: 입력되는 흉부 CT 볼륨은 폐 영역을 분리하기 위해 폐 분할(lung segmentation) 과정을 거칩니다. 폐 조직이 없는 축상 단면(axial slices)은 제거되며, 남은 서브 볼륨은 $192 \times 19 \times 128$ 복셀의 고정된 해상도로 스케일링됩니다.
3D CNN 특징 추출: 스케일링된 서브 볼륨은 3D CNN에 의해 처리되어 국소적인 이미지 특징을 추출합니다. 이 섹션은 정보 손실을 줄이고 다양한 스케일에 걸쳐 공간 정보를 포착하기 위해 맥스 풀링(max pooling)과 평균 풀링(average pooling)을 결 함께 사용하는 혼합 풀링(mixed pooling)을 포함한 조밀한 풀링 연결(dense pooling connections)을 채택합니다. 출력값은 3D 특징 볼륨이 됩니다.
3D 패치 생성: 3D 특징 볼륨으로부터 $4 \times 4 \times 4$ 복셀 크기의 중복되지 않는 3D 패치를 추출합니다. 각 패치는 $C=64$ 개의 성분을 가진 1D 벡터로 재구성됩니다.
3D MLP-Mixer 분류: 저자들은 원래 2D 이미지를 처리하도록 설계된 MLP-Mixer 아키텍처를 3D 볼륨을 처리할 수 있도록 확장하였습니다. 3D 패치 세트는 3D MLP-Mixer의 입력( $X \in \mathbb{R}^{S \times C}$ $X \in R^{S \times C}$ ) 역할을 합니다. 모델은 두 가지 멀티 레이어 퍼셉트론(MLP) 블록으로 구성된 $L$ $L$ 개의 레이어를 통해 입력을 처리합니다:
1. 토큰 믹싱(Token-mixing): 전역적 문맥을 통합하기 위해 교차 패치 특징 믹싱을 수행합니다.
2. 채널 믹싱(Channel-mixing): 패치 내부의 특징 믹싱을 수행합니다.
  최종 출력은 전역 평균 풀링(global average pooling)과 완전 연결 계층(fully connected layers)을 거쳐 이진 분류(COVID-19 가능성 높음 vs 낮음)를 생성합니다.

주요 기여

하이브리드 아키텍처: 본 논문은 국소 특징 추출을 위한 3D CNN과 전역 특징 통합을 위한 3D MLP-Mixer를 통합하는 새로운 하이브리드 모델을 소개합니다. 이는 순수 CNN(국소적 집중)과 순수 트랜스포머/MLP-Mixer(데이터 갈증)의 한계를 해결합니다.
3D MLP-Mixer 적응: 저자들은 패칭(patching) 및 믹싱 메커니즘을 3D 공간에 맞게 조정함으로써, 원래 2D 이미지를 위해 설계된 MLP-Mixer를 3D 볼륨을 처리할 수 있도록 성공적으로 수정하였습니다.
제한된 데이터에서의 효율성: 이 하이브리드 접근 방식은 전역 믹싱을 수행하기 전 3D CNN을 통해 견고한 국소 특징을 사전 추출함으로써, 의료 영상의 공통된 제약 사항인 제한된 학습 샘플 수에서도 높은 분류 성능을 달성하도록 설계되었습니다.

실험 결과
제안된 방법은 일본의 여러 의료 기관에서 얻은 1,205개의 흉부 CT 볼륨(COVID-19 및 비-COVID-19 사례) 데이터셋을 통해 평가되었습니다. 데이터셋은 학습용 80%, 테스트용 20%로 분할되었습니다.

성능: 제안된 하이브리드 모델은 **79.5%**의 분류 정확도를 달성했습니다.
비교: 동일한 데이터셋으로 학습된 베이스라인 3D CNN 모델(3D CNN 레이어와 단순 MLP 레이어로 구성)은 **74.8%**의 정확도를 기록했습니다.
결론: 4.7%의 정확도 향상은 3D MLP-Mixer 구성 요소가 전역 이미지 특징을 활용함으로써 분류 성능에 효과적으로 기여함을 입증합니다.

의의 및 주장
본 논문은 3D CNN과 3D MLP-Mixer의 하이브리드 사용이, 특히 간유리 음영(ground glass opacities)과 경변(consolidations)이 넓은 영역에 걸쳐 발생하는 바이러스성 폐렴의 경우 국소적 및 전역적 특징 분석을 모두 요구하기 때문에 3D 볼륨 분류에 효과적이라고 주장합니다. 저자들은 이 하이브리드 구조가 순수 MLP-Mixer나 ViT 모델에 필요한 대규모 학습 데이터 없이도 높은 정확도를 달성할 수 있게 해준다는 점을 강조합니다.

그러나 저자들은 임상 배포와 관련하여 신중한 어조를 유지합니다. 그들은 모델이 임상 현장에 적용되기 전, 분류 정확도의 추가적인 개선이 필요하다고 명시합니다. 저자들이 밝힌 향후 연구 과제에는 해부학적 및 강도 변화를 강화하기 위한 데이터 증강(data augmentation)의 활용, 국제 데이터셋의 통합, 그리고 지속적인 전체 COVID-19 CAD 시스템 개발이 포함됩니다. 이 논문은 현재 모델이 즉각적인 임상 사용을 위한 준비가 되었다고 주장하는 것이 아니라, 그 목표를 향한 유망한 단계로서 제시하고 있습니다.

기술 요약: 3D CNN과 3D MLP-Mixer를 결합한 하이브리드 모델을 이용한 흉부 CT 볼륨 기반 COVID-19 사례 분류

유사한 논문