💻 computer science

Selective State Space Models in Medical Imaging: A Systematic Review of Mamba-Based Architectures and Clinical Applications

최근 445개의 연구(2024~2026)를 대상으로 한 이 체계적 문헌 고찰은 CNN-Mamba 하이브리드가 선형적 계산 복잡도 덕분에 의료 영상 분야에서 가장 효율적인 구조임을 식별하는 동시에, 임상적 통합을 가능하게 하기 위해 네이티브 3D 블록을 통해 해결되어야 할 공간 정보 손실 및 메모리 소비와 같은 결정적인 과제들을 강조한다.

원저자: Ali Emre Gök, Mustafa Yurdakul, Şakir Taşdemir

게시일 2026-06-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ali Emre Gök, Mustafa Yurdakul, Şakir Taşdemir

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: "너무 커서 담을 수 없는" 문제

인체의 거대한 3D 백과사전(예: 전체 MRI 스캔 데이터)에서 아주 작은 종양 하나를 찾아내려고 노력하는 상황을 상상해 보세요.

오랫동안 의사들은 CNN(합성곱 신경망)을 사용해 왔습니다. 이것은 손전등과 같습니다. 미세한 부분(세포의 질감 등)을 관찰하는 데는 뛰어나지만, 방 전체를 한꺼번에 볼 수는 없습니다. 즉, 큰 그림을 놓치기 쉽습니다.

그 후 **Transformer (ViT)**가 등장했습니다. 이들은 방 전체를 한눈에 파악하여 천장이 바닥과 어떻게 연결되는지 이해할 수 있는 초능력을 가진 눈과 같습니다. 하지만 문제가 있습니다. 더 많은 세부 사항을 보려고 할수록 더 많은 에너지를 소비한다는 것입니다. 만약 Transformer로 고해상도 3D 스캔을 보려고 한다면, 그것은 마치 무거운 배낭을 메고 마라톤을 하는 것과 같습니다. 컴퓨터의 메모리가 부족해지고(배낭이 너무 무거워짐), 프로세스가 멈춰버리게 됩니다.

새로운 영웅: Mamba

Mamba(및 그 계열인 선택적 상태 공간 모델)가 등장했습니다. 이 논문은 Mamba를 똑똑하고 효율적인 사서로 묘사합니다.

모든 책을 한꺼번에 기억하려고 애쓰는 대신(이는 너무 많은 공간을 차지합니다), 사서는 서가를 하나씩 걸어 다닙니다. 하지만 여기서 마법 같은 점은, 이 사서가 매우 선택적이라는 것입니다. 길을 걸어가면서, 무엇을 단기 기억에 남기고 무엇을 잊을지 즉각적으로 결정합니다.

장점: 이 사서는 거대한 창고(비싼 컴퓨터 하드웨어) 없이도 거대한 도서관(방대한 3D 의료 스캔 데이터)을 처리할 수 있습니다. '초능력을 가진 눈'(Transformer)은 데이터가 커질수록 기하급수적으로 느려지고 무거워지는 반면, Mamba의 속도는 규모에 상관없이 선형적(일정하게)으로 유지됩니다.

이 논문이 실제로 수행한 작업

저자들은 새로운 Mamba를 발명한 것이 아니라, 탐정 역할을 했습니다. 그들은 Mamba가 의료 분야에서 어떻게 사용되고 있는지 확인하기 위해 445개의 최근 연구(2024년~2026년 발표)를 수집했습니다. 그리고 이 연구들을 네 가지 주요 "팀" 또는 전략으로 분류했습니다.

하이브리드 팀 (CNN-Mamba): 가장 인기 있는 팀입니다. 이들은 손전등(CNN)의 국소적 디테일과 사서(Mamba)의 거시적 관점을 결합합니다.
- 비유: 지문 채취를 위해 돋보기를 사용하는 탐정이 동시에 도시 전체의 지도도 가지고 있는 것과 같습니다.
- 결과: 이 방식은 현재 문헌에서 "챔피언"으로 통하며, 뇌종양, 피부 병변, 안구 스캔 분야에서 잘 작동하고 있습니다.
순수 Mamba 팀: 이 연구자들은 손전등 없이 오직 사서만을 사용하려고 시도합니다.
- 비유: 단어 하나하나를 자세히 들여다보는 일 없이 책 전체를 읽으려는 것과 같습니다.
- 결과: 매우 빠르고 효율적이지만, 3D 이미지를 1D 선 형태로 펼쳐버리기 때문에 때때로 아주 미세한 디테일을 놓칠 수 있습니다.
Transformer-Mamba 팀: 이들은 초능력을 가진 눈과 사서를 섞으려고 합니다.
- 비유: 초능력 시력과 선택적 기억력을 모두 갖춘 로봇을 만들려는 것과 같습니다.
- 결과: 복잡한 작업에는 매우 효과적이지만, 이 로봇은 일반적인 병원 컴퓨터에서 실행하기에는 너무 무겁고 비쌉니다.
새로운 스캐너 팀: Mamba는 1D 리스트(텍-데이터와 같은)를 위해 만들어졌기 때문에, 이를 2D나 3D 이미지에 사용하는 것은 까다롭습니다. 이 연구자들은 이미지를 "스캔"하는 새로운 방법들을 발명했습니다.
- 비유: 단순히 책을 왼쪽에서 오른쪽으로 읽는 대신, 페이지를 놓치지 않도록 대각선, 나선형, 또는 네 귀퉁이에서 동시에 읽는 방법을 발명한 것입니다.

좋은 소식

이 논문은 Mamba가 "배낭 문제"를 해결하기 때문에 게임 체인저라고 주장합니다. Mamba는 기존의 Transformer 모델보다 훨씬 더 빠르고 적은 메모리로 고해상도 3D 의료 영상을 처리할 수 있게 해줍니다. 이는 거대한 의료 데이터를 다루는 새로운 표준이 되고 있습니다.

나쁜 소식 (병목 현상)

이러한 기대에도 불구하고, 논문은 Mamba가 내일 당장 모든 병원에서 사용되는 것을 가로막는 세 가지 주요 장애물을 지적합니다.

"펼치기(Flattening)" 문제: Mamba를 작동시키려면 종종 3D 입체 구조를 1D 선으로 납작하게 눌러야 합니다(마치 카펫을 펼치는 것과 같습니다).
- 문제점: 카펫을 펼치면, 3D 세계에서 바로 옆에 붙어 있던 이웃들이 선 위에서는 서로 멀리 떨어지게 될 수 있습니다. 이로 인해 모델이 조직 간의 연결 관계라는 "공간적 감각"을 잃을 수 있습니다.
"무거운 배낭" 문제 (메모리): Mamba가 효율적이긴 하지만, 인기 있는 "하이브리드" 모델(CNN과 Mamba를 섞은 모델)은 여전히 많은 메모리를 필요로 합니다.
- 문제점: 많은 병원은 오래된 컴퓨터를 사용합니다. 이러한 모델들은 수술 중 실시간으로 작동하거나 휴대용 초음파 기기에서 구동하기에는 너무 무겁습니다.
"원 사이즈(One-Size-Fits-All)" 문제: 대부분의 연구는 공개된 완벽한 데이터셋(깨끗하고 표준화된 도서관 같은 데이터)을 사용하여 모델을 테스트했습니다.
- 문제점: 실제 병원에는 지저도한 데이터(노이즈가 섞인 초음파, 다양한 기기 유형, 누락된 스캔 등)가 존재합니다. 논문은 이 모델들이 결정적인 판단을 내릴 만큼 신뢰할 수 있는지 증명하기 위해, 다양한 병원의 실제 "지저분한" 데이터에 대한 테스트가 충분히 이루어지지 않았다고 언급합니다.

결론

논문은 Mamba가 단순한 유행이 아니라, 차세대 의료 AI의 중추가 될 가능성이 높다고 결론짓습니다. 하지만 Mamba가 임상 현장에서 완전히 신뢰받기 위해서는 다음과 같은 과제가 필요합니다.

이미지를 선으로 펼치지 않고도 작동하는 "네이티브 3D(Native 3D)" 버전 구축.
모델을 더 가볍게 만들어 작은 기기에서도 구동 가능하게 만들기.
실제 현장의 지저분한 데이터로 철저히 검증하기.

요약하자면: Mamba는 드디어 지치지 않고 의료 백과사전 전체를 읽을 수 있는 똑똑하고 효율적인 사서이지만, 우리는 아직 이 사서가 길을 잃지 않고 지저분한 현실 세계의 도서관을 항해할 수 있도록 가르쳐야 합니다.

기술 요약: 의료 영상 분야의 선택적 상태 공간 모델 (Selective State Space Models)

1. 문제 정의

의료 영상 분석은 국소적 특징(local features) 모델링과 전역적 문맥(global context) 포착 사이의 중대한 트레이드오프에 직면해 있다. 합성곱 신경망(CNN)은 유도 편향(inductive bias)과 공간적 국소성 덕분에 국소적 특징 추출에는 탁월하지만, 거대 해부학적 구조에 내재된 장거리 의존성을 포착하는 데 어려움을 겪는다. 반대로, 비전 트랜스포머(ViT)는 셀프 어텐션 메커즘을 통해 전역적 문맥을 해결하지만, 토큰 수에 따른 이차 복잡도( $O(N^2)$ ) 문제를 겪는다. 이러한 이차적 스케일링은 고해解도 2D 이미지와 더욱 결정적으로 3D 볼륨 의료 데이터(예: MRI, CT)를 처리할 때 심각한 하드웨어 및 메모리 병목 현상을 야기하며, 임상 배치를 저해한다.

선택적 상태 공간 모델(Selective SSM), 특히 Mamba 아키텍처는 선형 계산 복잡도( $O(N)$ )로 순차 데이터를 처리함으로써 해결책을 제시하지만, 이를 의료 영상에 직접 적용하는 데는 새로운 과제가 존재한다. 표준 Mamba 아키텍처는 1D 시퀀스를 위해 설계되었으므로, 2D 또는 3D 의료 영상을 1D 시퀀스로 평탄화(flattening)하면 공간적 연속성, 위상적 일관성 및 방향성 의존성이 파괴된다. 또한, 2D/3D 데이터에 적응시키기 위해 다방향 스캐닝 메커니즘을 사용하는 경우 메모리 소비가 증가하여, 트랜스포머 대비 얻을 수 있는 효율성 이점을 상쇄할 위험이 있다.

2. 방법론

본 연구는 의료 인공지능 분야에서 Mamba 기반 아키텍처의 통합을 평가하기 위해 PRISCA 가이드라인에 따라 수행된 체계적 문헌 고찰이다.

검색 전략: 2024년에서 2026년 사이에 발표된 피어 리뷰 학술 논문을 대상으로 4개의 데이터베이스(Web of Science, IEEE Xplore, Scopus, ACM Digital Library)에서 포괄적인 검색을 수행하였다.
선정 기준: 본 검토는 Mamba 또는 선택적 SSM을 의료/생물 의학 영상 작업(세그멘테이션, 분류, 합성 등)에 활용한 연구에 초점을 맞추었다. 피어 리뷰를 거치지 않은 저작물, 비의료적 응용 분야, 그리고 실질적인 방법론적 기여가 부족한 연구는 제외하였다.
데이터 합성: 초기 1,259개의 논문 중 445개의 연구가 선정 기준을 충족하였다. 상세한 질적 합성을 위해 대표적인 하위 집합인 60개의 연구(아키텍처 범주당 15개)를 선정하였다.
질적 비판적 평가: 정량적 메타 분석(작업 및 지표의 이질성으로 인해 불가능하다고 판단됨) 대신, 저자들은 다음 세 가지 기준에 초점을 맞춘 질적 평가를 채택하였다:
1. 방법론적 투명성 및 재현성 (오픈 소스 코드, SOTA와의 비교).
2. 데이터셋 견고성 및 검증 (공공 vs 개인 데이터, 교차 검증).
3. 계산 가능성 및 임상 적용 가능성 (파라미터 부하, 메모리 병목, 일반화).

포함된 445개의 연구는 네 가지 아키텍처 유형으로 분류되었다:

순수 Mamba 적응형 (Pure Mamba Adaptations): 하이브리드화 없이 Mamba 백본을 직접 적용.
CNN-Mamba 하이브리드 (CNN-Mamba Hybrids): 국소 특징을 위한 CNN과 전역 문맥을 위한 Mamba를 결합.
트랜스포머-Mamba 통합 (Transformer-Mamba Integrations): ViT/Swin-Transformer 블록과 Mamba를 하이브리드화.
새로운 스캐닝 메커니즘 (Novel Scanning Mechanisms): 공간적 위상을 보존하기 위한 스캐닝 경로(예: 교차 스캔, 프랙탈, 양방향 스캔)의 혁신.

3. 주요 기여 및 결과

3.1 아키텍처의 지배력

본 검토는 CNN-Mamba 하이브리드가 현재 문헌에서 가장 지배적이고 효율적인 접근 방식임을 확인하였다. 이 모델들은 CNN의 국소 특징 추출 능력과 Mamba의 전역 문맥 모델링 능력을 성공적으로 결합한다. 이러한 모델은 뇌 종양 세그멘테이션, 피부 병변 탐지, 병리 분석과 같이 미세 조직의 세부 사항과 거시적 장기 위상 모두를 요구하는 작업에서 특히 두드러진다.

3.2 모달리티 및 작업

모달리티: 이 아키텍처는 MRI 및 CT(각각 18% 및 15%)와 다중 모달리티 데이터(27%)에 대해 가장 높은 적응성을 보인다. Mamba의 선형 복잡도는 이러한 모달리티의 고해상도 3D 볼륨 특성을 처리하는 데 자연스러운 이점을 제공한다.
작업: 의료 영상 세그멘테이션이 주요 초점이지만, 분류, 영상 합성, 재구성 및 보고서 생성 분야에도 점점 더 많이 적용되고 있다.

3.3 성능 대 한계점

성능: Mamba 기반 모델, 특히 하이브리드 모델은 높은 진단 정확도를 보여주며, 특히 ViT가 메모리 문제로 어려움을 겪는 3D 볼륨 작업에서 Dice 점수와 IoU 측면에서 표준 CNN 및 트랜스포머를 능가하는 경우가 많다.
방법론적 병목 현상:
- 공간 정보 손실: 2D/3D 이미지를 1D 시퀀스로 평탄화해야 하는 필요성으로 인해 공간적 연속성과 위상적 일관성이 상실된다.
- 메모리 오버헤드: 다방향 스캐닝 메커니즘(예: VMamba/SS2D 내) 및 하이브리드 아키텍처(이중 브랜치 구조)는 종종 과도한 파라미터 수와 메모리 소비를 초래하여, 자원이 제한된 임상 하드웨어에서의 배치를 제한한다.
- 일반화: 많은 연구가 표준 공개 데이터셋(예: BraTS, ISIC)에 의존하며 다기관 외부 검증이 부족하여, 실제 임상 변이(노이즈, 저선량 획득, 환자 움직임)에 대한 견고성에 대한 우려를 낳는다.

3.4 품질 평가

본 검토는 방법론적 투명성은 일반적으로 높지만(많은 연구가 코드를 공개함), 도메인 일반화 부족으로 인해 데이터셋의 견고성은 낮거나 중간 수준임을 언급하였다. 계산 가능성은 여전히 중요한 장애물로 남아 있으며, 성공적인 실시간 또는 엣지 디바이스 배포를 입증한 연구는 거의 없다.

4. 의의 및 향후 방향

본 논문은 Mamba가 트랜스포머의 전역적 문맥과 CNN의 선형적 효율성을 수학적으로 화해시킴으로써 의료 영상 분석의 변혁적 변화를 가져올 것이라고 주장한다. 그러나 저자들은 M-amba가 임상 통합을 위한 아직 "플러그 앤 플레이(plug-and-play)" 솔루션은 아니라는 점을 강조하며 신중한 입장을 유지한다.

의의:

Mamba는 ViT의 이차적 병목 현상에 대한 실행 가능한 대안을 제공하여, 트랜스포머의 과도한 메모리 비용 없이 고해상도 및 3D 의료 데이터를 처리할 수 있게 한다.
CNN-Mamba 하이브리드 접근 방식은 국소 및 전역 특징 추출의 균형을 맞추는 데 있어 현재 가장 유망한 경로이다.

저자들이 식별한 향후 방향:

네이티브 3D 선택적 SSM (Native 3D Selective SSMs): 평탄화 없이 3D 볼륨을 직접 처리하여 공간적 위상과 픽셀 간 이웃 관계를 보존하는 Mamba 블록의 개발.
의료 파운데이션 모델 (Medical Foundation Models): 라벨링된 의료 데이터의 희소성 문제를 해결하기 위해, 라벨이 없는 임상 데이터에 대한 대규모 자기 지도 학습 기반의 Mamba 효율성을 활용한 파운데이션 모델 구축.
엣지 통합 (Edge Integration): 파라미터 밀도를 줄이기 위한 모델 압축 기술(가지치기, 양자화, 지식 증류)을 적용하여 휴대용 기기 및 실시간 수술 내비게이션 시스템에 배치가 가능하도록 함.

결론적으로, Mamba 기반 아키텍처가 차세대 의료 AI의 백본으로 빠르게 자리 잡고 있지만, 임상 의사 결정 지원 시스템에 완전히 통합되기 위해서는 공간 정보 손실과 메모리 병목 현상을 극복하는 것이 필수적이다.