🤖 machine learning

Improving Patient Subtyping on Longitudinal Data using Representations from Mamba-based Architecture

이 논문은 불규칙한 종단적 전자 건강 기록 데이터로부터 효과적인 표현을 학습하여 기존 베이스라인 모델들과 비교했을 때 환자 하위 유형 분류 및 정밀 의료 성과를 유의미하게 개선하는 자기지도 학습 기반의 Mamba 모델을 제안한다.

원저자: Md Mozaharul Mottalib, Rahmatollah Beheshti

게시일 2026-06-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Md Mozaharul Mottalib, Rahmatollah Beheshti

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 사서처럼 환자 분류하기

병원을 거대한 도서관이라고 상상해 보세요. 모든 환자는 자신의 병력이라는 '책'을 가지고 있습니다. 그런데 이 책들은 매우 엉망입니다. 어떤 페이지는 누락되어 있고, 어떤 것은 다른 언어로 쓰여 있으며, 기록들이 시간 순서대로도 무작위로 흩어져 있습니다 (예를 들어, 환자가 월요일에 혈액 검사를 받고, 3주 후에 X-레이를 찍고, 6개월 후에 정기 검진을 받는 식입니다).

의사들은 질병이 어떻게 진행되는지에 따라 환자들을 특정 "클럽" 또는 **하위 유형(subtypes)**으로 그룹화해야 합니다. 이는 환자를 더 정밀하게 치료하는 데 도움이 됩니다. 하지만 컴퓨터가 이 엉망이고 불규칙한 책들을 분류하는 것은 매우 어려운 일입니다.

문제점: "이차적(Quadratic)" 병목 현상

이 논문은 기존의 컴퓨터 모델(트랜스포머, Transformers)이 마치 모든 책의 모든 페이지를 서로 하나하나 대조하며 유사성을 찾으려는 사서와 같았다고 설명합니다.

비유: 책이 10권이라면 모두 비교하기 쉽습니다. 하지만 책이 1,000권이라면 사서는 백만 번의 비교를 수행해야 합니다. 만약 10,000권이라면, 1억 번의 비교를 해야 합니다. 이를 **이차 복잡도(quadratic complexity, $O(L^2)$ )**라고 부릅니다.
결과: 컴퓨터가 멈추는 것을 방 피하기 위해, 기존 모델들은 긴 환자의 병력을 버리거나 아주 작고 경직된 조각들로 잘라내야 했습니다 (마치 긴 이야기를 50단어짜리 요약본으로 강제로 구겨 넣는 것과 같습니다). 이로 인해 질병이 실제로 어떻게 발전하는지에 대한 미묘하고 장기적인 패턴을 놓치게 되었습니다.

해결책: "맘바(Mamba)" 열차

저자들은 Triplet-Mamba라는 새로운 모델을 만들었습니다. 기존의 사서가 모든 페이지를 일일이 비교하는 대신, 이들은 맘바(Mamba) 구조를 사용했습니다.

비유: 맘바를 환자의 병력 속을 달리는 고속 열차라고 생각해보세요. 이 열차는 모든 역을 서로 비교하기 위해 매번 멈춰 서지 않습니다. 대신, 선형적으로(한 번에 한 단계씩) 이동하며 지나가는 과정에서 중요한 맥락을 기억합니다. 이것이 바로 **선형 복잡도(linear complexity, $O(L)$ )**입니다.
중요한 이유: 이 모델은 컴퓨터 메모리가 부족해지는 일 없이 환자의 평생 기록(수년에 걸친 기록이라 할지라도)을 처리할 수 있습니다. 빠르고 효율적입니다.

불규칙한 데이터를 다루는 법: "트리플릿(Triplet)" 시스템

실제 의료 데이터는 불규칙합니다. 환자가 오후 2시에 체온을 측정하고 다음 날 오후 4시 30분에 혈액 검사를 할 수도 있습니다. 기존 모델들은 종종 이 데이터를 깔끔한 격자 형태(스프레드시트처럼)로 강제 변환하곤 하는데, 이 과정에서 정확한 타이밍 정보가 손실됩니다.

Triplet-Mamba는 모든 데이터를 하나의 **트리플릿(Triplet)**으로 취급합니다:

시간(Time): 언제 일어났는가.
특징(Feature): 무엇인가 (예: "혈압").
값(Value): 얼마나인가 (예: "120").

비유: 엉망인 일기를 달력에 억지로 끼워 맞추는 대신, 모델은 일기에 적힌 그대로를 읽습니다: "화요일, 어지러움을 느낌 (시간: 화요일, 특징: 어지러움, 값: 높음)." 이를 통해 환자의 삶의 정확하고 불규칙한 현실을 보존합니다.

학습 방식: 스승 없는 학습

논문은 자기 지도 학습(Self-Supervised) 방식을 설명합니다.

비유: 학생에게 마지막 페이지가 빠진 책을 읽게 한 뒤 다음에 무슨 일이 일어날지 추측하게 함으로써 이야기를 이해하도록 가르치는 상황을 상상해 보세요. 학생은 선생님으로부터 정답을 듣는 것이 아니라, 미래를 예측하려고 노력하는 과정을 통해 이야기의 구조를 스스로 배웁니다.
논문에서의 적용: 모델은 환자의 과거 기록을 보고 미래의 검사 결과를 예측하려고 시도합니다. 이 과정을 수백만 번 반복함으로써, 모델은 질병이 어떻게 진행되는지에 대한 깊고 내부적인 지도를 학습합니다. 단순히 라벨을 암기하는 것이 아니라 질병의 "형태"를 배우는 것입니다.

결과: 더 나은 그룹화

연구진은 실제 데이터(ICU 환자 및 체중 관리 문제가 있는 아동 데이터 포함)를 사용하여 이 새로운 모델을 테스트하고, 기존의 가장 우수한 모델들(STraTS 및 DuETT 등)과 비교했습니다.

더 나은 "클럽": 모델의 내부 지도를 사용하여 환자를 그룹화했을 때, 그룹들이 훨씬 더 조밀하고 뚜렷하게 구분되었습니다.
- 지표: 연구진은 **실루엣 점수(Silhouette Score)**라는 지표를 사용했습니다. 이는 "그룹화 품질" 점수라고 생각하면 됩니다. Triplet-Mamba는 가장 높은 점수를 기록했는데, 이는 각 그룹 내의 환자들이 서로 매우 유사하면서도, 다른 그룹의 환자들과는 매우 확연히 구분된다는 것을 의미합니다.
더 나은 예측: 이 모델은 경쟁 모델들보다 결과(사망률 또는 체중 변화 등)를 예측하는 데 있어서도 약간 더 뛰어난 성능을 보였습니다.
안정성: 모델이 찾아낸 그룹들은 안정적이었습니다. 모델에 약간 다른 데이터를 입력하더라도 여전히 동일한 그룹을 찾아냈습니다. 이는 모델이 찾은 그룹이 단순한 노이즈가 아니라 실제 존재하는 패턴임을 시사합니다.

핵심 요약

이 논문은 "이차적" 모델(데이터가 길어질수록 느려지고 엉망이 되는 모델)에서 "선형" 맘다 모델로 전환하고, 데이터를 경직된 격자가 아닌 유연한 트리플릿으로 취급함으로써, 환자의 길고 불규칙한 병력을 훨씬 더 잘 이해하는 시스템을 구축했다고 주장합니다. 이는 환자를 그룹화하는 더 정확한 방법을 제공하며, 이는 정밀 의료를 향한 첫 번째 단계입니다.

이 논문이 주장하지 않는 것:

이 모델이 현재 병원에서 환자를 치료하는 데 사용되고 있다고 주장하지 않습니다.
이 모델이 아직 의료 텍스트(의사의 진료 기록 등)를 읽거나 X-레이를 볼 수 있다고 주장하지 않습니다 (현재는 숫자와 타임스탬프에 집중하고 있습니다).
이 모델이 질병을 치료할 것이라고 약속하는 것이 아니라, 연구자들이 사용하는 그룹화 및 예측 도구를 개선한다는 것을 의미합니다.

기술 요약: Mamba 기반 아키텍처의 표현력을 활용한 종단적 데이터 기반 환자 하위 유형 분류 개선

문제 정의
효과적인 환자 하위 유형 분류(환자들과 공유된 질병 진행 경로를 그룹화하는 것)는 정밀 의료에 있어 매우 중요하지만, 전자 건강 기록(EHR) 데이터의 본질적인 특성으로 인해 여전히 어려운 과제로 남아 있습니다. 임상 기록은 결측치, 극심한 희소성, 그리고 불규칙한 샘플링 간 interval이라는 특징을 가집니다. Transformer 기반 모델들이 임상 예측에서 성공을 거두었으나, 이들의 이차 복잡도( $O(L^2)$ )는 긴 환자의 이력을 처리하는 데 병목 현상을 일으킵니다. 이러한 한계로 인해 연구자들은 귀중한 데이터를 잘라내거나, 미세한 상태 변화를 가릴 수 있는 계산 집약적인 이산화 방법(예: binning)을 채택해야 하는 상황에 직면하며, 이는 견고한 임상 표현형을 식별하는 데 필수적인 미세한 전이를 흐리게 할 수 있습니다.

방법론: Triplet-Mamba
이러한 문제를 해결하기 위해, 저자들은 종단적 표현 학습을 위해 설계된 자기 지도 학습 아키텍처인 Triplet-Mamba를 제안합니다. 이 모델은 전통적인 Transformer 백본에서 선택적 상태 공간 모델(SSM)을 사용하는 Mamba 기반 아키텍처로 전환합니다. 이러한 전환은 선형 시간 복잡도( $O(L)$ )를 가능하게 하여, 메모리 제약을 초과하지 않고도 광범이한 환자 궤적을 처리할 수 있게 합니다.

본 방법론의 핵심 구성 요소는 다음과 같습니다:

Triplet 입력 표현: 시간을 이산화하는 기존 방식과 달리, Triplet-Mamba는 불규칙한 샘플링을 네이티브하게 처리합니다. 모델은 각 관측치를 시간, 특징, 값으로 구성된 트리플렛 $(t, f, v)$ 로 임베딩합니다. 이들은 피드 포워드 네트워크(FFN)를 통해 변수, 연속적 값, 연속적 시간을 위한 학습된 임베딩을 결합하는 초기 트리플렛 임베딩(Initial Triplet Embedding) 모듈을 통해 잠재 공간으로 매핑됩니다.
문맥적 인코딩 (Mamba 블록): 초기 임베딩은 적층된 Mamba 블록으로 구성된 문맥적 트리플렛 임베딩(Contextual Triplet Embedding) 모듈을 통과합니다. 이 블록들은 RMS 정규화, 선형 투영 및 SSM을 사용하여 관련 정보를 필터링하며, 비균일한 샘플링 속도에 적합한 효율적인 연속 시간 필터 역할을 수행합니다.
융합 셀프 어텐션 (Fusion Self-attention): 융합 셀프 어텐션 모듈은 Mamba 블록으로부터의 문맥적 임베딩을 집계하여 고정된 길이의 시계열 표현을 생성합니다. 이는 정적 인구통계학적 임베딩과 결합되어 최종 환자 표현을 형성합니다.
훈련 전략: 모델은 두 단계의 훈련 접근 방식을 채택합니다:
- 자기 지도 사전 학습 (Self-Supervised Pre-training): 모델은 더 큰 데이터셋에서 예측 목표를 통해 표현을 학습하며, 마스킹된 미래 값을 예측하는 마스크된 평균 제곱 오차(MSE) 손실을 사용합니다. 이를 통해 모델은 특정 작업에 의존하는 레이블 없이도 실제 질병 진행을 포착하는 구조화된 잠재 공간을 학습할 수 있습니다.
- 미세 조정 (Fine-tuning): 학습된 표현은 시그모이드 활성화 함수와 교차 엔트로피 손실을 사용하는 밀집 층(dense layer)을 통해 다운스트림 작업(이진 분류 또는 하위 유형 분류)에 적응됩니다.

주요 기여
본 논문은 세 가지 주요 기여를 명시합니다:

새로운 아키텍처: Transformer 모델의 컨텍스트 한계를 넘어서는 장기적인 의료 역동성을 포착하기 위해 Mamba의 효율성을 활용하는 Triplet-Mamba를 도입했습니다.
특화된 입력 표현: 연속적인 타임스탬프와 측정값을 직접 임베딩함으로써 이산화와 관련된 정보 손실을 피하고 미세한 시간 정보를 보존하는 임베딩 체계를 설계했습니다.
하위 유형 분류 파이프 Pipeline: 자기 지도 예측을 사용하여 환자 시계열 표현을 학습하고, 이후 표준 클러스터링 기법(K-means, Spectral Clustering, GMM)을 사용하여 의미 있는 하위 유형으로 분류하는 완전한 파이프라인을 구축했습니다.

실험 결과
저자들은 공공 데이터셋인 PhysioNet 2012(사망률 예측), MIMIC-IV(사망률 예측), 그리고 개인용 소아 체중 관리(Pediatric Weight Management) 데이터셋에서 Triplet-Maumba를 평가했습니다.

예측 성능: Triplet-Mamba는 이진 분류 작업에서 최첨단(SOTA) 또는 경쟁력 있는 결과를 달enc성했습니다. MIMIC-IV와 소아 데이터셋에서 베이스라인(STraTS, EHR-Mamba, DuETT)을 능가하여 MIMIC-IV에서 1.7%, 소아 체중 감소 작업에서 2.8%의 AUROC 향상을 달성했습니다. PhysioNet 2012에서는 최상의 베이스라인(DuETT)과 대등한 성능을 보였습니다.
하위 유형 품질: 비지도 학습 클러스터링 작업에서, Triplet-Mamba가 학습한 표현은 모든 데이터셋과 클러스터링 방법에서 일관되게 더 높은 **실루엣 점수(Silhouette scores)**를 나타냈습니다. 지표(ground truth)가 비만 클래스로 정의된 소아 데이터셋의 경우, Triplet-Mamba는 가장 높은 **조정 랜드 지수(Adjusted Rand Index, ARI)**를 달성하여 임상 분류와의 우수한 정렬을 입증했습니다.
안정성: 부트스트랩 안정성 분석 결과, Triplet-Mamba가 발견한 하위 유형은 매우 일관적이었으며(평균 자카드 지수 0.814), 이는 베이스라인을 크게 상회하며 안정적인 임상 표현형 형성을 위한 임계값을 초과했습니다.
절제 연구 (Ablation Studies): 트리플렛 임베딩, 융합 어텐션 층, 또는 자기 지도 사전 학습 단계를 제거했을 때 일관된 성능 저하가 발생하였으며, 이는 이 구성 요소들 간의 시너지가 모델의 성공에 필수적임을 확인시켜 줍니다.

의의 및 주장
저자들은 Triplet-Mamba가 효과적인 환자 하위 유형 분류가 종단적 EHR 데이터의 구조와 일치하는, 확장 가능하고 시간적으로 표현력이 풍부한 표현을 학습하는 데 달려 있음을 보여준다고 주장합니다. 선형 시간 시퀀스 모델과 자기 지도 학습 목표를 우선시함으로써, 본 연구는 긴 불규칙한 환자 궤적이 계산적 실현 가능성이나 임상적 충실도를 희생하지 않고도 모델링될 수 있음을 보여줍니다.

본 연구는 원칙적인 이벤트 수준 인코딩과 자기 지도 예측에 의해 뒷받침되는 견고한 표현 학습이 더욱 일관되고 임상적으로 의미 있는 환자 하위 유형을 가능하게 하는 잠재 공간을 생성한다는 점을 강조합니다. 저자들은 하위 유형 분류를 단순한 예측 연습이 아니라, 헬스케어 머신러닝에서의 근본적이고 표현 중심적인 문제로 규정합니다. 또한 현재 구현은 검사 수치와 생체 징후에 집중하고 있으나, 본 아키텍처는 향후 절차, 진단 및 기타 양상(modalities)을 포함하도록 확장 가능하도록 설계되었음을 언급합니다.