🤖 machine learning

X-FEMR: A Token-level Explainable Approach for Electronic Health Records Foundation Models using Transformer-based Models

이 논문은 전자 건강 기록 파운데이션 모델을 위한 최초의 토큰 수준 설명 가능성 프레임워크인 X-FEMR을 소개하며, 이는 예측을 근사화하기 위해 트랜스포머 기반 대리 모델을 사용하고 새로운 정렬 지표를 통해 임상적 관련성을 검증함으로써 블랙박스 형태의 임상 AI에 대한 해석 가능성과 신뢰성을 향상시킨다.

원저자: Jie Huang, Pengfei Yin, Zihan Xu, Daniel Capurro, Mike Conway, Ting Dang

게시일 2026-07-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jie Huang, Pengfei Yin, Zihan Xu, Daniel Capurro, Mike Conway, Ting Dang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: "블랙박스" 의사

수백만 개의 환자 기록을 학습한 매우 똑똑한 AI 의사가 있다고 상상해 보세요. 이 AI는 **전자 건강 기록을 위한 파운데이션 모델(FEMR)**이라 불리며, "이 환자가 일주일 이상 입원할 것인가?" 또는 "중환자실에 가야 하는가?"와 같은 것들을 예측하는 데 매우 뛰어납니다.

하지만 큰 문제가 하나 있습니다. 바로 이 AI가 블랙박스라는 점입니다. 당신이 환자의 병력을 입력하면 AI는 답을 내놓지만, 왜 그런 답을 냈는지는 알려주지 않습니다. 이는 마치 마법사가 재료나 주문이 무엇인지 설명도 없이, 그저 "완료되었습니다"라고 말하며 마법을 부리는 것과 같습니다. 의사들은 AI가 숨겨진 편향에 따라 실수를 저지를까 봐 걱정하기 때문에, 이유를 설명하지 못하는 이 "마법" 같은 의사를 신뢰하기를 주저합니다.

해결책: "그림자 인형술사"

연구진은 AI를 망가뜨리지 않으면서 이 블랙박스를 열어보고 싶었습니다. 이를 위해 그들은 **대리 모델(surrogate model)**을 구축했습니다.

원래의 AI(FEMR)를 복잡하고 비밀스러운 요리를 만드는 마스터 셰프라고 생각해 보세요. 당신은 완성된 요리의 맛(예측)을 볼 수는 있지만, 레시피는 볼 수 없습니다.
연구진은 그림자 인형술사(대리 모델)를 만들었습니다. 그들은 마스터 셰프가 요리하는 과정을 수천 번 관찰하며, 어떤 재료가 추가되었고 최종적인 맛은 어떠했는지를 기록했습니다. 그런 다음, 그림자 인형술사가 마스터 셰프의 요리 스타일을 완벽하게 흉내 낼 수 있도록 훈련시켰습니다.

일단 그림자 인형술사가 마스터 셰프와 똑같은 방식으로 요리하는 법을 배우고 나면, 연구진은 인형술사에게 물어볼 수 있습니다. "이봐, 어떤 특정 재료 때문에 이 요리가 짠맛이 나는 거지?" 라고 말이죠. 인형술사는 더 단순하고 투명하기 때문에, 결정에 영향을 준 정확한 양념(즉, 구체적인 데이터 포인트)을 지목할 수 있습니다.

방법론: "토큰" 탐정

이 논문은 데이터를 바라보는 새로운 방식인 **토큰 수준의 설명 가능성(Token-Level Explainability)**을 소개합니다.

데이터: 환자의 의료 기록은 단순히 텍스트 한 단락이 아닙니다. 그것은 사건들의 긴 타임라인입니다. 각 사건(검사 결과, 진단, 활력 징후 등)은 하나의 **"토큰(token)"**입니다.
탐정 작업: 연구진은 SHAP(돋보기 역할을 함)이라는 도구를 사용하여 그림자 인형술사의 작업을 살펴보았습니다. 그들은 다음과 같이 질문했습니다. "모델이 예측을 내릴 때 어떤 특정 토큰(단어, 숫자 또는 코드)에 가장 많은 주의를 기울였는가?"

예를 들어, 모델이 장기 입원을 예측했다면, "돋보기"는 "높은 심박수"나 "낮은 산소 포화도"와 같은 특정 토큰을 비추어, 이것들이 결정의 주요 원인이었음을 보여줄 수 있습니다.

"임상적 정렬(Clinical Alignment)" 테스트

AI가 "심박수"를 가리킨다고 해서 그것이 반드시 옳은 것은 아닙니다. 우연히 엉뚱한 것을 가리키고 있을 수도 있기 때문입니다. AI가 실제로 인간 의사처럼 생각하고 있는지 확인하기 위해, 연구진은 **임상 검증된 이벤트 비율(Clinical Validated Events Ratio)**이라는 새로운 점수를 고안했습니다.

의사들이 중요하다고 알고 있는 "실제 의학적 사실"(혈압, 체온, 심박수 등)의 체크리스트가 있다고 상상해 보세요.

연구진은 AI의 "돋보기"가 이러한 실제 의학적 사실 위에 얼마나 자주 머물렀는지 계산했습니다.
그 결과, AI의 가장 중요한 단서들이 인간 의사가 중요하다고 아는 것들과 일치하는 경우가 약 **30%**에 달한다는 것을 발견했습니다.

이는 시험을 치르는 학생과 같습니다. 학생이 정답을 맞혔을 때, 우리는 그 학생이 제대로 공부한 단원을 보고 맞힌 것인지, 아니면 그냥 찍어서 맞힌 것인지 알고 싶어 합니다. 이 논문은 AI가 주로 '제대로 된 단원'을 공부하고 있다는 것을 보여줍니다.

결과

그림자는 스승을 닮는다: 그림자 인형술사(대리 모델)는 원래의 마스터 셰프(FEMR)만큼이나 환자의 결과를 거의 비슷하게 예측할 수 있었습니다. 이는 그림자 모델이 충실한 복사본임을 증명합니다.
단서가 타당하다: 연구진이 AI가 무엇에 집중하고 있는지 살펴보았을 때, 상위 단서들은 심박수, 혈압, 체온 등과 같은 것들이었습니다. 이는 의사들이 실제로 살피는 것들과 정확히 일치합니다.
숫자가 가장 중요하다: AI는 단순한 텍스트 설명보다는 특정 숫자(검사 결과 등)와 사건의 타이밍에 가장 많은 주의를 기울였습니다.

핵심 요약

이 논문은 고급 의료 AI의 "블랙박스"를 개별 데이터 포인트 수준에서 분해하는 첫 번째 방법을 제시합니다. 투명한 "그림자" 버전을 구축하고 그 단서들을 실제 의학 지식과 대조함으로써, 연구진은 이 강력한 모델들이 무작위적인 노이즈가 아니라 임상적으로 유의미한 정보를 바탕으로 결정을 내리고 있음을 보여주었습니다. 이는 AI가 인간의 의학적 전문성과 일치하는 방식으로 추론하고 있음을 보여줌으로써 의료진의 신뢰를 쌓는 데 도움을 줍니다.

기술 요약: X-FEMR

문제 정의
ETHOS 및 CLMBR-T-Base와 같은 전자 건강 기록(EHR)을 위한 파운데이션 모델(FEMR)은 종단적 환자 궤적을 일반화 가능한 표현으로 변환하여 임상 예측 작업에서 강력한 성능을 입증해 왔다. 그러나 이러한 모델들은 "블랙박스"로 작동하며, 이는 편향성, 해석 가능성 및 임상적 신뢰에 대한 상당한 우려를 불러일들이킨다. SHAP(특징 기여도)이나 그래디언트 기반 방식(예: 셀리엔시 맵)과 같은 기존의 설명 가능한 AI(XAI) 기술은 파운데이션 규모의 아키텍처에는 적합하지 않은 경우가 많다. 이러한 방법들은 고차원의 분산된 표현, 복잡한 장기 문맥 상호작용, 그리고 작업 불가지론적(task-agnostic)인 FEMR 잠재 공간을 다루는 데 어려움을 겪는다. 또한, 기존의 대리 모델(예: 선형 회귀, 결정 트리)은 대개 매끄럽고 선형적인 데이터 관계를 가정하는데, 이는 EHR 데이터에 내재된 불규칙하고 이질적이며 비선형적인 시간적 역동성을 포착하는 데 실패한다. 결과적으로, 임상적 추론과 일치할 수 있도록 설계된 FEMR 전용 토큰 수준 설명 프레임워크가 부재한 실정이다.

방법론
저자들은 트랜스포머 기반 대리 모델을 활용하여 FEMR을 위한 최초의 토큰 수준 설명 접근 방식인 X-FEMR을 제안한다. 방법론은 세 가지 주요 구성 요소로 이루어진다:

데이터 수집 및 전처리:
- 본 연구는 EHRSHOT 데이터셋을 활용하며, 환자 기록을 OMOP 공통 데이터 모델(OMOP-CDM)을 따르는 임상 이벤트의 시간 순서대로 구성한다.
- 각 이벤트는 네 가지 특징, 즉 의료 코드(예: SNOMED, LOINC), 수치 값(예: 검사 결과), 텍스트 필드, 그리고 타임스탬프로 특징지어진다.
- 대상 FEMR(CLMBR-T-Base)로부터 두 가지 특정 예측 작업인 입원 기간(LOS) 예측 및 ICU 전실 예측를 위한 입력-출력 쌍을 추출한다.
대리 모델 개발:
- 트랜스포머 기반 대리 모델이 FEMR의 입력-출력 동작을 근사하도록 학습된다. 전통적인 선형 대리 모델과 달리, 이 아키텍처는 복잡한 시간적 의존성과 비선형 패턴을 포착한다.
- 이벤트 인코딩: 각 임상 이벤트는 학습된 코드 임베딩, 텍스트 임베딩, 그리고 수치 값을 위한 게이트 주입 메커니즘을 사용하여 임베딩된다. 시간적 역동성은 예측 시점까지의 시간 간격( $\Delta t$ )을 계산하여 로그 변환 및 정규화함으로써 포착된다.
- 감독 전략(Supervision Strategies): 대리 모델은 두 가지 설정 하에 학습된다:
  - 하드 라벨 감독(Hard-label Supervision): 최종 결정 경계를 포착하기 위해 이진 출력(예: 전실 여부)을 예측한다.
  - 소프트 라벨 감독(Soft-label Supervision): 모델의 확신도와 미묘한 결정 로직을 포착하기 위해 원시 확률 출력을 예측한다.
- 본 연구는 어떤 설정이 FEMR의 기저 결정 로직을 더 잘 반영하는지 확인하기 위해 이 두 설정을 비교한다.
토큰 수준 설명 및 평가:
- SHAP 분석: 학습된 대리 모델을 SHAP(SHapley Additive exPlanations)으로 분석하여, 개별 토큰(임상 이벤트)이 모델의 예측에 기여하는 정도를 정량화한다.
- 임상 정렬 지표: 이러한 설명의 임상적 관련성을 평가하기 위해, 저자들은 의학 문헌에 확립된 임상적으로 검증된 특징들(예: 특정 ICD-10 코드, 심박수 및 혈압과 같은 활력 징후)과 대리 모델이 식별한 토큰 간의 대응 관계를 정량화하는 **임상 검증 이벤트 비율(Clinical Validated Events Ratio, R)**이라는 새로운 지표를 도입한다.
- $R = \frac{\sum_{f_j \in F_c} c(f_j; D)}{\sum_{f_j \in F} c(f_j; D)}$ , 여기서 $F_c$ 는 임상적으로 관련 있는 토큰의 부분 집합이고 $c(f_j; D)$ 는 데이터셋 내 토큰 $f_j$ 의 발생 빈도이다.

주요 결과

대리 모델 성능: 하드 라벨 감독으로 학습된 트랜스포머 기반 대리 모델은 FEMR의 예측 동작을 밀접하게 근사하였으며, LOS 작업에서 원래의 CLMBR-T-Base를 능가하는 성능(AUPROC: 0.4434 vs. 0.4173)을 보였고, ICU 전실 작업에서도 대등한 성능을 달성했다. 소프트 라벨 감독은 결정 임계값 근처의 약한 양성 신호를 모델링하는 데 어려움이 있었던 것으로 보이며, 더 낮은 성능을 나타냈다.
토큰 중요도: SHAP 분석 결과, 수치 값(예: 실험실 측정치)과 **시간 델타(time deltas)**가 가장 영향력 있는 특징으로 나타났으며, 텍스트나 코드보다 더 크게 기여하였다.
임상 정렬: 식별된 중요한 토큰들은 임상 지식과 잘 일치하였다.
- LOS 작업의 경우, 상위 5개 빈도 토큰(심박수, 수축기 혈압, 체온, 이완기 혈압, 호흡수)은 전체 이벤트의 29%를 차지하였으며, 임상 검증 이벤트 비율( $R$ )은 0.3093이었다.
- ICU 전실 작업의 경우, 상위 5개 토큰(심박수, 체온, 수축기 혈압, 이완기 혈압, 산소 포화도)은 전체 이벤트의 24%를 차지하였으며, $R$ 은 0.2717이었다.
- 이러한 결과는 대리 모델의 설명이 임상적으로 검증된 예측 인자들에 집중되어 있음을 나타낸다.

의의 및 주장
본 논문은 FEMR을 위한 최초의 토کن 수준 설명 접근 방식을 제시한다고 주장한다. 그 의의는 다음과 같다:

해석 가능성의 격차 해소: 단순한 특징 수준의 설명을 넘어, FEMR이 예측을 위해 특정 환자 이력(예: 특정 시점의 특정 활력 징후)을 어떻게 활용하는지에 대한 세밀한 토큰 수준의 통찰을 제공한다.
검증된 프레임워크: 임상 검증 이벤트 비율을 도입함으로써, 저자들은 모델의 설명이 확립된 의학적 지식과 일치하는지를 평가하는 정량적 방법을 제공하며, 이는 FEMR 설명 가능성에 대한 평가 지표의 부재 문제를 해결한다.
실용적 유용성: 이 접근 방식은 해석 가능하고 신뢰할 수 있는 임상 AI를 생성하기 위한 실용적인 프레임워크를 제공하며, 임상의가 AI 권고의 근거를 이해하도록 돕고 잠재적으로 임상 점수 산정 방식이나 진료 지침을 개선하는 데 기여할 수 있다.

저자들은 길고 노이즈가 많은 환자 궤적을 모사하는 것의 복잡성과, 여러 특징 채널을 단일 이벤트 토큰으로 결합할 때 발생하는 미세 정보의 손실 가능성 등의 한계를 인정한다. 이들은 향-연구로서 시간을 별도의 모델링 구성 요소로 취급하는 대안적인 토큰화 전략을 탐구할 수 있음을 시사한다.