📄 medicine

PORT: Generative EHR Pretraining for Pediatric Intraoperative Risk Prediction

본 논문은 소아 환자의 전자 건강 기록(EHR) 타임라인을 사전 학습한 생성형 트랜스포머 모델인 PORT를 소개하며, 이 모델은 저차원 미세 조정(low-rank fine-tuning)을 통해 적응시켰을 때 수술 전 데이터를 바탕으로 희귀한 수술 중 악화 이벤트를 예측하는 데 있어 높은 정확도와 보정 성능을 달성함으로써 선제적인 위험 계층화를 가능하게 한다.

원저자: Junseob Kim, Haoming Shi, Michael C. Fiedorek, Hannah D. Kilday, Henry P. Foote, Christoph P. Hornik, Rishikesan Kamaleswaran, Justin B. Long

게시일 2026-08-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junseob Kim, Haoming Shi, Michael C. Fiedorek, Hannah D. Kilday, Henry P. Foote, Christoph P. Hornik, Rishikesan Kamaleswaran, Justin B. Long

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 사건이 일어나기도 전에 문제를 해결하려는 탐정이라고 상상해 보세요. 의학의 세계에서 이것을 '위험 예측'이라고 부릅니다. 의사들은 항상 수술 중 어떤 환자가 곤경에 처할지 예측하려고 노력해 왔지만, 아이들의 경우에는 이것이 특히 까다롭습니다. 그들이 찾는 사건들—예를 들어 갑작스러운 심장 문제나 혈압 급락 같은 것들—은 거대한 해변에서 특정한 모래 한 알을 찾는 것처럼 매우 드물기 때문입니다. 전통적인 방식은 단 몇 알의 모래알만을 보기 위해 돋보기를 사용하는 것과 같아서, 전체적인 그림을 놓칠 수 있습니다.

이를 해결하기 위해 과학자들은 '생성적 사전 학습(generative pretraining)'을 사용하기 시작했습니다. 이것은 로봇에게 특정 퍼즐을 풀라고 요구하기 전에, 인체의 작동 원리를 이해할 수 있도록 수백만 개의 의료 이야기(전자 건강 기록)를 읽도록 가르치는 과정이라고 생각하면 됩니다. 이는 학생에게 시험을 치르라고 하기 전에 도서관에 있는 모든 교과서를 먼저 읽게 하는 것과 같습니다. 로봇이 의학의 '언어'를 배운 후, 과학자들은 이 로봇에게 아주 작고 가벼운 업그레이드(이를 '저차원 적응(Low-Rank Adaptation)'이라 부릅니다)를 제공하여 특정 위험을 포착하는 법을 가르칩니다. 이 논문은 다음과 같이 질문합니다. 우리는 이 강력하고 사전 학습된 로봇의 두뇌를 사용하여, 아이들의 수술 중 발생하는 드물고 무서운 순간들을 발생하기도 전에 예측할 수 있을까요?

연구진은 PORT(Pediatric Operative Risk Transformer, 소아 수술 위험 트랜스포머)라는 새로운 도구를 구축했습니다. 그들은 2014년부터 2021년 사이 애틀랜타 아동 의료 센터(Children's Healthcare of Atlanta)에서 발생한 약 190,000건의 소아 마취 사례에 대한 의료 기록을 바탕으로 이를 훈련시켰습니다. 목표는 수술 중 악화(Intraoperative Deterioration, IoD), 즉 심정지가 오거나 응급 약물이 필요한 상황처럼 "수술 중에 즉각적이고 심각한 도움이 필요한 문제가 발생하는 것"을 예측하는 것입니다.

PORT가 어떻게 작동하며 무엇을 발견했는지에 대한 내용은 다음과 같습니다.

"사전 학습된 두뇌"의 마법
처음부터 모델을 만드는 대신, 팀은 먼저 "백본(backbone)" 모델이 환자의 의료 타임라인에서 다음 사건을 예측하도록 가르쳤습니다. 환자의 삶에 대한 이야기를 읽으며 열이 나면 병원을 방문하게 된다거나, 특정 심장 질환이 보통 특정 약물을 필요로 한다는 것을 배우는 로봇을 상상해 보세요. 이 로봇은 127,874명의 서로 다른 환자들의 패턴을 학습했습니다. 그 후, 팀은 이 로봇이 수술 재난의 징후를 포착하는 데 집중할 수 있도록 "특수 모자"(LoRA 어댑터)를 씌워주었습니다.

결과: 슈퍼 탐정
연구진이 본 적 없는 환자 그룹을 대상으로 PORT를 테스트했을 때, 이 모델은 놀라울 정도로 업무를 잘 수행했습니다.

정확도: PORT는 위험한 사건의 가능성을 94.2%의 확률로 정확히 식별했습니다(AUROC 0.942). 이는 약 90.6%의 정답률을 보인 차세대 최선 모델보다 유의미하게 높은 수치였습니다.
교정(Calibration): 모델은 단순히 추측하는 것이 아니라 자신의 확신에 대해 정직했습니다. 만약 모델이 문제가 생길 확률이 10%라고 말했다면, 실제로 문제가 생긴 경우도 약 10%였습니다. 이는 의사들이 그 수치를 신뢰해야 하기 때문에 매우 중요합니다.
"건초더미 속 바늘" 문제: 이러한 나쁜 사건들은 매우 드물게 발생하기 때문에(사례의 0.27%에서 발생), 대부분의 모델은 혼란을 겪습니다. 그러나 PORT는 단 0.4%의 환자에게만 "고위험" 신호를 보냈음에도 불구하고, 모든 나쁜 사건의 31.7%를 잡아냈습니다. 이는 이 모델이 모든 사람을 걱정하는 대신, 정말로 세심한 주의가 필요한 아주 작은 집단에 의사의 관심을 집중시키는 데 도움을 줄 수 있음을 의미합니다.

왜 다른가
기존의 모델들이 "환자가 열이 있는가? 예. 심장 질환이 있는가? 예."와 같이 체크리스트를 확인하는 방식이었다면, PORT는 전체 이야기를 읽는 것과 같습니다. PORT는 수술 전 아이의 삶 전체의 타임라인, 즉 과거의 수술, 약물, 검사 결과, 심지어 마지막 방문 이후 얼마나 시간이 흘렀는지까지 살펴보았습니다.

"시간 여행" 테스트: 연구진은 PORT가 미래의 데이터(2019년 이후에 진료받은 환자)에서도 여전히 작동하는지 테스트했습니다. 결과는 성공적이었습니다! PORT는 높은 정확도를 유지했으며, 이는 모델이 단순히 오래된 데이터를 암기한 것이 아니라 실제 의료 패턴을 학습했음을 시사합니다.
"이유"에 대한 답변: 이 논문은 단순히 "작동한다"고 말하는 데 그치지 않고, "왜" 그런지를 설명했습니다. '통합 기울기(Integrated Gradients)'라는 기법을 사용하여, 어떤 부분의 의료 기록이 로봇을 긴장하게 만들었는지 확인할 수 있었습니다. 예를 들어, 아이가 심장 강화 약물을 복용 중이거나 중환자실 입원 이력이 있다면, 모델은 이를 주요 위험 요소로 표시했습니다. 이는 의사들이 단순히 블랙박스를 믿는 것이 아니라, 예측의 근거를 이해할 수 있도록 돕습니다.

한계점
이 논문은 PORT가 무엇이 아닌지도 신중하게 밝히고 있습니다. PORT는 모든 아이에게 완벽하게 작동하는 수정구슬이 아닙니다.

심장 수술: 모델은 일반적인 수술에서 가장 잘 작동했습니다. 복잡한 선천성 심장 결함을 가진 아이들의 경우 모델의 정확도가 떨어졌습니다. 저자들은 이 환자들이 이미 고위험군이기 때문에, PORT가 찾아내는 "추가적인" 신호들이 덜 유용할 수 있다고 제안합니다. 이들에게는 여전히 전문화된 심장 수술 점수가 더 효과적입니다.
대체제가 아님: PORT는 의사의 판단을 대체하는 것이 아니라 의사를 돕는 도구입니다. 이 모델은 누가 추가적인 모니터링이나 전문 팀의 대기를 필요로 할지 제안하지만, 직접 수술을 수행하지는 않습니다.

결론
이 논문은 컴퓨터에게 의료 기록이라는 "언어"를 먼저 가르친 뒤, 효율적인 업그레이드를 제공함으로써, 매우 높은 정확도와 정직함으로 소아 수술 중 발생하는 드물고 위험한 사건을 포착할 수 있는 시스템을 구축할 수 있음을 시사합니다. 이는 의사들이 수술이 시작되기도 전에 "이 아이는 고위험군이니 추가 팀을 준비하자"라고 말하며, 재난이 발생하기 전에 이를 예방할 수 있는 미래를 향한 한 걸음입니다. 저자들은 이 결과가 유망하지만, 이 도구가 병원 진료의 표준적인 부분이 되기 전에는 실제 실시간 수술 환경에서 테스트가 더 필요하다고 언급했습니다.

기술 요약: PORT (Pediatric Operative Risk Transformer)

문제 정의

소아 환자의 수술 중 상태 악화(Intraoperative Deterioration, IoD)는 혈역학적 붕괴, 심정지, 계획되지 않은 혈관 활성 약물 증량 등을 포함하는 드물지만 결과가 치명적인 사건입니다. 고위험 환자를 조기에 식별하면 선제적인 수술 전 계획(예: 전문의 배치, ECMO 대기 등)을 세울 수 있으나, 현재의 위험 계층화 도구는 한계가 있습니다. 기존 방식은 수동으로 선별된 특징들(예: ASA 신체 상태, RACHS-1, STS-CHSD)이나 거시적인 수술 전후 요약에 의존하며, 이는 검사자 간 신뢰도가 부족하고 종단적 전자 건강 기록(EHR) 데이터의 복잡한 시간적 구조를 포착하지 못하는 경우가 많습니다. 또한, 소아 마취 분야의 머신러닝 모델은 역사적으로 특징 공학(engineered features)에 의존해 왔으며, 예측 불확실성을 정량화하거나 해석 가능한 환자 수준의 설명을 제공하지 못했습니다.

방법론

데이터 및 코호트

본 연구는 2014년부터 2021년까지 Children's Healthcare of Atlanta (CHOA)의 127,874명의 환자로부터 추출된 189,704건의 마취 기록을 포함하는 회고적 단일 센터 코호트를 활용하였습니다. 데이터는 12개의 구조화된 EHR 테이블에서 의료 이벤트 데이터 표준(MEDS) 형식으로 통합되었으며, 그 결과 53,705개의 고유 코드를 가진 2,650만 개의 임상 이벤트를 생성하였습니다. 데이터 누수를 방로하기 위해 환자 단위로 데이터를 분할하였으며(훈련 70%, 검증 10%, 테스트 10%), 견고성 테스트를 위해 2019년 이후의 시계열적으로 격리된 코호트를 사용하였습니다.

결과 정의

IoD는 능동적인 개입이 필요한 5가지 수술 중 사건의 복합체로 정의되었습니다:

심정지: CPR을 필요로 하는 경우.
자유 텍료 기반 악화: 마취 "Quick Note" 내 키워드 매칭, LLM 스크리닝 및 임상의 판정을 통해 식별됨.
IV 혈관 활성 약물 볼루스 투여: 특정 용량 임계값을 가진 에피네프린, 페닐레프린 등.
혈관 활성 약물 주입 속도 증가: 100% 이상의 속도 증가.
응급 동맥관 삽입: 수술 절개 후 시행된 경우.

모델 아키텍처: PORT

PORT (Pediatric Operative Risk Transformer)는 ETHOS 프레임워크를 변형한 디코더 전용 트랜스포머 아키텍처입니다.

토큰화(Tokenization): 이질적인 EHR 타임라인은 6,170개의 토큰 어휘집으로 토큰화되었습니다. 수치 값(검사 결과, 활력 징후, 용량)은 분위수(quantile) 토큰과 쌍을 이루었으며, 시간 간격은 19개의 구간 토큰으로 이산화되었습니다. 이 어휘집은 코드의 정체성을 보존하면서도 "OTHER" 빈(bin)을 통해 롱테일 분포를 처리합니다.
사전 학습(Pretraining): 백본(6개 레이어, 47M 파라미터의 GPT-2 스타일 모델)은 다음 토큰 예측을 통해 전체 MEDS 타임라인 상에서 자기회귀적으로 사전 학습되었습니다. 이는 성인 코퍼스와 구별되는 소아 수술 데이터로부터 무작위 초기화 상태에서 학습되었습니다.
적응(Adaptation, LoRA): IoD 예측을 위해 사전 학습된 백본을 동결하고, 6개 모든 어텐션 레이어의 QKV 프로젝션에 저차원 적응(LoRA) 어댑터를 삽ert했습니다. 경량 2개 레이어 MLP 분류 헤드가 "OR 진입" 토큰에서의 은닉 상태를 IoD 확률로 매핑했습니다. 이 접근 방식은 전체 파라미터의 0.73%만을 학습시켰습니다.
불확실성 추정: 세 개의 독립적으로 초기화된 모델을 앙상블하고 예측값의 표준 편차를 측정하여 예측 불확실성을 정량화했습니다.

베이스라인

모델은 다음 모델들과 비교되었습니다:

임상 베이스라인: ASA 신체 상태 점수.
표형 모델(Tabular Models): 수동 특징 및 MEDS 집계 요약을 사용한 로지스틱 회귀(LR) 및 XGBoost.
시퀀스 모델: 원시 MEDS 시퀀스로 학습된 튜닝된 양방향 LSTM (BiLSTM).
제로샷 추론(Zero-Shot Inference): 지도 학습 기반 미세 조정 없이 사전 학습된 백본을 사용하여 궤적 샘플링을 통해 확률을 추정함.

주요 결과

변별력 및 교정(Discrimination and Calibration)

격리된 테스트 세트(37,948건의 사례, 101건의 IoD)에서 PORT는 다음을 달성했습니다:

AUROC: 0.942 (95% CI: 0.915–0.964)로, 최적의 베이스라인인 BiLSTM(0.906, $p=0.006$ )을 유의미하게 능가했습니다.
AUPRC: BiLSTM의 0.191 대비 0.237을 기록했습니다.
교정(Calibration): 모델은 기대 교정 오차(ECE) 0.001로 잘 교정되었으며, 별도의 보조 교정이 필요하지 않았습니다.
제로샷 vs. 지도 학습: 제로샷 궤적 추론은 낮은 성능(AUROC 0.588)을 보였으며, 이는 비정형 텍스트 구성 요소를 포함하는 복합 결과에는 지도 학습 기반의 적응이 필수적임을 확인시켜 줍니다.

시간적 일반화 가능성

2019년 이후 환자를 대상으로 한 시계열 격리 테스트에서도 PORT는 강력한 변별력(AUROC 0.949)을 유지하며 모든 베이스라인을 능가했습니다. 이벤트 발생률(0.11%)과 짧은 수술 전 병력으로 인해 AUPRC는 감소했으나(0.051), 모델은 여전히 순위 지정 및 교정 측면에서 우수했습니다.

해석 가능성 및 기여도(Interpretability and Attribution)

통합 기울기(Integrated Gradients, IG): 사례별 기여도 분석을 통해 임상적으로 유의미한 동인을 식별했습니다. 고위험 사례의 경우, 위험은 능동적인 심혈관 지원(혈관 수축제, 강심제) 및 중환자실 입실에 의해 주도되었습니다.
카테고리 차폐(Category Occlusion): "수술 맥락(Surgical Context)" 토큰(절차, ASA, 입원 유형)을 마스킹했을 때 가장 큰 AUROC 하락( $\Delta$ AUROC = -0.056)이 발생했습니다. 그러나 "약물(Medications)"을 마스킹했을 때 가장 큰 AUPRC 하락( $\Delta$ AUPRC = -0.189)이 발생했으며, 이는 약물 강도(예: 혈관 활성 약물 사용)가 희귀한 양성 이벤트를 식별하는 데 결정적임을 나타냅니다.
위험 계층화: 상위 10% 위험 점수를 플래깅했을 때 83.2%의 IoD 이벤트를 포착했으며, 이는 BiLSTM의 72.4%와 대조됩니다. 고위험 하위 그룹(예측 확률 >10%)은 전체 사례의 0.4%에 불과했으나, 모든 IoD 이벤트의 31.7%를 포착했습니다.

효율성

추론에는 사례당 7.2ms의 시간과 318MB의 GPU 메모리만 필요했습니다. 또한 7일간의 수술 전 병력 창(window)만 사용하더라도 성능이 견고하게 유지되었으며(AUROC 0.943), 이는 장기적인 데이터가 제한적인 기관에서도 적용 가능함을 시사합니다.

의의 및 주장

본 논문은 PORT가 소아 수술 중 위험 예측을 위해 생성적 EHR 사전 학습을 적용한 첫 번째 사례라고 주장합니다. 주요 기여는 다음과 같습니다:

재사용 가능한 기초 모델: 가볍고 효율적인 LoRA 어댑터를 통해 관련 수술 전후 결과에 효율적으로 적응할 수 있는 사전 학습된 생성적 백본을 구축함으로써, 작업별 지도 학습을 넘어섰습니다.
임상적 유용성: 별도의 사후 재교정 없이도 선제적 계획(예: 인력 배치, 자원 할당)을 지원할 수 있는 교정되고 불확실성을 고려한 위험 추정치를 제공합니다.
해석 가능성: 예측을 구체적인 명명된 수술 전후 토큰에 근거하여 설명함으로써, 사례별 감사를 가능하게 하고, 높아진 위험이 단순히 급성 불안정성뿐만 아니라 기저 질환의 중증도(예: 만성 약물 사용)를 반영한다는 점을 밝혀냈습니다.
데이터 효율성: 희귀 이벤트 라벨이 적은 특화된 소아 코호트에서도, 생성적 사전 학습 접근 방식은 충분한 학습 데이터(약 50%의 코호트)가 확보될 경우 처음부터 학습된 모델보다 우수한 성능을 보였습니다.

저자들은 PORT가 고위험 심장 수술(모든 모델에서 변별력이 제한적이었던 분야)을 위한 특정 절차별 점수를 대체할 수는 없지만, 현재의 도구들이 덜 효과적인 비심장 수술을 포함한 광범위한 소아 수술 인구에 대해 위험 계층화를 위한 확장 가능하고 해석 가능한 프레임워크를 제공한다고 결론지었습니다.