EveryQuery: Zero-Shot Clinical Prediction via Task-Conditioned Pretraining over Electronic Health Records

Each language version is independently generated for its own context, not a direct translation.

🏥 기존 방식: "예측의 시뮬레이션" (Autoregressive Models)

기존의 의료 AI 는 마치 미래를 예측하는 점술가와 같습니다.
환자의 과거 기록 (입원, 진료, 약 복용 등) 을 보고, "이 환자가 앞으로 어떤 일을 겪을지" 상상하며 수십 번의 가상 시나리오를 만들어냅니다.

방식: "만약 이 환자가 A 병에 걸린다면? B 약을 먹으면? C 수술을 받으면?" 하며 수십 가지의 미래 시나리오를 그려봅니다.
문제점 1 (비효율): 하나의 질문 (예: "30 일 후 입원할까?") 에 답하기 위해 수십 번의 시뮬레이션을 돌려야 하므로 시간과 계산 비용이 엄청나게 많이 듭니다.
문제점 2 (희귀 질환의 한계): 만약 '희귀한 질병'을 예측해야 한다면, 수십 번의 시나리오 중 그 질병이 한 번도 나타나지 않을 수 있습니다. 이때 AI 는 "아마도 안 걸릴 거야"라고 무작위로 추측하게 되어 정확도가 떨어집니다.
문제점 3 (질문하기 어려움): "이 환자가 30 일 후 입원할 확률은?"이라고 구체적으로 물어보면, AI 는 "내가 그려본 모든 시나리오를 합쳐서 계산해줘야 해"라고 답하며 즉각적인 대답을 못 합니다.

🚀 새로운 방식: EveryQuery (질문형 AI)

저자들이 만든 EveryQuery는 점술가가 아니라, 전문적인 의사의 진단서와 같습니다.
이 모델은 미래를 상상해 보는 대신, 사용자가 던지는 구체적인 질문을 보고 바로 답을 찾아냅니다.

1. 핵심 아이디어: "질문과 환자 기록을 함께 본다"

이 모델은 환자의 기록을 볼 때, **"무엇을 물어볼지"**를 미리 입력받습니다.

입력: [환자의 과거 기록] + [질문: "30 일 내에 '당뇨병' 진단을 받을 것인가?"]
출력: "네, 85% 확률로 발생할 것입니다." (한 번의 계산으로 끝!)

2. 창의적인 비유: "도서관 사서 vs. 독서 클럽"

기존 AI (독서 클럽):
독서 클럽에서 "다음에 무슨 일이 일어날까?"라고 묻습니다. 멤버들이 수십 명 모여서 각자 "내가 생각하기에 A 가 일어날 것 같아", "아니야 B 가 일어날 거야"라고 수십 가지 이야기를 만들어냅니다. 그중에서 '당뇨병' 이야기가 몇 번 나왔는지 세어서 확률을 계산합니다.
- 단점: 이야기가 많아야 정확하고, '희귀한 이야기'는 아예 안 나올 수 있습니다.
EveryQuery (전문 사서):
도서관 사서에게 "이 사람 (환자) 의 기록을 보고, 30 일 내에 '당뇨병'이라는 책이 나올 확률이 얼마나 될까?"라고 구체적으로 물어봅니다.
사서는 환자의 기록을 훑어보며 "이 사람은 최근 혈당 수치가 높고, 특정 약을 처방받았으니, '당뇨병'이라는 책이 나올 확률이 높군"이라고 바로 결론을 내립니다.
- 장점: 한 번에 정답을 줍니다. 그리고 '희귀한 질병'을 물어봐도, 그 질병과 관련된 단서 (증상, 기록) 를 찾아내므로 정확도가 떨어지지 않습니다.

🌟 EveryQuery 의 놀라운 성과

이 논문은 이 모델이 기존 방식보다 얼마나 뛰어난지 실험으로 증명했습니다.

압도적인 속도:
- 기존 방식은 한 환자를 분석하는 데 약 6 초가 걸렸다면, EveryQuery 는 **0.02 초 (20 밀리초)**면 충분합니다.
- 비유: 기차로 여행하는 것 (기존) vs. 초고속 열차 (EveryQuery). 약 3,000 배나 빠릅니다!
희귀 질환의 천재:
- 잘 일어나지 않는 질병 (희귀 질환) 을 예측할 때 기존 AI 는 거의 무작위 추측을 했지만, EveryQuery 는 어떤 질병이든 일관되게 잘 예측했습니다.
- 이유: 희귀한 사건이 '시나리오'에 등장하지 않아도, 질문을 통해 그 사건과 관련된 '단서'를 직접 찾아내기 때문입니다.
유연한 질문 (Promptability):
- "30 일 후 입원할까?", "다음 달에 항생제를 처방받을까?" 등 어떤 질문을 던져도 바로 답할 수 있습니다. 모델을 다시 학습시킬 필요 없이 질문만 바꾸면 됩니다.

⚠️ 아직 해결해야 할 점 (한계)

모든 것이 완벽하지는 않습니다. EveryQuery 는 **"단순한 질문"**에는 강하지만, **"복합적인 질문"**에는 약합니다.

예시: "30 일 내에 어떤 이유로든 병원에 다시 들어오면 (입원)?"
- 이는 '감기', '부상', '심장마비' 등 70 가지 이상의 다양한 이유가 모두 포함되는 질문입니다.
- EveryQuery 는 한 번에 하나의 이유만 물어볼 수 있으므로, 70 가지 질문을 각각 던져서 결과를 합쳐야 합니다. 이 과정에서 정확도가 떨어질 수 있습니다.
- 비유: 사서에게 "어떤 책이든 상관없이 다음 달에 이 사람이 책을 빌릴까?"라고 묻는 것보다, "다음 달에 SF 소설을 빌릴까?"라고 묻는 것이 훨씬 쉽습니다.

💡 결론

EveryQuery는 의료 AI 의 미래를 바꿀 수 있는 혁신적인 접근법입니다.
기존의 "미래를 상상하며 계산하는" 방식에서, "질문에 맞춰 단서를 찾아 바로 답하는" 방식으로 전환했습니다.

빠릅니다. (3,000 배 속도 향상)
정확합니다. (희귀 질환 예측 능력 향상)
편합니다. (원하는 질문을 던지면 바로 답)

앞으로 이 모델의 '질문 언어'를 더 풍부하게 만들어, 복잡한 상황도 한 번에 처리할 수 있다면 의료 현장에서 큰 변화를 가져올 것으로 기대됩니다.

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem Definition)

전자건강기록 (EHR) 기반의 파운데이션 모델은 임상 예측 분야에서 큰 잠재력을 보이고 있으나, 기존 주류 접근법인 자기회귀 (Autoregressive, AR) 모델에는 다음과 같은 치명적인 한계가 존재합니다.

계산 비용 및 비효율성: 단일 예측을 위해 수많은 미래 시나리오 (trajectory) 를 샘플링하고 통계치를 집계해야 하므로 추론 비용이 매우 높습니다.
통계적 노이즈: 특히 발생 빈도가 낮은 희귀 질환의 경우, 샘플링된 시나리오에서 사건이 나타나지 않아 확률 추정이 0 이 되거나 매우 이산적 (quantized) 이며 분산이 큽니다.
프롬프트 불가능성 (Lack of Promptability): 사용자가 특정 임상 질문 (예: "다음 30 일 내 재입원 가능성은?") 을 직접 입력하여 조건부 예측을 수행할 수 없습니다. 기존 모델은 특정 태스크에 맞춰 미세 조정 (fine-tuning) 이나 별도의 집계 프로세스가 필요합니다.

이러한 한계를 극복하기 위해 제로샷 추론 (Zero-shot inference), 효율성, 프롬프트 가능성을 모두 만족하는 새로운 EHR 파운데이션 모델이 요구되었습니다.

2. 방법론 (Methodology)

저자들은 EveryQuery라는 새로운 아키텍처를 제안하며, 이는 **태스크 조건부 전학습 (Task-Conditioned Pretraining)**을 핵심 메커니즘으로 사용합니다.

2.1 문제 공식화 및 쿼리 언어

입력: 환자의 의료 기록 시퀀스 $x$ $x$ 와 구조화된 쿼리 $q=(c, \Delta t)$ $q = (c, Δ t)$ 를 입력받습니다.
- $c$ : 관심 있는 의료 코드 (진단, 약물, 시술 등).
- $\Delta t$ : 예측 시간 창 (실험에서는 30 일로 고정).
목표: 해당 코드 $c$ 가 시간 창 $\Delta t$ 내에 발생할 확률 $P(y=1 | x, q)$ 를 직접 추정합니다.
데이터 처리: MEDS 표준을 사용하여 모든 의료 이벤트를 토큰화하며, 전학습 중에는 10,000 개의 코드를 무작위로 샘플링하여 쿼리-환자 쌍을 생성합니다.

2.2 아키텍처 (Architecture)

백본: ModernBERT-base 기반의 양방향 트랜스포머 (Bidirectional Transformer) 를 사용합니다.
쿼리 접두 (Query Prepending): 쿼리 코드 $c$ 를 임베딩하여 환자의 기록 시퀀스 앞에 배치합니다 ( $[q; x_1, \dots, x_L]$ ). 이를 통해 쿼리 토큰이 환자의 전체 기록에 주의를 기울일 수 있게 됩니다 (Cross-attention 효과).
예측 헤드:
1. 발생 확률 헤드: 쿼리된 사건이 발생할 확률 ( $\hat{y}_{occurs}$ ).
2. 검열 (Censoring) 확률 헤드: 데이터가 부족하여 결과를 알 수 없는 경우의 확률 ( $\hat{y}_{cens}$ ).
손실 함수: 검열 손실과 발생 손실의 다중 태스크 목적 함수를 최적화합니다.

2.3 추론 과정

단일 순전파 (Single Forward Pass): 사용자가 쿼리를 입력하면 모델은 미래 시나리오를 생성하지 않고, 한 번의 순전파로 직접 확률을 출력합니다.
제로샷 능력: 전학습 시 보지 못한 쿼리 (코드) 에 대해서도 모델이 학습된 쿼리-환자 매핑 구조를 통해 예측이 가능합니다.

3. 주요 기여 (Key Contributions)

태스크 조건부 전학습 패러다임 도입: 생성형 (생성 후 집계) 이 아닌, 입력된 쿼리에 직접 조건부인 판별형 (Discriminative) 전학습 방식을 EHR 에 적용하여 세 가지 이상적 속성 (제로샷, 효율성, 프롬프트 가능성) 을 동시에 달성했습니다.
희귀 사건 예측의 근본적 해결: 자기회귀 모델의 샘플링 기반 추론이 가진 희귀 사건에 대한 높은 분산 문제를 우회하여, 발생 빈도와 무관하게 안정적인 예측 성능을 보장합니다.
표현 공간의 재구성: 임베딩 분석을 통해 모델의 표현이 '환자' 중심이 아닌 '쿼리' 중심으로 조직화됨을 증명했습니다. 이는 새로운 쿼리에 대한 일반화 (OOD Generalization) 의 메커니즘적 근거가 됩니다.

4. 실험 결과 (Results)

MIMIC-IV 데이터셋을 기반으로 한 실험 결과는 다음과 같습니다.

성능 우위: 39 개의 무작위 샘플링된 예측 태스크 중 **82% (32 개)**에서 자기회귀 (AR) 베이스라인을 능가했습니다. 평균 AUC 개선폭은 +0.16 (95% CI: [0.10, 0.22]) 이었습니다.
희귀 사건에서의 강점: 사건 발생률 (Prevalence) 이 낮을수록 EveryQuery 의 우위가 두드러졌습니다.
- AR 모델: 발생률과 AUC 간 강한 양의 상관관계 ( $\rho=0.64$ ) 로 희귀 사건에서 성능이 급격히 저하됨.
- EveryQuery: 발생률과 무관한 성능 유지 ( $\rho=0.18$ ).
일반화 능력: 전학습 시 쿼리 타겟으로 사용되지 않았던 코드 (Held-out codes) 로 구성된 태스크에서도 성능 저하 없이 일관된 우위를 보였습니다 (OOD 태스크 94% 승리).
계산 효율성: 단일 태스크 예측 시 AR 베이스라인 대비 약 3,000 배 빠른 추론 속도를 기록했습니다 (AR 은 환자당 20 개의 시나리오 생성 필요, EveryQuery 는 1 회 순전파).
한계 (Readmission 태스크): "30 일 내 재입원"과 같이 70 개의 코드 중 어떤 하나라도 발생하면 되는 논리적 'OR' (Disjunction) 구조의 태스크는 현재 단일 코드 쿼리 언어로 표현이 어려워 성능이 저하되었습니다 (AUC 0.56 vs AR 0.64).

5. 의의 및 결론 (Significance & Conclusion)

EveryQuery 는 EHR 기반 임상 예측 모델의 설계 패러다임을 **생성 및 샘플링 (Generative & Sampling)**에서 **직접 조건부 판별 (Direct Conditional Discrimination)**로 전환할 수 있음을 입증했습니다.

임상 실용성: 고비용의 시뮬레이션 없이도 다양한 임상 질문에 대해 즉시, 정확하게 답변할 수 있어 임상 의사결정 지원 시스템 (CDSS) 에의 적용 가능성이 높습니다.
희귀 질환 대응: 희귀 질환 예측의 정확도 문제를 해결하여, 기존 모델이 간과하기 쉬운 저빈도 임상 사건의 예측을 가능하게 합니다.
미래 과제: 현재 쿼리 언어의 표현력 한계 (논리적 연산 부재) 를 극복하기 위해 'OR', 'AND', 'NOT' 등을 지원하는 확장된 쿼리 언어 개발이 향후 연구의 핵심 방향입니다.

요약하자면, EveryQuery 는 효율성, 정확성, 유연성을 모두 갖춘 차세대 EHR 파운데이션 모델로서, 특히 희귀 사건 예측과 실시간 임상 쿼리에 있어 자기회귀 모델을 압도하는 성능을 보입니다.