Agentic Trial Emulation to Learn Health System-specific Drug Effects At Scale

이 논문은 자율 에이전트 워크플로우를 통해 대규모로 수행된 EHR 기반 시험 모의 실험에서 관찰된 RCT 결과와의 편차를 학습 가능한 시스템 고유 특성으로 간주하고, 베이지안 계층 모델을 적용하여 이러한 편차를 보정함으로써 의료 시스템별 약물 효과를 대규모로 정확하게 추정하는 새로운 프레임워크를 제시합니다.

핵심

🍳 비유: "세계적인 셰프의 레시피 vs 우리 동네 식당의 맛"

상상해 보세요. 세계적인 유명 셰프가 만든 **'완벽한 스테이크 레시피 (임상시험, RCT)'**가 있다고 칩시다. 이 레시피는 전 세계 어디서나 똑같은 맛을 낼 것이라고 약속합니다.

하지만, **우리 동네 식당 (우리 병원의 실제 환자 데이터, EHR)**에서 그 레시피대로 요리를 해보면 어떨까요?

• 우리 동네의 소고기 품질이 다를 수 있고,
• 우리 셰프의 손맛이 다를 수 있으며,
• 우리 손님의 입맛도 다를 수 있습니다.

결국 **레시피대로 만든 스테이크 (임상시험 결과)**와 **우리 식당에서 나온 스테이크 (실제 환자 데이터)**는 맛이 조금 다를 수밖에 없습니다.

기존의 연구들은 이 "맛 차이"를 보고 **"아, 우리 식당이 실수를 했구나 (데이터가 잘못됐구나)"**라고 생각하며 그 차이를 무시하거나 수정하려 했습니다.

하지만 이 논문의 연구자들은 이렇게 말합니다:

"아니요! 그 '맛 차이'는 실수가 아니라, 우리 식당만의 고유한 특징입니다. 이 차이를 무시하지 말고, 인공지능이 그 차이를 학습해서 앞으로는 '우리 식당에서 이 약을 쓰면 실제로 어떤 효과가 날지'를 정확히 예측해 보자!"

---

🤖 주인공: '바이오니 (Biomni)'라는 똑똑한 요리사 로봇

이 연구를 수행한 주인공은 **바이오니 (Biomni)**라는 인공지능 에이전트입니다. 그는 단순히 데이터를 분석하는 것을 넘어, 다음과 같은 일을 스스로 해냅니다.

1. 레시피 분석: 임상시험 논문 (세계적 셰프의 레시피) 을 읽어서 약을 어떻게 써야 하는지, 어떤 환자를 대상으로 해야 하는지 파악합니다.
2. 재료 준비 (데이터 추출): 우리 병원의 전자의무기록 (EHR) 에서 해당 환자들의 정보를 찾아 Cohort(군집) 를 만듭니다.
3. 요리 실행 (시뮬레이션): 실제 임상시험처럼 약을 처방하고 결과를 추적합니다.
4. 맛 비교: "음, 임상시험에서는 효과가 100 점인데, 우리 식당에서는 70 점이네? 왜 30 점이 줄었지?"라고 차이를 계산합니다.

이 로봇은 실수를 하지 않고도 같은 실험을 여러 번 반복해서, "아, 우리 식당에서는 항상 약효가 30% 정도 줄어드는구나"라는 패턴을 찾아냅니다.

---

🧠 핵심 아이디어: "차이 (Discrepancy) 는 실수가 아니라 데이터다"

이 논문의 가장 혁신적인 점은 임상시험 결과와 실제 병원 데이터 사이의 차이를 어떻게 바라보느냐입니다.

• 기존 생각: "차이가 나면 = 데이터가 나빠서, 분석이 잘못됐어. (고쳐야 해)"
• 이 논문의 생각: "차이가 나면 = 우리 병원 시스템의 특징이 반영된 거야. 이 차이를 학습해서 **보정 (Calibration)**하면 돼!"

연구팀은 이 차이를 세 가지로 나누어 설명합니다.

1. 보편적인 차이: "어떤 약은 원래 관찰연구에서 임상시험보다 효과가 더 좋아 보이는 경향이 있어." (문헌에서 이미 알려진 사실)
2. 우리 병원의 특징: "하지만 우리 병원에서는 특히 약효가 더 줄어드는 경향이 있어." (예: 환자들이 약을 잘 먹지 않거나, 다른 약을 함께 쓰는 등)
3. 우연: 그냥 우연히 발생한 오차.

이제 바이오니는 수천 번의 실험을 통해 이 '우리 병원의 특징 (2 번)'을 찾아내고, 임상시험 결과를 우리 병원에 맞게 수정된 지도로 만들어줍니다.

---

📊 결과: "지도 보정하기"

연구팀은 심방세동 (부정맥) 치료제 5 가지를 대상으로 실험했습니다.

• 보정 전: 임상시험 결과를 그대로 믿고 우리 병원에 적용하면, 실제 효과와 60% 이상 차이가 날 수 있었습니다. (예: 약이 100% 효과 있다고 믿었는데, 실제로는 40% 만 효과가 있는 경우)
• 보정 후: 바이오니가 학습한 '우리 병원 보정 지도'를 적용하니, 오차가 60% 이상 줄어들었습니다.
• 놀라운 점: 훈련에 쓰지 않았던 새로운 약 (아스피린 vs 아픽사반) 에 대해서도, 이 보정 지도를 적용하니 정확하게 예측이 가능했습니다.

이는 마치 GPS 가 "이 길은 항상 교통체증이 심하니까 10 분 더 걸려"라고 알려주는 것과 같습니다. 임상시험은 "이 길은 10 분 걸려"라고 말하지만, 우리 병원의 GPS 는 "우리 지역 특성상 20 분 걸려"라고 정확히 알려주는 것입니다.

---

💡 결론: 왜 이것이 중요한가요?

이 기술은 의사들이 환자에게 약을 처방할 때 큰 도움을 줍니다.

• 과거: "임상시험에서 효과가 좋았으니, 우리 환자한테도 쓸 거야." (하지만 환자에게는 효과가 없을 수도 있음)
• 이제: "임상시험에서는 효과가 좋았지만, 우리 병원 시스템과 환자 특성을 고려한 AI 보정을 해보니, 우리 환자들에게는 효과가 이렇게 줄어든다고 예상됩니다. 그래도 충분히 쓸 가치가 있네요."

이처럼 인공지능이 병원마다 다른 '현실'을 학습하여, 전 세계의 임상시험 결과를 우리 동네에 딱 맞는 현실적인 지도로 바꿔주는 것입니다. 이는 단순한 자동화를 넘어, 의료의 개인화와 지역화를 가능하게 하는 새로운 시대의 시작입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현황: 무작위 대조 시험 (RCT) 은 치료 효능에 대한 가장 강력한 증거이지만, 특정 의료 시스템 (Health System) 의 실제 임상 환경으로 이를 적용 (이송, Transportability) 하는 것은 어렵습니다. 환자 구성, 처방 관행, 순응도, 결과 측정 방식 등의 차이로 인해 RCT 결과가 실제 진료에서 다르게 나타날 수 있습니다.
• 현재의 접근법 한계: 전자 건강 기록 (EHR) 을 기반으로 한 '표적 시험 모의실험 (Target Trial Emulation)'은 RCT 와 EHR 결과 간의 불일치를 주로 방법론적 실패 (편향, 잔여 교란, 데이터 품질 문제) 로 간주합니다. 즉, 불일치는 제거해야 할 오류로 취급되며, RCT 결과가 '진실'이고 EHR 결과가 '부정확한 추정'이라는 전제를 따릅니다.
• 핵심 문제: 이러한 불일치는 단순한 무작위 오류가 아니라, 의료 시스템이 외부 증거를 어떻게 변형하여 표현하는지를 보여주는 구조적이고 학습 가능한 특성일 수 있습니다. 그러나 이를 학습하려면 방대한 규모의 표준화된 모의실험이 필요하며, 수동 워크플로는 이를 수행하기에 비효율적입니다.

2. 방법론 (Methodology)

이 연구는 자율 에이전트 (Autonomous Agent) 와 베이지안 계층 모델을 결합한 새로운 프레임워크를 제안합니다.

A. 에이전트 기반 모의실험 프레임워크 (Biomni Agent)

• 도구: 오픈소스 자율 LLM 에이전트인 Biomni를 활용합니다.
• 작업: OMOP 공통 데이터 모델 (CDM) 로 매핑된 EHR 데이터베이스를 대상으로 종단적 (End-to-End) 모의실험 파이프라인을 실행합니다.
  • 프로토콜 파싱 및 개념 세트 (Concept Set) 구성
  • 코호트 구축 및 공변량 추출
  • 교란 변수 보정 (Propensity Score 등) 및 치료 효과 추정
  • 문헌 기반 사전 분포 (Prior) 생성
• 반복 실행: 에이전트의 확률적 결정과 분석적 유연성을 정량화하기 위해 각 시험을 3 회 독립적으로 반복 실행하여 에이전트 유도 변이 (Agent-induced variability) 를 측정합니다.

B. 베이지안 계층 보정 모델 (Bayesian Hierarchical Calibration)

RCT 결과와 EHR 추정치 간의 불일치를 다음과 같이 분해하여 모델링합니다:

1. 문헌 기반 기대치 ($\mu_{lit,k}$): 해당 약물 비교에 대한 기존 문헌 (관찰 연구 및 모의실험) 에서 도출된 재현성 기대치.
2. 시스템별 체계적 이동 (Institution-specific Shift, $\mu_{site}$): 특정 의료 시스템 (본 연구에서는 Mount Sinai) 의 데이터 생성 과정이 RCT 기준과 어떻게 체계적으로 다른지를 나타내는 파라미터.
3. 잔차 이질성 (Residual Heterogeneity, $\sigma$): 위 두 가지로 설명되지 않는 시험 간 변동성.

수식적 표현:

• 잠재적 치료 효과 $\tau_k$는 문헌 사전 분포를 따름.
• EHR 추정치 $\hat{\tau}^{EHR}$은 $\tau_k + \mu_{site}$를 중심으로 분포하며, 여기에 잔차 이질성이 추가됨.

3. 주요 기여 (Key Contributions)

1. 불일치의 패러다임 전환: RCT 와 EHR 간의 불일치를 '오류'가 아닌 '학습 가능한 시스템 특성'으로 재정의했습니다. 불일치의 패턴을 통해 의료 시스템이 증거를 어떻게 변형하는지 학습합니다.
2. 대규모 자동화 모의실험: LLM 에이전트를 사용하여 수동으로는 불가능했던 규모의 표준화된 시험 모의실험을 수행하고, 이를 통해 시스템 수준의 이동 (Transport) 특성을 학습할 수 있음을 입증했습니다.
3. 불확실성 인식 지역 해석: 단순한 보정된 수치가 아니라, 시스템별 편향과 불확실성을 고려한 지역적 신뢰 구간 (Local Credible Intervals) 을 제공하여 임상 의사결정을 지원합니다.
4. 외부 유효성 검증: DOAC 대 와파린 (In-domain) 으로 학습된 모델이 아스피린 대 아픽사반 (Out-of-distribution) 인 AVERROES 시험에서도 성공적으로 일반화됨을 보여주었습니다.

4. 실험 결과 (Results)

• 데이터: Mount Sinai 의 OMOP 기반 EHR 데이터를 사용하여 5 개의 심방세동 항응고제 시험 (ARISTOTLE, ROCKET AF, RE-LY, ENGAGE AF-TIMI 48, AVERROES) 을 모의실험했습니다.
• 성능 개선:
  • 오류 감소: Leave-one-out 교차검증에서 보정 전 평균 절대 오차 (MAE) 가 0.567 에서 0.224 로 60.5% 감소했습니다.
  • 커버리지: 보정된 95% 사후 예측 구간이 홀드아웃된 4 개 시험 모두 (100%) 에서 실제 RCT 결과를 포함했습니다.
• 시스템 이동 (Institutional Shift) 발견:
  • $\mu_{site}$의 사후 분포는 일관되게 양수 (Median 0.364~0.580) 였습니다. 이는 Mount Sinai 의 EHR 데이터에서 DOAC 의 이득이 RCT 결과보다 체계적으로 감소 (Attenuation) 되어 있음을 의미합니다.
  • 이는 높은 와파린 관리 품질, 용량 조절, 순응도 차이, 결과 측정 방식 등 시스템 고유의 특성이 반영된 결과로 해석됩니다.
• 외부 검증 (OOD): DOAC 대 와파린 데이터로 학습된 모델로 아스피린 대 아픽사반 (AVERROES) 을 예측했을 때, 오차가 0.379 에서 0.051 로 86.5% 감소했으며, 실제 RCT 결과가 95% 신뢰구간 내에 포함되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 함의: 의사는 단순히 RCT 결과를 적용하는 것이 아니라, 자신의 의료 시스템에서 해당 약물이 어떻게 작용할지에 대한 보정된 확률 분포를 기반으로 의사결정을 내릴 수 있습니다.
• 방법론적 혁신: 개별 모의실험의 정확도 향상뿐만 아니라, 여러 시험을 통해 축적된 불일치 패턴을 분석하여 의료 시스템의 '이송 (Transport) 특성'을 정량화하는 새로운 접근법을 제시했습니다.
• 미래 전망: 이 프레임워크는 단일 기관의 경험을 넘어, 다양한 의료 시스템 간의 차이와 하위 집단별 효과를 학습하는 확장 가능한 기반을 마련했습니다. 불일치를 제거하려는 시도가 아니라, 불일치를 모델링하여 치료 효과가 인구 및 환경에 따라 어떻게 변하는지 이해하는 데 중점을 둡니다.

요약하자면, 이 연구는 AI 에이전트를 활용하여 대규모로 RCT 모의실험을 수행하고, 그 결과와 실제 RCT 간의 체계적인 차이를 베이지안 모델로 학습함으로써, 특정 의료 시스템에 최적화된 치료 효과 예측을 가능하게 하는 혁신적인 방법론을 제시했습니다.