EmulatRx: Empowering Clinical Trial Design with Agentic Intelligence and Real World Data

이 논문은 다양한 역할의 에이전트 간 상호작용을 통해 실시간 데이터에서 임상 증거를 추출하고 임상 시험 설계를 자동화하여 개선하는 에이전트 기반 프레임워크인 'EmulatRx'를 제안하고, 급성 및 만성 질환에 대한 MIMIC-IV 및 INSIGHT 네트워크 데이터를 통해 그 유효성을 입증합니다.

핵심

EmulatRx: 임상 시험을 설계하는 'AI 팀'의 이야기

이 논문은 **"EmulatRx(에뮬레이트 Rx)"**라는 새로운 시스템을 소개합니다. 이 시스템은 복잡한 **임상 시험 (약물이나 치료법의 효과를 검증하는 실험)**을 설계하는 과정을 인공지능 (AI) 에이전트들이 자동으로 도와주도록 만든 것입니다.

기존의 임상 시험 설계는 의사, 통계학자, 데이터 전문가 등 여러 전문가가 수주, 수개월 동안 회의와 조율을 반복하며 진행하는 매우 번거로운 일이었습니다. EmulatRx 는 이 과정을 **한 팀의 AI 전문가들이 서로 대화하며 해결하는 '가상 회의실'**처럼 바꿉니다.

이 시스템을 이해하기 쉽게 5 명의 AI 팀원과 한 편의 드라마로 비유해 설명해 드리겠습니다.

---

🎬 시나리오: "새로운 약이 정말 효과가 있을까?"

약회사가 "새로운 심부전 치료제가 정말 환자를 구할까?"라는 질문을 던졌습니다. 이제 EmulatRx 팀이 이 질문에 답하기 위해 나섭니다.

1. 팀장 (Supervisor): "일단 회의 시작하자!"

• 역할: 전체 과정을 조율하고, 누가 무엇을 할지 지시하며, 최종 보고서를 정리합니다.
• 비유: 영화의 프로듀서나 지휘자입니다. "우리는 심부전 환자를 대상으로 약을 테스트해야 해. Trialist(시험 설계자) 가 먼저 과거 데이터를 찾아오고, Informatician(정보 관리자) 이 환자 명단을 뽑아줘. Statistician(통계 전문가) 이 분석을 준비하고, Clinician(임상 의사) 이 의학적 타당성을 검토해."라고 지시합니다.

2. 시험 설계자 (Trialist): "과거의 성공 사례를 찾아보자"

• 역할: 임상시험 등록 사이트나 논문에서 비슷한 과거 시험들을 찾아서, 어떤 조건 (나이, 질병 중증도 등) 으로 환자를 뽑았는지 정리합니다.
• 비유: 연구실의 도서관 사서입니다. "과거에 심부전 약을 테스트할 때, 18 세 이상이고 혈압이 너무 낮은 사람은 제외했어. 이런 규칙들을 찾아서 정리해 드릴게요."라고 과거의 지식을 모아서 가져옵니다.

3. 정보 관리자 (Informatician): "실제 환자 명단 (데이터) 을 뽑아줘"

• 역할: 설계자가 만든 규칙을 실제 병원 기록 (전자의무기록, EHR) 에 적용합니다. "이 조건에 맞는 환자 1 만 명을 찾아서 표로 만들어줘"라고 컴퓨터에 명령합니다.
• 비유: 대규모 데이터베이스의 검색 전문가입니다. "과거의 규칙을 컴퓨터 언어 (SQL) 로 번역해서, 실제 병원에서 치료받은 1 만 3 천 명의 환자 명단을 뽑아냈어요. 그런데 일부 환자의 기록이 부족하네요?"라고 문제를 발견합니다.

4. 임상 의사 (Clinician): "의학적 관점에서 확인해 봐"

• 역할: 정보 관리자가 뽑은 명단이나 통계 결과가 의학적으로 말이 되는지 검토합니다. "이 환자는 제외해야 해", "이건 데이터가 부족하니 다른 지표를 써야 해"라고 조언합니다.
• 비유: 현장 경험 많은 주치의입니다. "데이터에서 '호흡 곤란' 기록이 없는 환자가 많네? 이건 기록 누락일 수도 있으니, 대신 '산소 농도' 수치를 기준으로 삼는 게 어떨까?"라고 현실적인 조언을 합니다.

5. 통계 전문가 (Statistician): "숫자로 증명해 줘"

• 역할: 뽑힌 환자 데이터를 분석합니다. "약이 정말 효과가 있을까?"를 수학적으로 계산하고, 편향 (잘못된 결론) 이 없도록 보정합니다.
• 비유: 정밀한 저울을 다루는 과학자입니다. "약 복용 그룹과 비복용 그룹을 비교했더니, 약을 먹은 그룹이 28 일 사망률이 40% 줄었어요. 하지만 우연일 수도 있으니 여러 번 계산해 보니, 이 효과는 진짜인 것 같습니다."라고 결론을 내립니다.

---

🔄 이 팀의 특별한 점: "상호작용과 학습"

이 5 명의 AI 는 단순히 순서대로 일만 하는 게 아닙니다. 서로 대화를 나누며 문제를 해결합니다.

• 상황: 정보 관리자가 "환자 명단을 뽑으려는데, '혈압' 데이터가 너무 부족해요"라고 말합니다.
• 대화: 임상 의사는 "그럼 '혈압' 대신 '심장 박동 수'나 '호흡 곤란 정도'로 대체하면 어떨까?"라고 제안합니다.
• 결과: 통계 전문가가 "그 데이터로 다시 분석하면 결과가 더 명확해질 것 같아요"라고 동의합니다.
• 학습: 이 과정에서 인간 전문가가 "잘했어" 또는 "다시 고쳐"라고 피드백을 주면, AI 팀은 RLHF(인간 피드백 강화 학습) 기술을 통해 다음엔 더 똑똑하게 일합니다. 마치 수련을 쌓는 무술가처럼 점점 실력이 좋아지는 것입니다.

📊 실제 성과: "기존보다 훨씬 빠르고 정확해"

연구진은 이 시스템을 **급성 질환 (패혈성 쇼크, 심부전 등)**과 **만성 질환 (알츠하이머, 파킨슨병 등)**에 적용해 보았습니다.

1. 속도: 인간 전문가들이 수주 걸리던 일을 몇 분에서 몇 시간 안에 해결했습니다.
2. 정확도: 과거의 임상 시험 결과나 합성 데이터 (가짜 데이터) 를 이용해 테스트했을 때, EmulatRx 가 내린 결론이 실제 정답과 매우 비슷하게 나왔습니다.
3. 발견: 단순히 "약이 효과가 있다/없다"만 보는 게 아니라, "어떤 환자에게는 효과가 있고, 어떤 환자에게는 부작용이 있을 수 있다"는 세부적인 차이까지 찾아냈습니다.

💡 결론: 왜 이것이 중요한가?

EmulatRx 는 임상 시험 설계라는 고된 산을, AI 팀이 함께 올라가게 만든 시스템입니다.

• 비용 절감: 실패할 가능성이 높은 시험을 미리 걸러내어 막대한 비용을 아껴줍니다.
• 환자 안전: 실제 환자를 대상으로 하기 전에, 과거 데이터로 "이 약은 위험할 수 있다"는 신호를 미리 포착할 수 있습니다.
• 새로운 치료법 발견: 기존에 알려지지 않았던 약의 새로운 효과를 찾아내어, 더 많은 환자를 구할 수 있게 합니다.

요약하자면, EmulatRx 는 **의사, 통계학자, 데이터 전문가가 한 팀이 되어 AI 로서 함께 일하는 '초고속 임상 시험 설계 공장'**입니다. 이 기술이 발전하면, 우리가 새로운 약을 기다리는 시간이 훨씬 짧아지고, 더 안전한 치료법을 만날 수 있게 될 것입니다.

기술 요약

EmulatRx: 에이전트 지능과 실제 세계 데이터 (RWD) 를 활용한 임상 시험 설계 강화

1. 연구 배경 및 문제 제기 (Problem)

임상 시험 설계 (Clinical Trial Design, CTD) 는 방대한 도메인 전문 지식과 시간이 소요되는 복잡한 과정입니다. 최근 대규모 실제 세계 데이터 (RWD, 예: 전자의무기록 EHR) 는 임상 시험 설계에 귀중한 증거를 제공할 수 있으나, 기존 머신러닝 방법론은 다음과 같은 한계를 겪고 있습니다.

• 반복적인 인간 개입 필요: RWD 에서 실제 세계 증거 (RWE) 를 추출하여 임상 시험 프로토콜에 매핑하는 과정에서 도메인 전문가와의 반복적인 대화와 수정이 필수적이며, 이는 비효율적입니다.
• 데이터 매핑의 어려움: 자연어 형태의 임상 시험 프로토콜을 구조화된 EHR 데이터 (OMOP 표준 등) 로 변환하는 계산 가능한 표현 (computable phenotyping) 과정이 어렵습니다.
• 편향과 교란 변수: 관찰 연구인 RWD 의 특성상 선택 편향과 교란 변수가 존재하여, 인과 효과를 정확하게 추정하기 위한 적절한 보정 방법이 필요합니다.

2. 방법론 (Methodology)

이 논문은 이러한 문제를 해결하기 위해 EmulatRx라는 다중 에이전트 (Multi-Agent) 프레임워크를 제안합니다. 이는 인간 전문가의 피드백을 통한 강화 학습 (RLHF) 을 결합하여 RWD 로부터 RWE 를 자동 추출하고 임상 시험 설계를 개선하는 시스템입니다.

A. 아키텍처 및 에이전트 구성
EmulatRx 는 LangGraph 기반의 구조화된 그래프 제어 흐름을 따르며, 5 가지 전문화된 에이전트로 구성됩니다. 각 에이전트는 LLM(대형 언어 모델) 을 기반으로 하며 고유한 도구와 역할을 수행합니다.

1. Supervisor (수퍼바이저): 워크플로우의 중앙 의사결정자로서 에이전트 간 조율, 작업 시작/종료 결정, 중간 결과 통합을 담당합니다.
2. Trialist (시험 설계자): ClinicalTrials.gov 및 PubMed 에서 관련 임상 시험 정보를 검색, 표준화하고, 타겟 임상 시험 프로토콜을 생성합니다.
3. Informatician (정보학자): 프로토콜을 EHR 데이터에 매핑합니다. 자격 기준 (Eligibility Criteria) 을 SQL 쿼리로 변환하고, 비정형 임상 노트 (NLP) 를 분석하여 코호트를 구축하며, 데이터 품질을 검증합니다.
4. Clinician (임상의): 도메인 전문성을 제공합니다. 문헌 검색 (RAG) 을 통해 임상적 타당성을 검증하고, 공변량 (covariates) 을 선정하며, 통계 분석 결과를 해석합니다.
5. Statistician (통계학자): 인과 추론 (Causal Inference) 을 수행합니다. 공변량 균형 조정 (PSM, IPTW 등), 생존 분석, 부작용 모델링, 표본 크기 계산을 수행하고 최종 보고서를 생성합니다.

B. 핵심 기능 및 기술

• 지식 그래프 (Knowledge Graph): 임상 시험 메타데이터, 자격 기준, 치료 전략 등을 구조화하여 효율적인 검색과 표준화를 가능하게 합니다.
• 반복적 협업 (Iterative Collaboration): 에이전트 간 동적 상호작용을 지원합니다. 예를 들어, Informatician 이 데이터 결측을 발견하면 Clinician 과 협의하여 대체 변수를 찾거나 자격 기준을 수정하는 피드백 루프가 자동으로 작동합니다.
• RLHF (Human Feedback from Reinforcement Learning): 전문가의 피드백 (점수 매기기, 순위 매기기) 을 기반으로 PPO 와 DPO 알고리즘을 통해 에이전트의 정책 (Policy) 을 미세 조정하여 출력 품질을 지속적으로 향상시킵니다.
• 고급 분석 기능:
  • Shapley 값 기반 자격 기준 최적화: 어떤 포함/제외 기준이 결과에 가장 큰 영향을 미치는지 정량화합니다.
  • 적응형 표본 크기 계산: Schoenfeld 공식을 기반으로 실제 세계 데이터의 특성을 반영한 표본 크기 추정을 자동화합니다.
  • 부작용 (Adverse Event) 모델링: 안전성 분석을 위한 자동화된 보고를 수행합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 종단적 (End-to-End) 에이전트 CTD 프레임워크: 기존에 부분적인 작업에 국한되었던 LLM 에이전트 연구와 달리, 프로토콜 설계부터 코호트 구축, 인과 분석, 결과 해석까지 전 과정을 자동화하는 통합 시스템을 제시했습니다.
2. 구조화된 에이전트 협업 메커니즘: 단순한 챗봇이 아닌, LangGraph 기반의 엄격한 제어 흐름과 도구 사용 (Tool-augmented reasoning) 을 통해 신뢰성 있고 재현 가능한 결과를 도출합니다.
3. 실제 세계 데이터 (RWD) 와 임상 시험의 자동 매핑: 자연어 프로토콜을 OMOP 표준 EHR 데이터로 변환하는 복잡한 과정을 자동화하여, 임상 시험 설계의 효율성을 극대화했습니다.
4. RLHF 를 통한 도메인 정렬: 임상 전문가의 피드백을 시스템 학습에 통합하여, 에이전트의 출력이 임상적 타당성과 일치하도록 보장했습니다.

4. 실험 결과 (Results)

연구진은 MIMIC-IV(급성 질환, ICU 데이터) 와 INSIGHT Network(만성 질환, NYC 병원 데이터) 를 활용하여 20 개의 임상 시험 사례로 시스템을 평가했습니다.

• 에이전트 성능 평가:
  • Trialist: 지식 그래프 기반 쿼리에서 정밀도 (Precision) 와 재현율 (Recall) 모두 100% 를 기록하여 기존 API 나 일반 LLM 보다 우수한 성능을 보였습니다.
  • Informatician: GPT-4o 를 기반으로 한 SQL 생성 시, 복잡한 자격 기준에서도 높은 정확도를 보였으며, 구조화된 데이터와 비정형 노트를 결합하여 기존 방법보다 33 명 이상의 추가 적합 환자를 발굴했습니다.
  • Statistician: 합성 데이터 실험에서 인과 효과 (Hazard Ratio) 를 ground truth 와 매우 근접하게 추정했으며, 하위 그룹 분석 (Subgroup Analysis) 을 통해 전체 집단에서는 보이지 않던 이질적인 치료 효과를 성공적으로 발견했습니다.
  • Clinician: GPT-4o 기반 Clinician 은 가독성, 정확성, 일관성, 유용성 등 모든 평가 항목에서 다른 모델 (Phi-4, DeepSeek-R1, Gemma 3) 을 압도적으로 우세하게 수행했습니다.
• 효율성: 수동으로 임상 시험 설계를 수행하는 데 수 일에서 수 주가 걸리는 반면, EmulatRx 는 평균 5~30 분 (LLM 모델에 따라 상이) 내에 전체 파이프라인을 실행하여 설계 과정을 획기적으로 단축했습니다.
• 사례 연구: 심부전 (Nesiritide), 급성 신장 손상 (RRT), 패혈성 쇼크 (Hydrocortisone) 에 대한 3 가지 사례 연구에서 시스템이 프로토콜을 해석하고, 코호트를 구축하며, 통계적으로 유의미한 결과 (또는 안전성 신호) 를 도출하는 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

EmulatRx 는 임상 시험 설계 과정을 수동적이고 전문가 의존적인 작업에서 자율적이고 지능적인 협업 시스템으로 전환하는 패러다임의 변화를 제시합니다.

• 비용 및 시간 절감: RWD 를 활용한 시뮬레이션을 통해 실제 임상 시험의 실패 위험을 줄이고, 설계 단계를 가속화하여 의료 혁신을 촉진합니다.
• 데이터 기반 의사결정: 실제 세계의 복잡한 환자 데이터를 반영한 정교한 인과 추론을 통해, 기존 무작위 대조 시험 (RCT) 에서 놓칠 수 있는 하위 집단 효과나 안전성 신호를 발견할 수 있습니다.
• 확장성: 이 프레임워크는 다양한 질병 영역과 데이터 소스에 적용 가능하며, 향후 다중 모달 데이터 (영상, 유전체 등) 와 연동하여 정밀 의학을 위한 핵심 도구로 발전할 잠재력을 가집니다.

결론적으로, EmulatRx 는 에이전트 지능과 실제 세계 데이터를 결합하여 임상 연구의 효율성, 정확성, 재현성을 동시에 향상시키는 강력한 솔루션으로 평가됩니다.