From Study Design to Executable Code: Automating Target Trial Emulation with Large Language Models

이 논문은 자연어로 된 연구 설계를 표준화된 분석 사양과 실행 가능한 R 코드로 자동 변환하는 'THESEUS'라는 프레임워크를 개발하여, 관찰 연구의 기술적 장벽을 낮추고 재현성을 향상시켰음을 보여줍니다.

핵심

이 논문은 **"의학 연구의 복잡한 코딩 작업을, 마치 스마트폰에 명령어를 입력하듯 쉽게 만들어주는 인공지능 (AI) 시스템"**을 소개합니다.

이 시스템을 **'THESEUS (테세우스)'**라고 부릅니다. 고대 그리스 신화에서 미궁을 헤매던 테세우스가 실을 따라 길을 찾았듯, 이 시스템도 연구자들이 복잡한 데이터 미궁에서 길을 잃지 않도록 도와줍니다.

핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제: "연구 설계도"와 "현실의 벽"

의학 연구, 특히 '관찰 연구' (이미 발생한 데이터를 분석하는 연구) 를 할 때는 보통 이렇게 진행됩니다.

1. 연구자: "우리는 A 약을 쓴 사람과 B 약을 쓴 사람을 비교해서 심장마비 위험을 1 년 동안 추적해야 해."라고 글로 된 연구 계획서를 씁니다.
2. 코더: 이 글자를 보고 컴퓨터가 이해할 수 있는 **복잡한 프로그래밍 코드 (R 언어 등)**로 바꿔야 합니다.

여기서 문제가 생깁니다.

• 연구 계획서를 코드로 바꾸는 건 매우 어렵습니다. 전문적인 프로그래밍 지식이 필요합니다.
• 연구팀마다 코딩 방식이 달라서, 같은 연구라도 결과가 다르게 나올 수 있습니다 (비유하자면, 같은 레시피로 요리를 해도 요리사마다 맛이 다른 것과 같습니다).
• 이 때문에 많은 연구자들이 데이터 분석이라는 '벽' 때문에 연구에 참여하지 못합니다.

2. 해결책: THESEUS (테세우스) 시스템

이 연구팀은 **대형 언어 모델 (LLM, 우리가 아는 AI)**을 활용해서 이 문제를 해결했습니다. THESEUS 는 두 단계로 작동합니다.

1 단계: "요리 레시피"를 "정해진 양식"으로 변환 (표준화)

• 상황: 연구자가 "2011 년 11 월부터 2019 년 3 월까지, 환자가 약을 끊으면 추적 종료, propensity score(성향 점수) 로 1:1 매칭"이라고 **자연어 (글)**로 말합니다.
• AI 의 역할: AI 는 이 글을 읽고, 미리 정해진 **정교한 양식 (JSON)**에 맞춰 채워 넣습니다.
  • 비유: 손으로 쓴 메뉴 주문을 받아서, 식당의 정해진 컴퓨터 주문 시스템에 맞춰 '음식명, 양, 특수 요청'을 정확히 입력하는 일입니다. AI 는 연구자가 실수하지 않도록 모든 항목을 꼼꼼히 확인합니다.

2 단계: "주문서"를 "자동 조리 기계"로 실행 (코드 생성)

• 상황: 이제 AI 가 채워진 정해진 양식 (주문서) 을 받습니다.
• AI 의 역할: 이 양식을 보고, OHDSI 라는 국제 의학 데이터 표준을 사용하는 **자동 조리 기계 (Strategus)**가 바로 작동할 수 있는 코드를 자동으로 작성합니다.
  • 비유: 주문서가 완성되면, AI 가 바로 로봇 요리사에게 "이대로 요리해!"라고 지시하는 명령어 (코드) 를 만들어냅니다.
• 자기 점검 (Self-auditing): 만약 로봇 요리사가 "에라, 이 명령어는 안 먹혀!"라고 오류를 낸다면, AI 는 스스로 그 오류를 찾아서 고쳐서 다시 실행합니다. (마치 요리사가 실수를 발견하고 바로 수정하는 것과 같습니다.)

3. 왜 이것이 중요한가요? (결과)

연구팀은 15 개의 기존 연구와 5 개의 새로운 연구를 가지고 이 시스템을 테스트했습니다.

• 정확도: 연구 계획서를 AI 가 거의 완벽하게 (90% 이상) 이해하고 정해진 양식으로 바꾸었습니다.
• 실행 성공률: 처음에 코드를 실행했을 때 오류가 있었지만, AI 가 스스로 고친 후 (자기 점검) 에는 거의 100% 성공했습니다.
• 의미: 이제 연구자들은 복잡한 코딩을 몰라도, 자연스러운 말로 연구 계획을 설명하기만 하면 AI 가 알아서 실행 가능한 코드를 만들어줍니다.

4. 요약: 이 기술이 가져올 변화

이 기술은 의학 연구의 '장벽'을 허무는 열쇠입니다.

• 과거: "나는 연구 아이디어는 좋은데, 코딩을 못 해서 연구할 수 없어." (고통)
• 미래: "나는 연구 아이디어를 말로만 설명하면 돼. AI 가 알아서 코딩해 줄 거야." (자유)

결론적으로, THESEUS 는 연구자들이 복잡한 기술적 장벽 없이, 누구나 쉽게 실제 임상 데이터로 의학 연구를 할 수 있게 만들어주는 혁신적인 도구입니다. 마치 스마트폰이 복잡한 컴퓨터 명령어 없이도 누구나 전화를 걸고 사진을 찍게 해준 것처럼, 의학 연구의 민주화를 앞당기는 기술입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 관측 연구의 재현성 및 확장성 저해: 관찰 데이터 (Real-world Data) 를 활용한 비교 효과 연구 (CER) 는 무작위 대조 시험 (RCT) 이 불가능한 상황에서 필수적이지만, 연구 설계 (Target Trial Emulation, TTE) 를 실행 가능한 분석 코드로 변환하는 과정이 기술적으로 매우 어렵습니다.
• 코드 작성의 비표준화: 각 연구팀이 자체적으로 코드를 작성함에 따라 변수 명명, 데이터 변환, 패키지 버전 등의 차이로 인해 동일한 설계라도 결과가 달라지거나 재현이 어려운 문제가 발생합니다.
• 기술적 진입 장벽: TTE 수행에는 인과 추론 방법론적 지식과 R/Python 과 같은 프로그래밍 능력이 모두 필요하여, 많은 연구자들이 참여하는 데 기술적 장벽이 존재합니다.
• 기존 도구의 한계: OHDSI(관측 건강 데이터 과학 및 정보학) 생태계는 OMOP CDM(공통 데이터 모델) 과 Strategus(표준화된 분석 도구) 를 통해 데이터와 분석 프레임워크를 표준화했으나, 여전히 OHDSI 고유의 conventions(규약) 을 이해하고 코드를 작성할 수 있는 전문성이 요구되어 접근성이 제한적입니다.

2. 제안된 방법론: THESEUS (Methodology)

저자들은 자연어 연구 설계를 표준화된 분석 명세와 실행 가능한 R 스크립트로 변환하는 THESEUS(Text-guided Health-study Estimation and Specification Engine Using Strategus) 프레임워크를 개발했습니다. 이는 두 단계로 이루어진 자동화 프로세스입니다.

A. 단계 1: 표준화 (Standardization)

• 입력: 연구 설계에 대한 자유 형식의 자연어 텍스트 (예: 연구 기간, 위험 기간, 성향 점수 조정 전략 등).
• 프로세스: 대규모 언어 모델 (LLM) 이 텍스트를 분석하여 OHDSI 생태계에서 사용하는 제약된 JSON 스키마로 변환합니다.
• 핵심: LLM 은 연구 설계의 맥락을 이해하고, 각 필드에 대한 설명 (OHDSI 가이드북 기반) 을 프롬프트에 포함시켜 JSON 형식의 구조화된 명세 (Analysis Specifications) 를 생성합니다.

B. 단계 2: 코드 생성 (Code Generation)

• 입력: 단계 1 에서 생성된 구조화된 JSON 명세.
• 프로세스: LLM 이 JSON 명세를 기반으로 Strategus R 스크립트를 생성합니다.
• 자기 감사 루프 (Self-auditing Loop): 생성된 스크립트가 실행 오류를 일으킬 경우, LLM 이 오류 로그를 분석하여 스크립트를 수정하고 재시도하는 자동 수정 메커니즘을 포함합니다.
• 출력: OHDSI 연구 저장소 템플릿에 바로 복사하여 실행 가능한 R 스크립트 (CreateStrategusAnalysisSpecification.R).

C. 인간 - 기계 협업 (Human-in-the-loop)

• GUI 프로토타입: ATLAS(웹 기반 분석 플랫폼) 와 유사한 인터페이스를 개발하여, LLM 이 생성한 명세를 사용자가 시각적으로 확인하고 수정할 수 있도록 했습니다. 이를 통해 자동화 과정에서 인간의 검증을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 자연어에서 실행 가능한 코드로의 엔드 - 투 - 엔드 자동화: TTE 연구 설계의 개념적 단계를 OHDSI 생태계에서 바로 실행 가능한 코드로 변환하는 최초의 프레임워크를 제시했습니다.
2. 표준화된 데이터 및 분석 프레임워크의 시너지 활용: OMOP CDM(데이터 표준) 과 Strategus(분석 표준) 의 구조적 제약이 LLM 의 코드 생성 정확도를 극대화할 수 있음을 입증했습니다.
3. 자기 교정 메커니즘: 코드 생성 단계에서 실행 오류를 자동으로 감지하고 수정하는 루프를 도입하여, 초기 실행 성공률을 획기적으로 높였습니다.
4. 개방형 프로토타입 및 리소스 공개: 웹 기반 프로토타입, 데모 비디오, 소스 코드를 공개하여 연구의 재현성과 접근성을 높였습니다.

4. 연구 결과 (Results)

• 평가 설정: 15 개의 OHDSI 기반 TTE 연구 (내부 검증) 와 5 개의 비-OHDSI 연구 (외부 검증) 를 대상으로 8 개의 상용 LLM(GPT-5.2, Claude-Opus-4.5 등) 을 평가했습니다.
• 표준화 정확도 (Standardization):
  • OHDSI 연구: 주요 분석 (Primary analysis) 텍스트 입력 시 연구 수준 정확도가 0.91~0.98로 매우 높았습니다. (Claude-Opus-4.5 가 0.98 기록).
  • 비-OHDSI 연구: 외부 데이터 환경에서도 주요 분석 시 0.73~0.93의 정확도를 보였으나, 전체 방법론 섹션 입력 시 정확도가 감소하는 경향이 있었습니다.
  • 필드 수준: 성향 점수 (PS) 조정과 연구 기간 추출은 매우 정확했으나, '위험 기간 (Time-at-risk)' 정의는 문맥적 모호성으로 인해 상대적으로 어려웠습니다.
• 코드 생성 실행성 (Code Generation):
  • OHDSI 연구: 첫 번째 실행 시 실행 성공률이 0.80~1.00이었으며, 자기 감사 (Self-auditing) 후 0.93~1.00으로 향상되었습니다.
  • 비-OHDSI 연구: 첫 실행 시 0.60~1.00 이었으나, 자기 감사 후 모든 모델에서 1.00의 실행 성공률을 달성했습니다.
• 결론: 구조화된 입력 (JSON) 과 자기 교정 루프를 결합하면 복잡한 분석 파이프라인에서도 LLM 이 거의 결정론적 (near-deterministic) 인 신뢰성을 가질 수 있음을 보였습니다.

5. 의의 및 시사점 (Significance)

• 관측 연구의 민주화: 코딩 기술이 부족한 연구자들도 자연어로 연구 설계를 입력하면 표준화된 분석 코드를 얻을 수 있어, 관측 연구 참여의 기술적 장벽을 낮춥니다.
• 재현성 확보: 표준화된 데이터 모델과 분석 프레임워크를 기반으로 코드가 생성되므로, 기관 간 연구 결과의 일관성과 재현성을 크게 향상시킵니다.
• 확장 가능성: 현재는 TTE(코호트 방법) 에 국한되었으나, 모듈식 아키텍처를 통해 환자 수준 예측이나 특성 분석 등 다른 연구 설계로 확장 가능하며, 향후 cohort 정의 (Criteria2Query 등) 와 통합하면 TTE 워크플로우의 완전한 자동화가 가능해질 것입니다.
• 미래 전망: 전 세계적으로 OMOP CDM 채택이 확대됨에 따라, 구조적 제약을 활용한 LLM 기반 자동화 원리는 다양한 연구 생태계와 연구 유형으로 일반화될 수 있습니다.

이 연구는 LLM 과 표준화된 의료 데이터 인프라의 결합이 관찰 연구의 생산성과 질을 혁신적으로 높일 수 있음을 실증적으로 증명한 중요한 작업입니다.