AERO: An AI Agent for Adaptive Eligibility Refinement and Optimization of Clinical Trial Criteria in Real-World Trial Emulation

이 논문은 대규모 언어 모델을 활용하여 임상 시험 적합성 기준을 체계적으로 분류하고 정제함으로써 실제 세계 데이터 모방을 위한 임상 시험 적합성 기준을 최적화하는 AI 에이전트 프레임워크인 AERO 를 소개하며, WARCEF 시험 모방을 통해 치료 효과 추정의 일반화 가능성과 정확성을 향상시켰음을 입증합니다.

핵심

유명한 완벽하게 통제된 요리 대회 (무작위 대조 시험, RCT) 를 재현하려고 한다고 상상해 보세요. 이때 수천 가구의 다양한 식자재로 가득 찬 거대하고 지저분한 현실 세계의 식료품 저장고 (전자 건강 기록, EHR) 를 사용한다고 가정해 봅시다.

원래 대회에서 심사위원들은 매우 엄격한 규칙 목록을 가지고 있었습니다. "2 세 미만의 닭에서 낳은 달걀만 사용한다", "요리사가 특정 알레르기가 있다면 소금을 넣지 않는다", "요리사는 4 시간 동안 휴식 없이 서 있을 수 있어야 한다"는 식이었습니다. 이러한 규칙은 대회가 공정하게 진행되고 결과가 명확하도록 보장했습니다.

그러나 현실 세계의 식료품 저장고에서 이러한 정확한 식자재를 찾으려 할 때 벽에 부딪히게 됩니다. 달걀만 보고 닭의 나이를 알 수 없습니다. 모든 요리사의 알레르기 이력에 대한 기록이 없습니다. 또한 요리사가 실제로 4 시간 동안 서 있어야 한 적이 없다면, 그들이 4 시간 동안 서 있을 수 있는지 알 수 없습니다. 원래 규칙을 그대로 적용하려고 하면 식료품 저장고의 90% 를 버리게 되어 연구할 요리사가 거의 남지 않을 수 있습니다. 그보다 더 나쁘게는, '완벽한' 요리사만 우연히 남게 되어 결과가 실제 세계와 다르게 보일 수도 있습니다.

AERO 등장: 똑똑한 수석 조교

이 논문은 AERO(Adaptive Eligibility Refinement and Optimization을 위한 AI 에이전트) 를 소개합니다. AERO 는 지식이 풍부하고 매우 똑똑한 수석 조교와 같아서, 원래 대회의 정신을 잃지 않으면서도 그 지저분한 현실 세계의 식료품 저장고에 적용 가능한 방식으로 엄격한 대회 규칙을 번역해 줍니다.

다음은 AERO 가 작동하는 방식을 간단한 비유로 설명한 것입니다:

1. "네 개의 상자" 분류 시스템

AERO 는 모든 규칙을 맹목적으로 따르려는 대신, 각 규칙을 살펴보고 "이 규칙은 실제로 무엇을 위한 것인가?"라고 묻습니다. 그리고 모든 규칙을 네 개의 상자로 분류합니다:

• 상자 1: "필수 항목" (엄격한 포함): 이는 대회가 누구를 위한 것인지 정의하는 핵심 규칙입니다. 예시: "요리사는 수프를 만들어야 한다." AERO 는 이를 하드 필터로 유지합니다. 수프를 만들지 않으면 탈락입니다.
• 상자 2: "안전 경고" (엄격한 제외): 이는 위험에 관한 규칙입니다. 예시: "심한 견과류 알레르기가 있는 사람은 입회할 수 없다." AERO 는 이것도 유지합니다. 안전은 양보할 수 없으며, 기록에서 보통 쉽게 파악할 수 있기 때문입니다.
• 상자 3: "배경 잡음" (교란 변수): 이는 요리사를 설명하지만 반드시 자격을 박탈하는 것은 아닌 규칙들입니다. 예시: "요리사는 과거에 특정 브랜드의 소금을 사용해야 한다." 현실 세계에서는 이는 수프의 맛을 다르게 만드는 요인일 뿐, 요리사를 쫓아내야 할 이유가 아닐 수 있습니다. AERO 는 "그들을 버리지 마세요! 그냥 기록해 두었다가 나중에 수프를 맛볼 때 이를 보정하면 됩니다"라고 말합니다. 이렇게 하면 연구에 더 많은 사람들이 포함됩니다.
• 상자 4: "불가능한 과제" (삭제/운영적): 이는 현실 세계의 식료품 저장고에서는 의미가 없는 규칙들입니다. 예시: "요리사는 휴식 없이 4 시간 프로토콜을 따를 수 있어야 한다." 데이터베이스에서 이를 확인할 수 없습니다. AERO 는 "이것은 측정할 수 없으니, 좋은 요리사를 실수로 제외하지 않도록 이 규칙을 완전히 삭제합시다"라고 말합니다.

2. "지식 사서"

AERO 는 단순히 추측하는 것이 아닙니다. 결정하기 전에 세 가지 다른 책을 꺼내는 사서처럼 행동합니다:

• 질병을 이해하기 위한 의학 백과사전(UpToDate)
• 맥락을 해석하기 위한 스마트 AI 어시스턴트(Claude)
• 위험한 상호작용을 확인하기 위한 약물 안전 매뉴얼(ToolUniverse)

원래 시험 규칙과 이러한 추가 지식을 결합함으로써 AERO 는 어떤 규칙을 유지할지, 어떤 규칙을 수정할지, 어떤 규칙을 버릴지 결정합니다.

3. 시범 주행: WARCEF 시험

AERO 가 작동하는지 확인하기 위해 연구자들은 WARCEF 시험을 재현하는 데 AERO 를 사용했습니다.

• 원래 시험: 심부전 환자에게 와파린 (혈액 희석제) 과 아스피린을 비교했습니다. 결과는? 차이가 없음이었습니다. 두 약물은 거의 동일하게 작용했습니다.
• 문제점: 만약 원래의 엄격한 규칙을 사용하여 현실 세계의 병원 기록에서 이러한 환자를 찾으려 한다면, 실제 사람들과는 다르게 보이는 작고 기이한 환자 그룹만 얻게 될 가능성이 높습니다.
• AERO 의 해결책: AERO 는 규칙을 재분류했습니다. 심부전 진단 (필수 항목) 과 안전 제외 조건 (안전 경고) 은 유지했습니다. 하지만 '최근 심박동기 이식'이나 '특정 약물 이력'과 같은 항목들은 '배경 잡음' 상자로 이동시켜, 해당 환자들은 유지하되 나중에 수학적 보정을 하도록 했습니다.

결과:
AERO 가 최적화한 규칙으로 연구를 진행했을 때, HR = 1.56이라는 결과가 나왔습니다 (이는 "유의미한 차이가 없음"을 통계적으로 표현한 것입니다). 이는 원래 시험의 결론 (HR = 1.01, "차이 없음") 과 일치했습니다.

"Ablation(절제)" 교훈 ("만약에" 실험)
논문은 AERO 의 분류가 왜 중요한지 증명하기 위해 흥미로운 실험을 추가로 수행했습니다. 그들은 "특정 혈액 희석제 (LMWH) 를 복용 중인 환자는 제외"라는 하나의 특정 규칙을 가져왔습니다.

• 시나리오 A (엄격한 규칙): 그들은 해당 혈액 희석제를 복용하는 모든 사람을 연구에서 제외했습니다. 갑자기 결과가 바뀌었습니다! 한 약물이 다른 약물보다 더 나은 것처럼 보였습니다. 왜냐하면 그들을 제외함으로써 실수로 가장 아픈 환자들을 제거하여 그룹을 왜곡했기 때문입니다.
• 시나리오 B (AERO 의 방식): 그들은 해당 환자를 유지하되, 혈액 희석제를 나중에 보정하기 위한 "배경 잡음"으로 처리했습니다. 결과는 다시 "차이 없음"으로 돌아갔으며, 원래의 진실과 일치했습니다.

핵심 교훈

이 논문은 누구를 연구에 포함시킬지 결정하는 방식이 결과를 바꾼다고 주장합니다.

엄격한 실험실 시험을 지저분한 현실 세계에 그대로 복사 - 붙여넣기하면 실험이 망가질 수 있습니다. AERO 는 번역기 역할을 합니다. AI 와 의학 지식을 사용하여 "이 규칙은 안전에 관한 것이니 유지하세요. 이 규칙은 운영상의 문제이니 삭제하세요. 이 규칙은 단지 특성일 뿐이니 보정하세요"라고 말합니다.

이렇게 함으로써 AERO 는 연구자들이 비싸고 통제된 시험이 일반적으로 필요한 질문들을 현실 세계의 병원 데이터를 사용하여 답변할 수 있게 하며, 동시에 답변이 여전히 정확하고 공정하도록 보장합니다. 이는 실험실의 "완벽한 세계"와 실제 병원의 "지저분한 세계" 사이의 간극을 메워줍니다.

기술 요약

"실제 임상 시험 시뮬레이션에서 임상 시험 기준의 적응적 적합성 정제 및 최적화를 위한 AI 에이전트 AERO"에 대한 상세한 기술 요약입니다.

1. 문제 제기

실제 임상 시험 시뮬레이션의 과제:
무작위 대조 시험 (RCT) 은 인과 추론의 금표준이지만, 제한적인 적합성 기준은 종종 결과의 일반화를 더 넓은 실제 인구 집단에 제한합니다. 목표 시험 시뮬레이션은 관찰 데이터 (예: 전자의무기록 - EHR) 를 사용하여 RCT 설계를 재현하여 실제 세계 증거 (RWE) 를 생성하려는 시도입니다. 그러나 프로토콜로 정의된 적합성 기준을 EHR 기반 코호트로 번역하는 데에는 중요한 병목 현상이 존재합니다.

• 운영적 비실현성: 많은 시험 기준은 EHR 에서 이용 불가능하거나 일관성 있게 기록되지 않는 측정치 또는 평가에 의존합니다.
• 주관성과 편향: 이러한 기준을 적응시키는 작업은 현재 수동적이고 전문가 주도적인 결정에 의존하는데, 이는 노동 집약적이며 재현하기 어렵고 주관적 편향에 취약합니다.
• 선택 편향: 기준을 그대로 적용하면 코호트 크기가 급격히 감소하거나 임상적으로 관련 있는 환자가 배제되어 비교 효과 추정을 왜곡할 수 있습니다. 반면, 체계적인 근거 없이 기준을 임의로 완화하면 새로운 편향이 도입될 수 있습니다.

2. 방법론: AERO 프레임워크

저자들은 실제 세계 데이터에 대한 임상 시험 적합성 기준의 적응을 자동화하도록 설계된 에이전트 프레임워크인 AERO(Adaptive Eligibility Refinement and Optimization 을 위한 AI 에이전트) 를 제안합니다.

핵심 아키텍처:
AERO 는 추론 코어로 지식 증강 대형 언어 모델 (LLM)(본 연구에서는 구체적으로 GPT-5) 을 활용합니다. 의사결정을 지원하기 위해 세 가지 이질적인 외부 지식 소스를 통합합니다.

1. 임상 지식 베이스: UpToDate(질병 배경, 적응증, 금기증 제공).
2. 의료 LLM: Claude AI(맥락적 임상 해석 제공).
3. 약물 지식 도구: ToolUniverse(구조화된 약리학 및 안전 데이터 제공).

5 단계 파이프라인:

1. 추출: 임상 시험 프로토콜 (예: ClinicalTrials.gov) 에서 원래 적합성 기준을 추출합니다.
2. 검색: 시험 맥락에 기반하여 관련 외부 의료 지식을 검색합니다.
3. AI 주도 최적화: LLM 이 프로토콜 의도와 외부 지식을 기준으로 각 기준을 분석하여 다음 네 가지 범주 중 하나로 분류합니다.
   • 엄격한 포함: 대상 인구를 정의하는 필수 특성 (예: 특정 진단, 박출 분율).
   • 엄격한 제외: 안전 관련 또는 임상적으로 필요한 제한 사항 (예: 임신, 중증 간 장애).
   • 교란 변수: 결과에 영향을 미치지만 코호트 필터링이 아닌 통계적 조정을 통해 처리해야 하는 변수 (예: 최근 뇌졸중, 심박동기 사용, 특정 약물 사용).
   • 삭제/운영 불가: EHR 에서 중복되거나 주관적이거나 운영화하기 어려운 기준 (예: "외래 프로토콜 준수 능력", "수정된 Rankin 점수").
4. 코호트 구성: 최적화된 기준을 EHR 데이터 (Mayo Clinic Platform) 에 적용합니다. 환자는 모든 포함 기준을 충족하고 어떤 제외 기준도 충족하지 않아야 합니다. 교란 변수는 하류 통계적 조정 (예: 성향 점수 매칭, Cox 회귀) 을 위해 데이터셋에 유지됩니다.
5. 결과 분석: 생존 분석 (Cox 비례 위험 모델) 을 사용하여 비교 효과를 추정합니다.

3. 주요 기여

1. 적합성 정제를 위한 최초의 AI 에이전트: AERO 는 수동 휴리스틱을 넘어 실제 세계 시뮬레이션을 위해 임상 시험 적합성 기준을 체계적으로 정제하도록 설계된 새로운 에이전트 접근법으로 제시됩니다.
2. 지식 기반 추론: 순수 데이터 기반 필터링과 달리, AERO 는 결정이 임상적으로 근거 있고 재현 가능하도록 다양한 외부 의료 지식 소스를 명시적으로 통합합니다.
3. 확장 가능한 파이프라인: 이 프레임워크는 통제된 시험과 일상적인 임상 실습 간의 격차를 해소하는 RCT 프로토콜을 실제 세계 연구로 번역하는 재현 가능한 파이프라인을 입증합니다.

4. 결과: WARCEF 시험 시뮬레이션

이 프레임워크는 시험 완료 전 기간 (2014 년 7 월 이전) 의 Mayo Clinic Platform 데이터를 사용하여 WARCEF 시험(감소된 심박출 분율에서의 와파린 대 아스피린) 을 시뮬레이션하여 평가되었습니다.

코호트 특성:

• 인구통계학: AERO 로 최적화된 코호트는 원래 시험 코호트와 비교하여 약간 더 나이가 많고 성별 분포가 다르지만, 치료 배정 비율은 유지되었습니다.
• 기준 재분류:
  • 엄격하게 유지: 심부전 진단, 감소된 박출 분율 (EF ≤ 35%).
  • 교란 변수로 재분류: 최근 뇌졸중, 심박동기 삽입, NSAID 사용, 크레아티닌 수치, 항혈소판 요법 필요성.
  • 삭제: EHR 에 포착되지 않은 기능 평가 및 기대 수명 판단.

결과 분석:

• 주요 발견: AERO 로 최적화된 기준을 사용한 시뮬레이션은 위험비 (HR) 1.561(p = 0.0605)을 산출했습니다.
• 일관성: 이 결과는 와파린과 아스피린 사이에 통계적으로 유의한 차이가 없음을 결론지은 원래 WARCEF 시험 결과 (HR = 1.01, p = 0.91) 와 일치합니다.
• 해석: 코호트 구성의 차이에도 불구하고, 최적화된 기준은 원래 시험의 중립성 결론을 유지하여 실제 세계 적용성을 개선하면서도 임상 의도를 유지하는 프레임워크의 능력을 검증했습니다.

절대 연구 (처리 결정의 영향):
저자들은 "저분자량 헤파린 (LMWH) 으로 지속적인 요법이 필요하다"는 기준에 대해 절대 연구를 수행했습니다.

• 시나리오 A(엄격한 제외): LMWH 사용을 엄격한 제외 기준으로 처리한 결과, 치료군 간에 통계적으로 유의한 분리가 나타났습니다 (p = 0.0347).
• 시나리오 B(교란 변수): LMWH 사용을 교란 변수로 처리 (통계적으로 조정) 한 결과, 유의한 차이가 없었습니다 (p = 0.0605).
• 결론: 이 연구는 적합성 처리 결정이 관찰된 치료 효과에 실질적인 영향을 미친다는 것을 입증했습니다. 변수를 필터에서 교란 변수로 재분류함으로써 인위적으로 치료 차이를 과장했을 수 있는 선택 편향을 방지했습니다.

5. 중요성 및 함의

• 방법론적 발전: AERO 는 적합성 적응을 주관적이고 수동적인 전처리 단계에서 인과 추론의 체계적이고 투명하며 AI 주도적인 설계 구성 요소로 전환합니다.
• 편향 완화: 안전 제외 사항과 교란 변수를 구분함으로써 관찰 데이터에서 과도하게 제한적인 필터링으로 인한 선택 편향을 줄입니다.
• 재현성: 구조화된 분류 (포함, 제외, 교란 변수, 삭제) 는 다양한 연구 및 기관 간 목표 시험 시뮬레이션의 재현성을 향상시킵니다.
• 미래 전망: 규제 기관이 RWE 에 점점 더 의존함에 따라, AERO 와 같은 프레임워크는 RCT 프로토콜을 실제 세계 증거 생성으로 확장하는 데 필수적이며, 임상 시험 결론이 다양한 일상적인 임상 인구 집단에 적용될 때 유효성을 유지하도록 보장합니다.

지적된 한계: 본 연구는 단일 시험 사례 (WARCEF) 에 의존했으며, 더 광범위한 검증이 필요합니다. 또한, 이 프레임워크는 프롬프트 구조에 민감할 수 있는 LLM 추론에 의존하며, EHR 데이터에 내재된 잔여 교란은 여전히 과제입니다.