CT Open: An Open-Access, Uncontaminated, Live Platform for the Open Challenge of Clinical Trial Outcome Prediction

1. 문제 정의 (Problem)

• 임상 시험 결과 예측의 난이도: 실제 임상 시험의 결과를 사전에 정확하게 예측하는 것은 도메인 전문가에게도 매우 어려운 고위험 과제입니다. 많은 임상 시험이 시작되지만 실패하며, 이는 제약 회사, 환자, 의료진에게 큰 영향을 미칩니다.
• AI 의 예측 능력 검증 필요성: 대규모 언어 모델 (LLM) 이 인간이 수행할 수 있는 작업을 넘어, 아직 정답이 알려지지 않은 고위험 문제 (예: 미래의 임상 시험 결과) 에서 신뢰할 수 있는 예측을 할 수 있는지 검증할 필요가 있습니다.
• 데이터 오염 (Contamination) 의 문제: 기존 벤치마크는 정적 (Static) 인 경우가 많아, 최신 모델이 훈련 데이터에 포함된 과거 결과를 단순히 암기하거나 (recall) 검색하여 높은 점수를 얻는 '오염' 문제가 발생합니다. 특히 임상 시험 결과는 공식 등록지에 늦게 공개되거나, obscure 한 기사, 블로그, 금융 공시 등 다양한 곳에서 먼저 언급될 수 있어, 특정 시점 이전의 공개 여부를 확인하는 것이 매우 어렵습니다.

2. 방법론 (Methodology)

A. CT Open 플랫폼 설계

• 동적 벤치마크 (Dynamic Benchmark): 연 4 회 (겨울, 봄, 여름, 가을) 에 걸쳐 새로운 타임스탬프가 찍힌 벤치마크를 제공합니다. 각 챌린지는 3 개월의 '윈도우' 기간을 가지며, 참가자는 윈도우 시작 전까지 예측을 제출해야 합니다.
• 오염 방지 메커니즘: 제출 시점과 윈도우 시작 시점 사이에 공개된 결과가 없는 임상 시험만 평가에 포함됩니다. 이는 참가자가 기존 결과를 암기하거나 검색하는 것을 방지하고, 진정한 예측 능력을 평가하기 위함입니다.
• 질문 유형:
  • 우월성 (Superiority): 치료군이 대조군보다 통계적으로 유의미하게 우수한가? (이진 분류)
  • 비교 효과 (Comparative Effect): 치료군이 대조군보다 우월한가, 열등한가, 차이가 없는가? (3 가지 분류)
  • 종점 달성 (Endpoint): 시험이 사전 정의된 종점 (endpoint) 을 달성했는가? (이진 분류)

B. 자동화된 오염 제거 파이프라인 (Decontamination Pipeline)

CT Open 의 핵심 혁신은 반복적인 LLM 기반 웹 검색을 활용한 자동화된 오염 제거 프로세스입니다.

1. 검색 전략:
   • LLM 모드: GPT-5.2, Gemini 3 등의 웹 검색 기능을 활용하여 임상 시험 ID(NCT ID), 제목, 설명 등을 기반으로 결과를 검색합니다.
   • Brave 모드: Brave Search API 를 사용하여 후보 URL 을 추출하고, Python Requests/ZenRows 로 페이지를 크롤링하며, DeepSeek OCR 로 PDF 를 텍스트로 변환합니다.
   • Database 모드: PubMed, PMC, BioRxiv 등 학술 데이터베이스를 NCT ID 로 검색합니다.
2. 검증 프로세스:
   • 날짜 필터링: 검색된 문서의 출판 날짜가 기준일 (Cutoff Date) 이전인지 확인합니다.
   • 2 단계 GPT-5 검증:
     1. 시험 매칭: 문서가 검색 대상 임상 시험과 동일한지 확인 (NCT ID 가 없어도 약물, 스폰서, 연구 설계 등을 비교하여 매칭).
     2. 결과 보고 확인: 해당 문서가 임상 시험의 결과 (성공/실패, 유효성/안전성 등) 를 보고하고 있는지 확인.
3. 검증 결과: 이 파이프라인은 Emabase(상업적 데이터베이스) 와 수동 검토 (50 개 샘플, 2~4 시간/시험) 를 통해 검증되었으며, 오염 제거 정확도는 98% 이상으로 확인되었습니다.

C. 답변 생성 파이프라인 (Answer Generation Pipeline)

• 윈도우 기간 동안 공개된 결과 문서들을 기반으로 GPT-5.4 를 사용하여 통계적 엄격성, 특정 종점 및 치료군과의 연결성, 답변 확신을 평가합니다.
• 의사과학자 (Physician-scientist) 가 100 개 샘플을 수동으로 검증한 결과, 생성된 답변의 정확도는 99% 였습니다.

3. 주요 기여 (Key Contributions)

1. CT Open 플랫폼 출시: 임상 시험 결과 예측을 위한 개방형, 실시간, 오염 방지 플랫폼을 구축했습니다.
2. 자동화된 오염 제거 기술: LLM 기반 웹 검색과 다중 검증 단계를 결합하여, 공개된 결과의 존재 여부를 자동으로 식별하고 벤치마크를 정제하는 새로운 파이프라인을 제안했습니다.
3. 데이터셋 및 벤치마크:
   • 학습 세트: 7,292 개의 고유 임상 시험 및 15,444 개의 질문.
   • 테스트 벤치마크: Winter 2025(2025-01-31 기준일) 및 Summer 2025(2025-08-31 기준일). 두 데이터셋은 서로 겹치지 않으며, 기준일 이전의 공개 결과가 없습니다.
4. 광범위한 모델 평가: 기존 머신러닝, 신경망, Prompt 기반 LLM, RAG(검색 증강 생성), 에이전트 (Agentic) 시스템 등을 포괄적으로 평가했습니다.

4. 실험 결과 (Results)

• 전통적 ML/NN vs LLM:
  • Random Forest, Feed-Forward NN 등 전통적인 머신러닝 모델이 LLM 기반 접근법과 경쟁하거나 때로는 더 나은 성능을 보였습니다. 이는 LLM 이 표형 (tabular) 데이터의 상관관계를 학습하는 데 있어 아직 한계가 있음을 시사합니다.
  • LLM 성능: o3-mini, GPT-5, Claude Opus 4.5 등 최신 LLM 들도 단순 프롬프팅만으로는 전통적 ML 을 완전히 압도하지 못했습니다.
• RAG(검색 증강 생성) 의 효과:
  • 유사한 완료된 임상 시험을 검색하여 제공하면 (RAG) 일부 모델에서 성능 향상이 있었으나, 그 이득은 제한적이고 일관되지 않았습니다. 모델이 검색된 유사 시험과 대상 시험 간의 미묘한 차이 (설계, 환자군 등) 를 정확히 추론하지 못하는 경우가 많았습니다.
• 에이전트 (Agentic) 시스템:
  • 웹 검색 에이전트는 예상치 못하지만 유익한 정보원 (예: 환자 블로그, 특정 분석 사이트) 을 발견하여 성능을 향상시킬 수 있었습니다 (Summer 2025 에서 o3-mini + Agent 가 베이스라인 대비 유의미한 향상).
  • 하지만 계산 비용이 매우 높고 (o3-mini 기준 $1,000 이상), Winter 2025 에서는 오히려 성능이 하락하는 등 결과가 일관되지 않았습니다.
• 오염의 영향:
  • 지식 컷오프 날짜가 Winter 2025 기준일보다 늦은 Claude Opus 4.5 는 Winter 2025 에서 높은 성능을 보였으나, 기준일 이후의 Summer 2025 에서는 성능이 하락했습니다. 이는 동적 벤치마크가 모델의 실제 예측 능력을 평가하는 데 필수적임을 증명합니다.

5. 의의 및 결론 (Significance)

• AI 예측 능력의 한계와 기회: 현재 LLM 은 많은 작업에서 인간을 능가하지만, 임상 시험 결과와 같은 '미지의 미래'를 예측하는 개방형 문제에서는 여전히 어려움을 겪고 있습니다. 이는 LLM 이 구조화된 데이터의 상관관계를 학습하거나, AI 과학자 (AI Scientist) 스타일의 자동화 연구 워크플로우를 통해 전통적 예측 모델을 보완하는 방향으로 발전해야 함을 시사합니다.
• 공정한 평가 체계: CT Open 은 데이터 오염 없이 최신 AI 모델의 진정한 예측 능력을 평가할 수 있는 표준을 제시합니다. 이는 단순한 암기 능력을 배제하고, 실제 과학적 추론과 예측 능력을 가진 시스템을 선별하는 데 기여합니다.
• 임상 및 연구 영향: 정확한 임상 시험 예측은 제약 개발 비용 절감, 실패 위험 감소, 환자 안전 향상 등 실질적인 의학적 가치를 창출할 수 있습니다.

요약하자면, CT Open은 임상 시험 결과 예측이라는 난해한 문제를 해결하기 위해 자동화된 오염 제거 파이프라인과 동적 벤치마크를 도입하여, AI 시스템의 진정한 예측 능력을 평가하고 향후 AI 연구 방향을 제시하는 중요한 플랫폼입니다.