1. 문제 정의 (Problem Statement)

임상 시험 정보에 대한 접근성은 환자, 의료진, 연구자 및 정책 입안자에게 필수적입니다. 현재 임상 시험 데이터는 주로 두 개의 고립된 소스 (실리) 에 존재합니다.

• ClinicalTrials.gov (CTG): 50 만 건 이상의 등록을 보유한 공식 레지스트리이지만, 미국 외에서 수행된 많은 시험은 등록되지 않았거나, 등록되어도 결과가 공개되지 않은 경우가 많습니다.
• PubMed: 3,500 만 건 이상의 생물의학 논문을 인덱싱하지만, 텍스트 기반 (Free-text) 으로 되어 있어 비전문가가 필터링하거나 구조화된 데이터를 추출하기 어렵습니다.

핵심 문제: CTG 와 PubMed 는 서로 다른 포맷과 인터페이스를 가지며 통합되지 않아, 연구자들은 두 플랫폼을 수동으로 오가며 데이터를 검색하고 통합해야 하는 비효율적인 상황에 직면해 있습니다. 특히 PubMed 에는 CTG 에 등록되지 않은 수많은 임상 시험 결과가 포함되어 있어, 이를 구조화된 형태로 접근할 수 있는 체계가 부재합니다.

2. 방법론 (Methodology)

저자들은 CLINICALTRIALSHUB이라는 통합 플랫폼을 개발하여 CTG 의 구조화된 데이터와 PubMed 의 비구조화된 논문 데이터를 융합했습니다. 시스템은 크게 세 가지 핵심 기술 스택으로 구성됩니다.

2.1. 통합 검색 파이프라인 (Unified Search Pipeline)

• 쿼리 정제 (Query Refinement): 사용자의 자연어 쿼리를 LLM(GPT-5.1) 을 통해 PICO(환자, 중재, 비교, 결과) 기반의 구조화된 검색 파라미터로 변환합니다.
• 다중 소스 검색: CTG API 와 PubMed E-utilities API 를 비동기적으로 호출하여 데이터를 수집합니다.
• 재순위화 및 통합 (Reranking & Integration):
  • 각 소스별로 BM25 점수를 계산하고 정규화합니다.
  • PubMed 논문과 CTG 등록 정보가 서로 참조하는 경우 양방향 매핑을 통해 레코드를 병합하고, 관련성 보너스를 부여합니다.
  • 최종적으로 통합된 순위 목록을 사용자에게 제공합니다.

2.2. 정보 추출 (Information Extraction)

PubMed 의 비구조화된 텍스트를 CTG 와 동일한 구조화 형식 (JSON) 으로 변환하는 파이프라인을 구축했습니다.

• LLM 활용: GPT-5.1, Gemini-3-Pro, Claude-4.5-Sonnet 등 최첨단 LLM 을 평가하여 최적 모델을 선정했습니다.
• 모듈화 접근: 211 개의 필드를 6 개의 프로토콜 모듈, 4 개의 결과 모듈, 1 개의 파생 모듈로 나누어 병렬 처리함으로써 할루시네이션을 줄이고 처리 속도를 높였습니다.
• 검증: 추출된 데이터는 CTG 스키마, 열거형 값, MeSH 용어, 통계적 일관성 등을 기준으로 자동 검증됩니다.

2.3. 근거 기반 대화형 질의응답 (Attributed Grounded QA)

• 개별 임상 시험 상세 페이지에서 사용자가 특정 질문에 대해 답변을 요청할 수 있는 챗봇 기능을 제공합니다.
• FACTS Grounding Benchmark를 사용하여 모델의 사실 기반 답변 능력을 평가했습니다.
• Gemini-3-Pro가 가장 높은 grounding 점수 (0.897) 를 기록하여 QA 백본 모델로 선정되었습니다.
• 답변은 원문 문장에 대한 인용 (Attribution) 을 제공하며, 클릭 시 해당 문장이 하이라이트되고 스크롤됩니다.

3. 주요 기여 (Key Contributions)

1. 통합 사용자 인터페이스: CTG 와 PubMed 의 데이터를 단일 인터페이스에서 통합 검색하고, 중복 레코드를 자동으로 병합하여 보여주는 최초의 플랫폼 중 하나입니다.
2. 대규모 비구조화 데이터의 구조화: LLM 을 활용하여 PubMed 에 있는 미등록 임상 시험 데이터 (약 899,846 건) 를 CTG 와 호환되는 구조화된 형식으로 자동 추출하여 검색 가능하게 만들었습니다.
3. 증거 기반 QA 시스템: 임상 시험에 대한 질문에 대해 원문 근거를 명시적으로 제시하는 대화형 시스템을 구현하여, 정보의 신뢰성을 높였습니다.
4. 포괄적인 평가: 7 명의 의료 전문가를 대상으로 한 사용자 연구와, 3 개의 최첨단 LLM 에 대한 정량적 벤치마킹 (정보 추출 및 QA 성능) 을 수행했습니다.

4. 결과 (Results)

4.1. 데이터 접근성 향상

• CTG 만을 사용할 때 대비 구조화된 임상 시험 데이터 접근성이 83.8% 증가했습니다.
• PubMed 의 민감도 (Max Sensitivity) 기준으로는 약 962,774 건의 임상 시험 관련 논문이 존재하며, 이 중 상당 부분이 CTG 에 등록되지 않았습니다.

4.2. 정보 추출 성능 (Information Extraction)

• GPT-5.1이 키 레벨 (Key-level) F1 점수 0.980, 값 레벨 (Value-level) F1 점수 0.890으로 가장 높은 성능을 보였습니다.
• Gemini-3-Pro 도 경쟁력 있는 성능 (F1 0.960/0.870) 을 보였으나, 비용 효율성과 배포 고려 사항으로 GPT-5.1 이 선택되었습니다.
• 추출된 데이터는 CTG 에 누락된 정보가 PMC 논문에 포함된 경우가 많아, 두 소스의 상호 보완적 가치를 입증했습니다.

4.3. 질의응답 (QA) 성능

• Gemini-3-Pro가 FACTS 벤치마크에서 가장 높은 grounding 점수 (0.897) 를 기록했습니다.
• 다른 모델들에 비해 더 많은 토큰과 시간을 소모하지만, 더 깊고 정확한 추론을 통해 간결하고 신뢰할 수 있는 답변을 생성했습니다.

4.4. 사용자 연구 (User Study)

• 7 명의 의료 전문가 (혈액학자, 약사, 통계학자 등) 를 대상으로 한 연구에서 높은 만족도를 기록했습니다.
• 검색 기능: 쿼리 생성 (4.50/5), 필터링 (4.40/5), 적합성 확인 (4.50/5) 에서 높은 점수.
• 정보 추출 정확도: 연구 개요 (5.0/5), 연구 계획 (5.0/5) 등 구조화된 필드에서 매우 높은 정확도 인식.
• 챗봇 품질: 답변의 정확성과 관련성 (4.86/5) 및 전체 효율성 (4.86/5) 에서 매우 긍정적인 평가를 받았습니다.
• 검색 결과: 상위 30 개 결과에서 CTG 단독 (3/7) 또는 PubMed 단독 (5/7) 보다 CLINICALTRIALSHUB(6/7) 이 더 많은 관련 연구를 찾았습니다.

5. 의의 및 결론 (Significance & Conclusion)

CLINICALTRIALSHUB 은 임상 시험 레지스트리와 학술 문헌 간의 격차를 해소하는 획기적인 도구입니다.

• 증거 기반 의학의 발전: 환자와 의료진이 더 빠르고 정확하게 최신 임상 시험 정보를 접근할 수 있게 하여, 치료 결정과 연구 설계의 질을 높입니다.
• 데이터 통합의 새로운 패러다임: 단순한 검색 엔진을 넘어, 비구조화된 텍스트를 구조화하고 LLM 을 통해 지능형 질의응답을 제공하는 통합 플랫폼으로서의 가능성을 입증했습니다.
• 미래 방향: 향후 결과 (Results) 섹션의 필드까지 확장된 벤치마크 구축, 밀도 기반 검색 (Dense Retrieval) 기법 비교, 그리고 도메인 특화 파인튜닝을 통한 추출 정확도 향상이 계획되어 있습니다.

이 시스템은 임상 연구의 효율성을 극대화하고, 전 세계적으로 분산된 임상 시험 데이터를 하나의 신뢰할 수 있는 허브로 통합함으로써 의료 혁신에 기여할 것으로 기대됩니다.