TimeTox: An LLM-Based Pipeline for Automated Extraction of Time Toxicity from Clinical Trial Protocols

TimeTox: 임상 시험 프로토콜에서 시간 독성 (Time Toxicity) 자동 추출을 위한 LLM 기반 파이프라인

1. 문제 정의 (Problem)

• 시간 독성 (Time Toxicity) 의 중요성: 임상 시험 참여로 인해 환자가 겪는 누적적인 의료 접촉 일수는 중요한 지표이나, 이를 추출하는 과정은 매우 노동 집약적입니다.
• 추출의 어려움: 임상 시험 프로토콜 (PDF) 은 100 페이지 이상으로 길며, '평가 일정 (Schedule of Assessments, SoA)' 테이블은 비표준화된 형식, 복잡한 열 헤더, 그룹화된 기간 (예: "4~12 주기"), 다양한 주석 등으로 인해 수동 추출이 매우 어렵고 오류가 발생하기 쉽습니다.
• 수동 추출의 한계: 연구자들이 직접 SoA 테이블을 분석하여 주기를 일력으로 변환하고, 치료군별 일정을 매핑하며, 중복을 제거하여 누적 접촉 일수를 계산하는 과정은 시간이 많이 소요되고 판독자 간 일관성 (Inter-rater agreement) 을 확보하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 Google 의 Gemini 모델을 활용한 TimeTox라는 엔드 - 투 - 엔드 파이프라인을 개발했습니다. 주요 구성 요소는 다음과 같습니다.

• 데이터 전처리 (Summary Extraction):
  • 전체 프로토콜 PDF(100400 페이지) 를 입력받아, SoA 테이블이 포함된 관련 페이지 (약 515 페이지) 만을 식별하고 요약된 PDF 를 생성합니다.
  • 이 단계에는 Gemini 2.5 Flash 모델을 사용하며, JSON 출력 형식을 강제하여 구조화된 요약을 생성합니다.
• 추출 아키텍처 비교:
  1. Vanilla Pipeline (단일 패스): 요약된 PDF 를 한 번의 LLM 호출로 직접 처리하여 시간 독성 수치를 추출합니다.
  2. Two-Stage Pipeline (구조 추출 후 계산):
     • 1 단계: SoA 테이블의 구조적 파라미터 (주기 길이, 방문 일수, 치료 기간 등) 를 추출합니다.
     • 2 단계: 추출된 구조 데이터를 기반으로 별도의 LLM 호출을 통해 일수 계산을 수행합니다.
  • 모델: 추출 단계에는 Gemini 3.0 Flash를 사용하며, Temperature 0.1 로 설정하여 정확성과 결정론적 안정성을 균형 있게 유지했습니다.
• 검증 데이터셋:
  • 합성 데이터 (Synthetic Data): 20 개의 합성 SoA 스케줄을 프로그램적으로 생성하여 240 개의 비교 지점 (20 개 스케줄 × 2 개 치료군 × 6 개 시점) 에 대한 정답 (Ground Truth) 을 확보했습니다.
  • 실제 데이터 (Real-world Data): ClinicalTrials.gov 에서 수집한 644 개의 실제 종양학 임상 시험 프로토콜을 대상으로 재현성 (Reproducibility) 을 평가했습니다.
• 합의 메커니즘 (Consensus Mechanism):
  • LLM 의 실행 간 변동성을 해결하기 위해 각 프로토콜당 3 회 독립적인 추출을 수행했습니다.
  • 위치 기반 매칭 (Position-based Matching): 실행마다 치료군 이름이 다르게 표기될 수 있으므로, 치료군 이름을 기반으로 매칭하는 대신, 12 개월 기준 접촉 일수 크기에 따라 치료군을 정렬하고 순서 (Position Index) 를 기준으로 매칭하여 중앙값 (Median) 을 최종 결과로 도출했습니다.

3. 주요 기여 (Key Contributions)

1. 완전한 자동화 파이프라인: 원시 PDF 에서 구조화된 시간 독성 데이터까지 전 과정을 자동화하는 시스템 구축.
2. 프로그램 생성 정답 데이터셋: 임상 전문가가 검증한 20 개의 합성 SoA 스케줄과 정답 값을 포함하는 데이터셋 개발.
3. 아키텍처 비교 및 통찰: 합성 데이터에서의 정확도와 실제 데이터에서의 안정성 간의 상충 관계 (Trade-off) 를 규명.
4. 강건한 합의 알고리즘: LLM 의 치료군 이름 불안정성을 해결하기 위한 위치 기반 다중 실행 합의 메커니즘 제안.
5. 대규모 적용: 644 개의 실제 종양학 프로토콜에 파이프라인을 적용하여 확장성을 입증.

4. 결과 (Results)

• 합성 데이터 (Synthetic Data) 성능:
  • Two-Stage 파이프라인: 임상적으로 허용 가능한 정확도 (±3 일 이내) 가 **100%**였으며, 평균 절대 오차 (MAE) 는 0.81 일로 매우 우수했습니다.
  • Vanilla 파이프라인: 임상적 허용 정확도는 **41.5%**에 불과했으며, MAE 는 9.0 일로 두드러지게 낮았습니다.
• 실제 데이터 (Real-world Data) 재현성:
  • Two-Stage 파이프라인: 합성 데이터에서는 완벽했으나, 실제 프로토콜의 복잡한 형식과 모호성으로 인해 실행 간 변동성이 매우 커서 (예: IQR 258 일) 사용 불가능했습니다.
  • Vanilla 파이프라인: 합성 데이터에서는 성능이 낮았으나, 실제 데이터에서는 **95.3%**의 임상적 허용 정확도 (IQR ≤3 일) 를 보였습니다. 또한 **82.0%**의 경우 완벽한 안정성 (IQR = 0) 을 달성했습니다.
• 생산 환경 적용:
  • 644 개 프로토콜에서 총 1,288 개의 치료군에 대한 시간 독성 데이터를 추출했습니다.
  • 총 비용은 $100 미만으로 매우 경제적이며, 처리 시간은 병렬화 시 대폭 단축 가능합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 핵심 통찰: LLM 기반 임상 데이터 추출에서 제어된 합성 벤치마크의 정확도보다 실제 데이터에서의 안정성 (Stability) 이 생산 배포의 결정적 요소임을 증명했습니다.
  • 복잡한 구조를 단계별로 분리하는 Two-Stage 방식은 합성 데이터에서는 유리하지만, 실제 문서의 불규칙성으로 인해 오류가 증폭됩니다.
  • 반면, 전체적인 맥락을 한 번에 파악하는 Vanilla 방식은 실제 문서의 모호성에 더 강건하며, 다중 실행 합의 (Multi-run consensus) 를 통해 높은 재현성을 확보했습니다.
• 임상적 가치: 수동으로는 불가능했던 대규모 (644 개) 임상 시험 프로토콜에 대한 시간 독성 정량화를 가능하게 하여, 치료법별 환자 부담 비교 및 연구 설계 최적화에 기여할 수 있습니다.
• 향후 과제: 실제 프로토콜에 대한 수동 주석 데이터셋을 통한 정답 검증, 다양한 LLM 모델 비교, 그리고 12 개월을 넘어선 장기 추적 관찰 데이터 추출 등으로 확장 예정.

이 논문은 의료 문서 처리 분야에서 LLM 의 실용적 배포를 위해 '정확도'보다 '일관성'을 우선시해야 함을 보여주는 중요한 사례 연구입니다.