Implementation of Human-in-the-Loop ChatGPT-based Patient Screening Across Multiple Diverse Clinical Trials

이 연구는 26 개의 임상 시험에서 3 만 9 천여 명의 환자를 대상으로 한 인간-루프 (human-in-the-loop) 방식의 ChatGPT 기반 선별 시스템이 높은 정확도와 낮은 비용으로 임상 시험 적합성 판별 효율을 크게 향상시켰음을 보여줍니다.

핵심

이 논문은 **인공지능 **(AI)을 설명합니다.

과거에는 임상시험에 참여할 환자를 찾기 위해 연구팀이 수천 장의 의료 기록을 일일이 눈으로 확인해야 했습니다. 이는 마치 바늘을 찾기 위해 건초더미를 뒤지는 일처럼 시간도 많이 들고 비용도 많이 들었습니다.

이 연구는 "AI 가 먼저 건초더미를 훑어보고, 바늘이 있을 법한 곳만 연구팀에게 알려주자"는 아이디어를 실제로 시험해 보았습니다.

🏥 핵심 비유: "스마트한 문지기"와 "현명한 팀장"

이 시스템을 두 명의 팀원이 협력하는 방식으로 상상해 보세요.

1. **AI 문지기 **(초급 직원)

   • 이 AI 는 초고속으로 읽는 문지기입니다. 환자의 기록 (진료 기록, 검사 결과, 수술 기록 등) 을 수천 장 순식간에 읽습니다.
   • 하지만 AI 는 완벽하지 않습니다. 가끔 "아마도 맞을 것 같아"라고 추측하거나, 중요한 단서를 놓칠 수도 있습니다.
   • AI 는 환자가 시험 조건에 맞는지 "맞음", "아마도 맞음", "아님", "정보 없음" 등으로 분류합니다.

2. **연구팀 팀장 **(인간 전문가)

   • 연구팀 팀장은 최종 결정을 내리는 현명한 팀장입니다.
   • AI 가 "이 환자는 조건을 거의 다 맞췄어요!"라고 보고하면, 팀장은 그 환자의 기록을 다시 한번 꼼꼼히 확인합니다.
   • 반대로 AI 가 "이 환자는 조건에 안 맞아요"라고 하면, 팀장은 그 환자를 먼저 보지 않아도 되어 시간을 아낄 수 있습니다.

이처럼 AI 가 먼저 걸러내고, 인간이 최종 확인하는 방식을 "Human-in-the-Loop(인간이 루프 안에 있는)" 방식이라고 합니다.

---

🚀 이 연구가 무엇을 했나요?

이 연구는 미국 텍사스주의 한 대형 병원 (UT Southwestern) 에서 26 개의 서로 다른 임상시험 (암 치료, 뇌수술, 정신건강 등) 에 이 시스템을 적용해 보았습니다.

• 규모: 약 39,000 명의 환자 기록을 AI 가 스크리닝했습니다.
• 결과:
  • AI 는 연구팀이 확인해야 할 환자 목록을 매우 정확하게 만들어냈습니다.
  • AI 가 "조건을 맞춘 것 같다"고 한 환자 중 95% 이상이 실제로 연구팀의 확인을 거쳐 조건에 맞는 것으로 판명되었습니다.
  • 특히 AI 가 "조건을 80% 이상 맞췄다"고 판단한 환자들은 연구팀이 확인했을 때 **약 43%**가 실제로 시험에 참여할 수 있는 '성공적인 후보자'로 밝혀졌습니다. (AI 가 60~80% 라고 한 그룹은 19% 만 성공했습니다.)

💡 왜 이 방식이 특별한가요?

1. **배우기 **(학습)

   • 이 시스템은 고정된 프로그램이 아닙니다. 연구팀 팀장이 "이 AI 는 오해했어. 이 약을 먹은 환자는 조건에 안 맞아"라고 피드백을 주면, AI 는 그 내용을 기억하고 다음부터는 똑같은 실수를 하지 않도록 자동으로 업데이트됩니다.
   • 마치 유능한 인턴이 선배의 조언을 들으며 빠르게 성장하는 과정과 같습니다.

2. 비용 효율성:

   • 환자 한 명을 스크리닝하는 데 드는 비용은 **약 12 센트 **(약 170 원)에 불과했습니다.
   • 이는 사람이 일일이 확인하는 비용에 비해 엄청나게 저렴합니다.

3. 안전장치:

   • AI 가 모든 것을 결정하지 않습니다. 최종 결정은 항상 인간이 내립니다. AI 는 단지 "어디를 봐야 할지" 알려주는 나침반 역할을 할 뿐입니다.

📉 한계점과 미래

물론 AI 가 100% 완벽하지는 않습니다.

• 때로는 기록에 없는 정보를 추측해야 하거나, 최신 정보가 오래된 정보보다 앞에 나오는 등 시간 순서를 혼동할 때가 있습니다.
• 하지만 연구팀은 이러한 오류를 발견하면 AI 의 '지시사항 (프롬프트)'을 수정하여 지속적으로 시스템을 개선해 나갑니다.

🌟 결론

이 논문은 "AI 가 인간의 업무를 대체하는 것이 아니라, 인간의 업무를 도와 더 효율적으로 만들 수 있다"는 것을 증명했습니다.

마치 스마트한 비서가 의사의 일정을 정리해 주듯, 이 AI 시스템은 연구팀이 중요한 환자를 놓치지 않고, 불필요한 서류 작업에 시간을 낭비하지 않도록 도와줍니다. 앞으로는 더 많은 임상시험에서 이 방식을 사용하여, 새로운 약과 치료법을 더 빨리 환자에게 전달할 수 있을 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현황: 임상 시험의 환자 모집 (enrollment) 은 연구의 성패를 좌우하지만, 기존 수동 선별 (manual screening) 과정은 시간과 비용이 많이 들고 비효율적입니다.
• 한계: 기존 자연어 처리 (NLP) 기반 접근법은 특정 작업에 대한 방대한 커스터마이징이 필요하여 다양한 임상 시험 설계에 적용하기 어렵습니다. 또한, 대규모 언어 모델 (LLM) 을 활용한 연구는 주로 단일 시험이나 특정 질환 영역에 국한되어 있었으며, 다양한 시험 설계로 일반화 가능한지, 그리고 실시간 인간 개입 (Human-in-the-Loop) 전략과 통합된 학습 메커니즘이 부재했습니다.
• 목표: 대규모 학술 의료 센터에서 다양한 임상 시험 (26 개) 에 걸쳐 LLM 기반의 사전 선별 (prescreening) 워크플로우를 운영화하고, 인간 감독 하에 지속적으로 성능을 개선하는 시스템을 구축하는 것입니다.

2. 방법론 (Methodology)

가. 시스템 아키텍처 및 데이터 처리

• 데이터 소스: Epic EHR 시스템 (Caboodle, Clarity) 에서 추출된 구조화된 데이터 (검사 결과, 병리 보고서 등) 와 비구조화된 텍스트 (진료 기록, 임상 노트) 를 활용합니다.
• RAG (Retrieval-Augmented Generation):
  • 환자별 텍스트를 벡터 데이터베이스에 저장하고, 계층적 노드 파서 (hierarchical node parser) 를 사용하여 문서 → 단락 → 문장 단위로 분할합니다.
  • 각 평가 기준 (criterion) 에 대해 가장 관련성 높은 상위 30 개의 노드를 검색하여 LLM 에게 제공합니다.
• LLM 모델: 비용과 성능에 따라 GPT-4o, GPT-4o-mini, GPT-4.1-mini 등을 순차적으로 사용했습니다.
• 프롬프트 엔지니어링: 각 임상 시험의 포함/제외 기준을 맞춤형 프롬프트로 변환하며, PubMed 요약 에이전트를 통해 의학적 맥락 (동의어, 정의 등) 을 추가하여 정확도를 높였습니다.

나. 계층적 평가 워크플로우 (Tiered Workflow)

• Tier 1 (게이트키핑): 주요 기준 (Tier 1) 을 먼저 평가합니다. AI 가 '만족 (Met)' 또는 '아마도 만족 (Likely Met)'으로 판단한 경우에만 Tier 2 기준을 평가합니다. 그렇지 않으면 Tier 2 평가는 생략되어 검토자의 시간을 절약합니다.
• 평가 레이블: 각 기준에 대해 AI 는 다음 6 가지 상태 중 하나를 출력합니다.
  1. Met (만족)
  2. Likely Met (아마도 만족)
  3. Likely Not Met (아마도 불만족)
  4. Not Met (불만족)
  5. Uncertain (불확실)
  6. No Documentation Found (문서 미발견)
  • 각 레이블에는 5 단계 확신도 (Certainty) 와 근거 (rationale) 가 동반됩니다.

다. 인간 - AI 루프 (Human-in-the-Loop) 및 피드백 학습

• 검토자 대시보드: AI 가 기준의 일정 비율 (예: 60-80% 이상) 을 충족한 환자를 정렬된 목록으로 제공합니다. 연구 조율자 (Coordinator) 는 이를 검토하여 최종 선별 결과를 확정하고, AI 와의 불일치 시 이유를 기록합니다.
• 자동화된 프롬프트 개선 (Refinement Bot):
  • 조율자의 피드백 (특히 오분류 사례) 을 수집하여 'Refinement Bot'이 분석합니다.
  • 반복되는 오류나 명확한 요청이 있을 경우, PubMed 문헌을 참조하여 프롬프트의 '팁 (Tips)' 섹션을 자동으로 수정하고, 인간 검토자의 승인을 거쳐 다음 실행에 적용합니다.
  • 기존 데이터는 재평가하지 않고, 새로운 설정부터 적용됩니다.

3. 주요 결과 (Results)

• 데이터 규모: 2024 년 10 월부터 2025 년 9 월까지 26 개 임상 시험 (21 개 종양학, 5 개 비종양학) 에서 총 39,182 명의 환자를 AI 로 사전 선별했습니다.
• 검토 현황: AI 가 높은 가능성으로 판단한 914 명의 환자가 조율자에 의해 검토되었으며, 이는 총 5,096 개의 평가 기준에 해당합니다.
• 성능 지표 (Criterion-level Performance):
  • 정확도 (Accuracy): 0.94 (95% CI: 0.92–0.96)
  • 민감도 (Sensitivity): 0.98 (95% CI: 0.97–0.99) - 매우 높음 (누락 최소화)
  • 특이도 (Specificity): 0.81 (95% CI: 0.71–0.88)
  • F1 점수: 0.97
  • 의미: 개별 기준 수준에서 인간 검토자와 매우 높은 일치율을 보였습니다.
• 효율성 및 비용:
  • 비용: 환자당 평균 $0.12로 매우 저렴했습니다.
  • 검토 효율: AI 가 80% 이상의 기준을 충족한 환자는 조율자가 검토할 확률이 93.7% 였고, 선별 성공 (Prescreen Success) 확률도 43.5% 로 높았습니다. 반면 60-80% 구간에서는 검토율이 55.1%, 성공률 19.1% 로 낮아, AI 가 고위험군을 잘 선별함을 입증했습니다.
• 지속적 개선: 2025 년 4 월부터 자동화된 학습 파이프라인을 도입한 후, 27 개의 기준 프롬프트가 조율자 피드백을 바탕으로 업데이트되었으며, Figure 1 에서 보듯 특정 기준의 성능이 시간이 지남에 따라 현저히 향상되었습니다.

4. 주요 기여 및 의의 (Key Contributions & Significance)

1. 규모와 다양성: 단일 시험이 아닌 26 개의 다양한 임상 시험 (종양학 및 비종양학 포함) 에서 LLM 기반 선별 시스템의 확장성 (Scalability) 을 입증했습니다.
2. 실시간 인간 - AI 협업: AI 가 100% 를 결정하는 것이 아니라, 인간 검토자의 피드백을 통해 시스템이 실시간으로 학습하고 프롬프트를 개선하는 Human-in-the-Loop 메커니즘을 성공적으로 구현했습니다.
3. 비용 효율성: 환자당 $0.12 의 낮은 비용으로 고수준의 정확도를 달성하여, 임상 시험 운영의 경제적 타당성을 증명했습니다.
4. 실용적 프레임워크: 임상 시험 팀이 AI 를 도입할 때 필요한 표준화된 설정 (Setup Form), 프롬프트 생성 전략, 피드백 루프 등을 포함한 실용적인 템플릿을 제시했습니다.
5. 한계 극복: 비구조화된 텍스트의 한계 (예: 최신 정보의 부재) 를 인식하고, 구조화된 데이터와 RAG 를 결합하는 하이브리드 접근법의 필요성을 제시하며, Tier 1 게이트를 통한 효율성 극대화 전략을 제안했습니다.

5. 결론

이 연구는 LLM 기반의 인간 - AI 협업 선별 워크플로우가 다양한 임상 시험 환경에서 **높은 정확도 (94% 이상)**와 매우 낮은 비용으로 운영 가능함을 입증했습니다. 특히, 조율자의 구조화된 피드백을 통한 자동화된 학습 시스템은 AI 의 성능을 지속적으로 향상시키면서도 최종 결정은 인간이 내리도록 하여 안전성을 보장했습니다. 이는 임상 시험 환자 모집의 병목 현상을 해결하고 연구 속도를 높일 수 있는 강력한 솔루션으로 평가됩니다.