From Protocol to Analysis Plan: Development and Validation of a Large Language Model Pipeline for Statistical Analysis Plan Generation using Artificial Intelligence (SAPAI)

이 연구는 임상시험 프로토콜을 기반으로 통계분석계획서 (SAP) 초안을 생성하는 대규모 언어 모델 파이프라인을 개발·검증한 결과, 기술적 세부사항 작성에는 높은 정확도를 보였으나 복잡한 통계적 추론이 필요한 부분에서는 여전히 인간 전문가의 검토가 필수적임을 규명했습니다.

핵심

🍳 핵심 비유: "요리사 (통계학자) 와 AI 조리 보조"

임상시험은 새로운 약이나 치료법을 검증하는 거대한 요리 대회라고 생각해보세요.

• 프로토콜 (Protocol): "무엇을 만들 것인가?"에 대한 메뉴판입니다. (예: "오늘은 김치찌개를 만들자.")
• 통계 분석 계획서 (SAP): "정확히 어떻게 요리할 것인가?"에 대한 상세한 레시피입니다. (예: "김치는 30 분 볶고, 고기는 200g 씩 넣되, 불은 중약으로 유지한다.")

이 레시피는 아주 중요합니다. 왜냐하면 요리가 끝난 뒤 (데이터가 나온 뒤) 에 "아, 내가 이렇게 했어야 했는데!"라고 마음대로 바꾸면, 그 요리 (연구 결과) 가 믿을 수 없게 되기 때문입니다.

하지만 이 상세한 레시피를 쓰는 일은 매우 어렵고 지루한 일입니다. 전문 요리사 (통계학자) 가 수백 시간을 들여 써야 하죠. 그래서 연구팀은 **"AI 가 이 레시피를 대신 써줄 수 있을까?"**라고 궁금해했습니다.

---

🔍 연구가 어떻게 진행되었나요?

연구팀은 최신 AI 3 종 (GPT-5, Claude, Gemini) 을 데려와서, 실제 임상시험 9 건의 '메뉴판 (프로토콜)'을 주고 "이걸 바탕으로 상세 레시피 (SAP) 를 써봐"라고 시켰습니다.

그리고 전문 요리사 2 명이 AI 가 쓴 레시피를 꼼꼼히 채점했습니다.

• 채점 기준: "이 레시피대로 요리하면 맛있는 김치찌개가 나올까? 아니면 실패할까?"

---

📊 결과는 어땠나요? (AI 의 능력)

결과는 **"반은 천재, 반은 초보"**였습니다.

1. 잘한 점: "기본기"는 완벽함 (80% 이상)

• 비유: "김치 2kg, 고기 500g, 물 1 리터" 같은 재료 목록이나 "요리 시간 30 분" 같은 기본 정보를 적는 것은 AI 가 아주 잘했습니다.
• 현실: 연구의 기본 정보 (누가 참여하는지, 언제 측정하는지 등) 를 요약하고 정리하는 작업은 AI 가 인간보다 훨씬 빠르고 정확하게 해냈습니다.

2. 못 한 점: "요리 비법"은 위험함 (67~72%)

• 비유: "김치가 너무 짜면 어떻게 할까?", "불이 너무 세면 어떻게 조절할까?" 같은 예상치 못한 상황 대처법이나 맛을 결정하는 미세한 조절은 AI 가 잘 못했습니다.
• 현실: 통계적으로 복잡한 부분 (어떤 수식을 쓸지, 실수가 났을 때 어떻게 분석할지) 에서 AI 는 그럴듯하지만 틀린 내용을 만들어냈습니다.
  • 예시: AI 가 "이런 분석 방법을 쓰면 더 정확할 거예요"라고 제안했지만, 사실은 그 방법이 연구 목적에 맞지 않아 결과를 왜곡할 수 있는 위험한 제안이었습니다.

3. 세 가지 AI 의 차이

• 놀랍게도 GPT, Claude, Gemini 세 가지 AI 는 성능 차이가 거의 없었습니다. 모두 비슷하게 잘하고 비슷하게 못했습니다.

---

💡 이 연구가 우리에게 주는 교훈

"AI 는 훌륭한 '초안 작성자'지만, '마스터 셰프'가 될 수는 없다."

• 기대: AI 가 레시피의 기본 뼈대 (재료, 시간, 기본 순서) 를 먼저 써주면, 인간 요리사 (통계학자) 는 그 위에 맛을 결정하는 핵심 비법만 다듬으면 됩니다. 이렇게 하면 연구 준비 시간을 반으로 줄일 수 있습니다.
• 경고: 하지만 AI 가 쓴 레시피를 그대로 믿고 요리를 시작하면 재앙이 일어날 수 있습니다. AI 는 "그럴듯하게" 틀린 말을 잘하기 때문입니다.

🚀 결론

이 연구는 **"AI 가 통계 분석 계획서를 작성하는 데 큰 도움을 줄 수 있지만, 절대 인간 전문가의 감시를 대체할 수는 없다"**는 것을 증명했습니다.

앞으로는 AI 가 초안을 쓰고, 인간이 최종 검수하는 '팀워크' 방식이 임상시험의 표준이 될 것입니다. AI 는 우리 곁의 '재능 있는 조수'가 되겠지만, '책임 있는 요리사'는 여전히 인간이어야 한다는 뜻입니다.

기술 요약

논문 개요: 임상 시험 프로토콜에서 통계 분석 계획 (SAP) 생성을 위한 LLM 파이프라인 개발 및 검증

이 연구는 임상 시험의 투명성과 신뢰성을 위해 필수적이지만 작성에 많은 자원이 소요되는 **통계 분석 계획 (Statistical Analysis Plan, SAP)**을 자동화하기 위해 대규모 언어 모델 (LLM) 기반 파이프라인을 개발하고 검증한 것을 목표로 합니다.

1. 연구 배경 및 문제 제기 (Problem)

• SAP 의 중요성: 무작위 대조 시험 (RCT) 의 신뢰성은 사전에 정의된 재현 가능한 분석 전략을 담은 SAP 에 달려 있습니다. SAP 는 데이터 확인 후의 임의적 분석 결정을 배제하고, 분석 코딩의 기술적 명세를 제공하며, 투명한 보고를 지원합니다.
• 현실적 어려움: SAP 작성은 인지적으로 매우 부담스럽고 시간이 많이 소요됩니다. 특히 프로토콜의 정보를 반복적으로 활용해야 하며, 데이터 분석 전 (일반적으로 데이터 모니터링 위원회 회의 전) 에 엄격한 기한 내에 작성되어야 합니다.
• LLM 의 잠재력과 한계: LLM 은 프로토콜 초안 작성이나 문헌 검토에는 유용함이 입증되었으나, 기존의 방법론적 가이드라인 (Gamble et al. 가이드라인 등) 에 부합하는 고품질의 SAP 를 생성할 수 있는지는 검증되지 않았습니다. 또한, LLM 의 할루시네이션 (허위 사실 생성) 과 도메인 특화 지식 부족은 임상 시험 프로그래밍에서의 적용을 방해하는 주요 장벽입니다.

2. 방법론 (Methodology)

가. 파이프라인 개발 (Prompt Engineering)

• 2 단계 개발 프로세스:
  1. Stage 1 (Vanilla Prompting): 프로토콜만 제공하여 일반적인 SAP 를 생성하도록 요청. 결과: 내용이 불완전하고 구조가 일관되지 않으며, 토큰 제한으로 인해 상세한 내용이 누락됨.
  2. Stage 2 (Structured Section-by-Section Prompting): Gamble et al. 의 SAP 가이드라인에 맞춰 **섹션별 (Section-by-Section)**로 모듈화된 프롬프트 라이브러리를 개발.
     • 시스템 메시지: 모델을 '전문 임상 시험 통계 전문가'로 설정하고, 프로토콜을 유일한 정보원으로 제한.
     • 범위 제어: 각 섹션에 포함해야 할 요소 (예: 무작위화 방법, 표본 크기 가정) 와 포함하지 말아야 할 요소 명시.
     • 프로토콜 충실성: 프로토콜에 명시되지 않은 내용을 추가하거나 할루시네이션을 방지하도록 지시.
     • 포맷팅 및 예시: 단락 형식 출력, 불필요한 항목에 대한 명시적 "계획 없음" 표기, Few-shot prompting 을 통한 예시 제공.

나. 검증 설계 (Validation Study)

• 데이터: 연구진과 관련된 9 개의 실제 임상 시험 프로토콜 사용.
• 모델: 3 가지 주요 LLM 적용 (OpenAI GPT-5, Anthropic Claude Sonnet 4, Google Gemini 2.5 Pro). 총 27 개의 SAP 초안 생성 (9 개 프로토콜 × 3 개 모델).
• 평가 도구: Gamble 가이드라인의 55 개 항목 중 33 개를 기반으로 한 46 개 항목의 품질 체크리스트 개발.
  • 점수 체계 (0-3 점): 0(미포함), 1(중대한 누락/오류), 2(경미한 오류), 3(정확하고 구현 가능).
  • 이중 평가: 각 SAP 를 해당 프로토콜에 익숙한 통계 전문가와 독립적인 통계 전문가가 각각 평가. 불일치 시 합의 과정을 거침.
• 통계 분석:
  • 1 차 가설: 모델 간 정확도 차이 존재 여부 (혼합 효과 로지스틱 회귀 분석).
  • 2 차 가설: 항목 유형 (기술적 설명 vs 통계적 추론) 에 따른 성능 차이.
  • 이진 종속 변수: 점수 3 점 (정확) 을 1, 그 외를 0 으로 이진화하여 분석.

3. 주요 결과 (Key Results)

• 전체 정확도: 세 모델 모두 전반적으로 높은 정확도 (77%~78%) 를 보였으며, 모델 간 성능 통계적 유의미한 차이는 없었음 ($p=0.79$).
• 성능의 이분화 (Critical Dichotomy):
  • 기술적/기술적 설명 항목 (Descriptive Items): 행정적 세부사항, 시험 설계 등 프로토콜 내용을 단순히 추출/요약하는 항목에서 높은 정확도 (81%~83%) 달성.
  • 통계적 추론 항목 (Statistical Items): 모델 지정, 민감도 분석, 결측치 처리 등 통계적 논리가 필요한 항목에서 정확도 하락 (67%~72%).
  • 통계적 유의성: 항목 유형에 따른 성능 차이가 매우 유의미함 ($p < 0.001$).
• 구체적 오류 사례:
  • 주요 오류: 프로토콜에 명시된 공변량 (covariates) 누락, 반복 측정 데이터에 비효율적인 선형 회귀 모델 제안, 불필요하거나 편향될 수 있는 민감도 분석 제안.
  • 할루시네이션: 표면적으로는 전문적으로 보이지만 방법론적으로 부적절하거나 프로토콜에 없는 분석 (예: 의도치 않은 'tipping point' 분석) 을 생성하는 경향.

4. 주요 기여 및 의의 (Contributions & Significance)

• 최초의 체계적 검증: 임상 시험 프로토콜에서 SAP 를 생성하는 LLM 파이프라인을 개발하고, 독립적인 전문가 평가와 표준화된 가이드라인을 통해 통계적 정확성을 검증한 최초 연구입니다.
• 실용적 가치: LLM 이 SAP 의 상당 부분 (관리적, 기술적 설명) 을 자동화하여 통계 전문가의 시간을 절약할 수 있음을 입증했습니다. 이는 임상 시험 운영의 효율성을 크게 높일 잠재력을 가집니다.
• 안전한 사용 가이드라인 제시:
  • LLM 은 **'효율적인 기술 작성자 (Technical Writer)'**로서는 탁월하지만, **'독립적인 통계 아키텍트 (Statistical Architect)'**로서는 아직 신뢰할 수 없음.
  • Human-in-the-loop (인간 개입) 접근이 필수적임. 생성된 초안은 반드시 전문가의 철저한 검증과 수정을 거쳐야 합니다.
  • 특히 통계적 추론이 필요한 복잡한 섹션에서의 오류는 단순한 실수보다 더 위험할 수 있음 (전문적으로 보이지만 방법론적으로 틀린 경우).
• 향후 방향성: RAG(검색 증강 생성) 아키텍처나 에이전트 워크플로우 (한 에이전트가 작성하고 다른 에이전트가 검토) 를 도입하여 추론 능력을 향상시키고, 프로토콜과 SAP 간의 정렬을 자동화할 필요성을 제기했습니다.

5. 결론

이 연구는 LLM 기반 SAP 생성이 기술적으로 가능하고 상당 부분 정확함을 보여주었으나, 통계적 추론 능력의 한계로 인해 완전 자동화는 불가능함을 강조합니다. LLM 은 임상 시험 통계 전문가에게 강력한 '초안 작성 도구 (Draftsman)'가 될 수 있으나, 최종적인 설계와 책임은 여전히 인간 전문가에게 남아 있습니다. 따라서 LLM 을 활용한 연구의 무결성을 보장하기 위해서는 엄격한 인간 검증 프로세스가 동반되어야 합니다.