Trends in AI and Human-AI Interaction in Clinical Trials -- A Hybrid Human-AI Exploration

기술 요약: 임상 시험에서의 AI 및 인간-AI 상호작용 동향 – 하이브리드 인간-AI 탐색

문제 제기
임상 연구 분야에서 인공지능 (AI) 의 급속한 확산으로 ClinicalTrials.gov 와 같은 플랫폼에 등록된 시험 건수가 크게 증가했습니다. 그러나 일관성 없는 보고 관행으로 인해 이러한 시험들을 엄격하게 식별하고 비교하는 데 어려움이 있습니다. 등록 기록은 AI 방법론을 기술하는 방식, 인간 사용자의 역할을 정의하는 방식, 입력/출력 데이터를 명시하는 방식, 그리고 임상적 맥락을 특징화하는 방식에서 상당한 차이를 보입니다. 투명성을 높이기 위한 SPIRIT-AI 및 CONSORT-AI 와 같은 보고 지침이 존재하지만, 증거에 따르면 준수 정도는 여전히 불완전하며 AI 중재의 중요한 특징들이 자주 누락되어 보고되고 있습니다. 또한, 실제 임상 환경에서의 인간-AI 상호작용을 이해하기 위한 프레임워크는 미흡한 상태이며, 'AI'의 정의는 기호 시스템에서 머신러닝, 딥러닝, 그리고 대규모 언어 모델 (LLM) 을 포함하도록 진화했습니다. 본 연구는 AI 용어 및 지리적 분포의 시간적 추세를 특징화하는 과제를 해결하면서, 인간-AI 상호작용과 관련된 시험 기록을 선별하고 분류하기 위한 하이브리드 인간-AI 워크플로우의 실현 가능성을 탐색합니다.

방법론
본 연구는 최첨단 생성형 AI 와 인간 검토를 결합한 하이브리드 선별 방식을 활용했습니다.

• 데이터 출처: 저자들은 16 가지 AI 관련 용어 (예: "artificial intelligence", "machine learning", "GPT", "chatbot", "neural network") 로 구성된 포괄적인 검색 문자열을 사용하여 ClinicalTrials.gov 저장소를 질의했습니다. 검색은 "중재 (Intervention)" 필드로 제한되었으나 관찰 연구는 유지되었습니다.
• 검색 범위: 2026 년 4 월 1 일 또는 그 이전에 첫 제출일이 있는 시험을 대상으로 검색하여 총 5,828 건의 기록 (전체 등록부의 약 1%) 을 확보했습니다.
• 하이브리드 워크플로우:
  • AI 분류기: 최첨단 생성형 AI 모델 (GPT-5.5) 을 사용하여 기록을 선별하고 분류했습니다. 모델은 AI 사용 및 인간-AI 상호작용과 관련하여 사전 정의된 범주로 시험을 분류하도록 프롬프트되었으며, 신뢰도 (높음, 중간, 낮음) 와 짧은 설명을 제공했습니다. 이 과정은 1,000 만 개 이상의 입력 토큰과 320 만 개의 출력 토큰을 소모했습니다.
  • 인간 분류기: 임상 데이터셋에 대해 석사 수준 이상의 전문성을 가진 두 명의 인간 전문가가 100 건의 시험을 무작위 표본으로 독립적으로 분류했습니다. 제 3 의 인간 중재자가 불일치를 해결했습니다. 인간은 신뢰도가 낮을 경우 기권할 수 있었습니다.
• 분류 체계: 시험은 다음과 같이 분류되었습니다:
  • AI 사용: "AI 미사용" 대 "AI 사용".
  • 상호작용 유형: "인간-AI 상호작용 없음", "환자-AI", "간병인-AI", "의료 전문가-AI", "기타 인간-AI", 그리고 "하이브리드-AI"(다중 행위자).

주요 결과

• 시간적 및 용어적 동향: 분석 결과 지난 10 년간 AI 관련 시험이 뚜렷하게 증가한 것으로 나타났습니다. 초기 언급은 "전문 시스템 (expert systems)"에 집중되었으나, 2016 년 이후 "artificial intelligence"와 "AI"는 지속적인 증가세를 보였습니다. "machine learning", "deep learning", "large language model"(LLM), "chatbot"과 같은 용어는 2017~2018 년 이후 상당한 성장을 보였으며, "ChatGPT"와 "GPT"는 2022 년 이후 급격히 증가했습니다. 반면, "neural network"와 "natural language processing"과 같은 용어는 정체세를 보였습니다.
• 지리적 분포: 중국과 미국이 AI 관련 시험의 가장 큰 비중을 차지하며, 중국은 2018 년 이후 급격한 증가세를 보여 최근 몇 년간 미국을 추월했습니다. 두 나라는 다음 상위 국가 (이탈리아) 보다 약 4 배 많은 AI 시험을 보유하고 있습니다. 이탈리아, 프랑스, 스페인, 영국, 터키에서도 최근 뚜렷한 증가가 관찰되었습니다.
• 하이브리드 선별 성능:
  • AI 사용 식별: 인간과 AI 분류기는 AI 를 실질적으로 사용하지 않은 시험을 식별하는 데 강력한 합의를 보였습니다 (표본 내 14 건 중 13 건 일치). AI 모델은 이러한 사례 대부분에서 "높음" 신뢰도를 보고했으며, 불확실성이 있는 인간 판단과 일치하는 두 건의 경우에만 신뢰도가 낮아졌습니다.
  • 상호작용 분류: 인간-AI 상호작용을 분류할 때 합의는 낮았습니다. 100 건의 시험 중 총 30 건의 분류 불일치가 발생했습니다. 이 중 23 건은 상호작용 존재 여부 자체에 관한 것이었으나, 대부분의 불일치는 "의료 전문가-AI 상호작용"과 "인간-AI 상호작용 없음" 사이에서 발생했습니다.
  • 불일치 원인: 시험 보고의 모호성이 분류 난이도의 주된 원인이었습니다. 구체적인 어려움으로는 상충되는 용어 사용 (예: "Deep learning"은 나열되었으나 기술된 내용은 "automated software"뿐인 경우) 과 광범위한 중재 내에 내장된 AI 구성 요소 (예: VR 의 사운드 제어) 로 인해 AI 의 실질적 사용이 불분명한 경우 등이 포함되었습니다.

의의 및 주장
본 논문은 하이브리드 인간-AI 접근법이 임상 시험의 체계적 검토를 위한 시간 소모적인 수동 선별에 대한 잠재적으로 실행 가능한 대안이라고 주장합니다. 결과는 최첨단 대규모 언어 모델 (특히 GPT-5.5) 이 시험 기록에서 AI 의 존재 여부를 높은 신뢰도로 효과적으로 식별할 수 있음을 시사합니다. 그러나 저자들은 보고 표준에 대한 변이된 준수와 현재 지침 (CONSORT-AI/SPIRIT-AI) 에서 상호작용 유형을 분류할 명시적 요구 사항이 부재하기 때문에, 구체적인 인간-AI 상호작용 모드를 분류하는 것은 여전히 어렵다고 겸손하게 결론 내립니다.

본 연구는 AI 가 시험의 초기 식별 및 광범위한 분류를 지원할 수 있지만, 자동화 또는 하이브리드 선별의 신뢰성을 높이기 위해서는 더 명확한 시험 보고와 특히 의료 전문가의 참여와 관련된 "상호작용"에 대한 더 정확한 정의가 필요하다고 강조합니다. 저자들은 또한 이러한 계산적 접근 방식의 환경적 및 재정적 비용을 지적하며, 분석에 필요한 토큰 사용과 관련된 탄소 발자국을 인정합니다. 향후 연구는 상호작용 정의를 정교화하고 분류 불일치를 해결하기 위한 프로그래밍적 NLP 접근법을 탐색하는 것으로 제안됩니다.