기술 요약: 그룹 및 개인 형식에서의 AI 시뮬레이션 환자 조우에 대한 타당성 검토

문제 정의

생성형 인공지능(AI)과 대규모 언어 모델(LLM)은 학부 의학 교육(UME)의 문제 중심 학습(PBL) 및 사례 기반 학습(CBL)에 점점 더 많이 활용되고 있다. 그러나 기존 문헌은 방법론적 이질성, 일관되지 않은 결과 측정, 그리고 교수 설계에 대한 투명성 부족이라는 문제를 안고 있다. 구체적으로 두 가지 핵심적인 공백이 존재한다:

1. 교수 전달 형식: 전달 형식(예: 촉진자가 있는 그룹 vs. 자기 주도적 개인)이 독립적인 교육 변수로서 미치는 영향에 대한 연구가 거의 이루어지지 않았다.
2. 평가 투명성: AI 지원 교육 평가 방법이 독립적인 재현이나 검증이 가능할 정도로 충분히 상세하게 기술되는 경우가 드물다.

또한, AI 시뮬레이션 환자는 확장 가능하고 일관된 대화형 조우를 제공하지만, 이를 다양한 학습 환경에 통합하기 위해서는 효능을 주장하기 전 타당성 검증이 선행되어야 한다.

방법론

본 연구는 사우스 일리노이 의과대학에서 1학년 의대생(MS1)을 대상으로 수행된 두 코호트 대상의 타당성 및 도구 개발 파일럿 연구로 설계되었다.

연구 설계 및 참가자

• 코호트: 두 개의 중복되지 않는 비무작위 코호트가 동일한 임상 사례(위장관 병리)를 바탕으로 서로 다른 전달 형식 하에 참여하였다:
  • 그룹 코호트 ($n=7$): 학생들이 강의실 환경에서 동료 관찰과 함께 AI 시뮬레이션 환자를 협력적으로 인터뷰하는 교수 촉진 세션.
  • 개인 코호트 ($n=12$): 학생들이 동료 관찰 없이 개인 기기를 사용하여 사적인 공간에서 개별적으로 진행하는 자기 주도적 세션.
• 교란 변수: 본 연구는 전달 형식이 코호트 구성원, 세션 날짜, 모집 절차, 디브리핑 방식 및 플랫폼 버전과 완전히 혼재(confounded)되었음을 인정하였다. 따라서 코호트 간 비교는 인과 관계가 아닌 **기술적(descriptive) 및 탐색적(exploratory)**인 것으로 취급되었다.
• 윤리적 감독: 본 연구는 기관 생명윤리위원회(IRB #24–525)로부터 면제 결정을 받았다. 참여는 자발적이었으며 학업 성적에 영향을 미치지 않았다.

중재(Intervention)

• AI 시뮬레이션 환자: 대화형 음성 및 아바타 기술이 통합된 상용 LLM을 사용하여 개발되었다. 시스템은 두 형식 모두에서 일관된 임상 양상 및 응답 프레임워크를 유지하였다.
• 소요 시간: 그룹 세션은 약 35분간 지속되었으며, 개인 세션의 중앙값은 31분(범위 17–83분)이었다.

도구 및 데이터 수집

1. 행동 안전 언어 척도-잠정안(BSLS-P): 조우 전후에 실시된 새롭게 개발된 탐색적 설문 도구이다. 다음을 평가하였다:
   • 학습자 참여도/즐거움
   • 심리적 안전감(실수를 하거나 질문을 할 때 당혹감을 느낄 것에 대한 두려움 없이 행동할 수 있다고 느끼는 인지된 능력으로 정의됨)
   • 준비 동기
   • 전달 형식 선호도 (조우 후에만 측정)
   • 참고: 도구는 코호트 간에 미세한 버전 차이가 있었다 (버전 1 vs. 버전 2).
2. 자동 전사 분석: 개인 코호트의 전사본에 두 개의 에이전트 파이프라인(행동, 자유 텍스트 평가, 실행 및 시간 구성 요소)을 적용하여 재현 가능한 분석 프레임워크를 입증하였다. 이는 추론적 주장을 위해 사용된 것이 아니라 파일럿으로서 수행되었다.
3. 질적 피드백: 그룹 코호트는 구두 디브리핑을 제공하였고, 개인 코호트는 선택적 질문에 대한 서면 응답을 제공하였다.

통계 분석

• 코호트 내 분석: 전후 변화는 대응 $t$-검정(정규 분포) 또는 윌콕슨 부호 순위 검정(비정규 분포)을 사용하여 분석하였다.
• 다중 비교: 하위 척도 비교 시 Benjamini–Hochberg 허위 발견율(FDR) 보정을 적용하였다.
• 코호트 간 비교: 교란 변수로 인해 인과적 추론 없이 윌콕슨 순위 합 검정을 사용하여 기술적 비교를 수행하였다.
• AI 사용: 원고 초안 작성 시 편집 보조를 위해 생성형 AI(Claude Opus 5)가 사용되었으나, 모든 통계 분석 및 데이터 테이블은 원시 데이터를 바탕으로 공동 저자가 독립적으로 작성하였다.

주요 결과

정량적 결과

• 타당성: 두 코호트 모두 부정적인 사건이나 기술적 제외 없이 AI 시뮬레이션 환자 조우와 전후 설문을 성공적으로 완료하였다.
• 심리적 안전감 및 참여도: 두 코호트 모두 심리적 안전감과 참여도 측면에서 방향성 있는 긍정적 변화를 보였다.
  • 개인 코호트: 심리적 안전감 하위 척도에서 가장 큰 효과가 관찰되었다 (Wilcoxon $r = 0.62$). 이는 보정 전에는 통계적 유의성에 도달하였으나 ($P = .026$), FDR 보정 후에는 유의성을 유지하지 못했다 (조정된 $P = .20$).
  • 그룹 코호트: 긍정적인 방향성을 보였으나, FDR 보정 후 통계적으로 유의한 비교는 남지 않았다.
• 준비 동기: 두 코호트 모두에서 완만한 감소가 관찰되었다. 항목별 분석 결과, 이는 전체 영역의 경향이라기보다 단일 설문 항목에 의한 것임을 시사하며, 이는 조우 후 기대치가 재조정되었을 가능성을 나타낸다.
• 코호트 간 비교: FDR 보정 후 그룹과 개인 코호트 간의 어떤 하위 척도에서도 통계적으로 유의한 차이가 발견되지 않았다. 방향성 차이는 존재했으나 기술적인 것으로 간주되었다.

학습자 선호도

• 하이브리드 모델 선호도: 개인 코호트에서 향후 학습에 대한 최빈 선호도는 '하이브리드' 모델인 "솔로 AI 조우를 먼저 완료한 후, 교수자가 촉진하는 그룹 토론을 따르는 방식"으로 42%에서 **58%**로 이동하였다.
• 질적 피드백: 참가자들은 시뮬레이션을 안전한 환경에서 임상적 추론을 연습할 수 있는 몰입감 있고 가치 있는 경험이라고 기술하였다. 이들은 오해를 바로잡기 위해 독립적인 연습과 구조화된 교수자 피드백이 결합된 형태의 가치를 강조하였다.

도구 및 파이프라인 개발

• 본 연구는 AI 맥락에서의 심리적 안전감과 참여도를 측정하기 위한 잠정적 도구로서 BSLS-P를 성공적으로 배치하였다.
• 자동 전사 분석 프레임워크가 구현 및 기술되었으며, 이를 통해 확장 가능하고 재현 가능한 행동 코딩의 타당성을 입증하였으나, 이는 여전히 개발 단계에 있으며 전문가의 인간 평가에 대한 독립적인 검증이 필요하다.

주요 기여

1. 타당성 입증: 본 연구는 AI 시뮬레이션 환자 조우가 MS1 학생들을 대상으로 촉진된 그룹 형식과 자기 주도적 개인 형식 모두에서 실질적으로 구현 가능하다는 것을 확인하였다.
2. 방법론적 투명성: 본 논문은 재현 가능한 AI 교육 평가 방법을 다루며, 잠정적 설문 도구(BSLS-P)와 자동 전사 분석 파이프라인에 대한 상세한 설명을 제공한다.
3. 형식 탐색: 본 연구는 교수 전달 형식을 별개의 변수로 도입하였으며, 하이브리드 접근 방식(솔로 AI 연습 + 그룹 토론)이 학습자 선호도와 가장 잘 부합할 수 있음을 시사한다.

의의 및 주장

저자들은 본 연구를 비교 효능 시험이 아닌 타당성 파일럿 및 도구 개발 연구로 명확히 규정한다.

• 완곡한 주장: 저자들은 관찰된 전후 변화가 탐색적이며 가설 생성적이라고 명시한다. 작은 표본 크기, 무작위 배정의 부재, 교란 변수를 근거로, 특정 형식이 다른 형식보다 우월하다거나 AI 중재가 교육적 결과를 결정적으로 개선한다고 주장하지 않는다.
• 의의: 본 연구의 주요 의의는 다음을 입증하는 데 있다:
  1. AI 시뮬레이션 환자가 기술적 실패 없이 의학 교육(UME)에 통합될 수 있음.
  2. 학습자들이 이러한 조우를 심리적으로 안전하고 몰입감 있는 것으로 인식함.
  3. 하이브리드 교수 모델이 학습자 선호도와 일치하며, 이는 AI를 전통적인 교수자 지도 방식의 대체재가 아닌 보완재로 활용하는 것을 지지함.
  4. 기술된 도구들(BSLS-P 및 전사 파이프라인)은 이러한 예비적 발견을 검증하는 데 필요한 충분한 검정력을 갖춘 향후 무작위 대조 시험을 위한 토대를 제공함.

본 논문은 결과가 유망하지만, 향후 연구에는 이러한 예비적 발견을 검증하기 위해 다기관 무작위 시험, BSLS-P에 대한 공식적인 심리측정적 타당도 검증, 그리고 전문가의 인간 평가에 대한 전사 분석 프레임워크의 독립적 검증이 포함되어야 한다고 결론짓는다.