Beyond the Checklist: How Different Prebriefing Tools Influence Simulation Outcomes—A Systematic Review and Meta-Analysis

기술 요약: 체크리스트를 넘어: 다양한 프리브리핑 도구가 시뮬레이션 결과에 미치는 영향

문제 제기
시뮬레이션 기반 교육(SBE)은 학습자를 목표와 정렬시키고, 불안을 감소시키며, 심리적 안전감을 구축하기 위해 프리브리핑 단계에 크게 의존한다. 그 중요성에도 불구하고, 프리브리핑의 실행은 상당한 가변성, 개념적 모호성, 그리고 표준화된 근거 기반 프레임워크의 부재로 인해 어려움을 겪고 있다. 프리브리핑의 일반적인 존재 여부를 조사했던 이전의 체계적 문헌 고찰들과 달리, 기존 연구들은 사용된 도구의 유형이나 혁신 수준에 따른 중재를 차별화하지 못했다. 더욱이, 기존 문헌들은 신흥 기술(예: AI, 가상 현실)의 구체적인 영향력을 간과해 왔으며, 심리적 안전감을 별도의 결과 변수로 하여 정량적으로 합성하지 않았다. 이러한 격차는 교육자들이 현대적 실무에서 고도 기술 도구가 더욱 보편화됨에 따라 프리브리핑 설계를 최적화하는 데 한계를 준다.

방법론
본 연구는 PRISMA 2020 가이드라인에 따라 수행된 체계적 문헌 고찰 및 메타 분석이다.

• 검색 전략: 네 개의 데이터베이스(ScienceDirect, Embase, Medline, Web of Science)를 대상으로 시작 시점부터 2025년 8월 6일까지 검색하였다.
• 선정 기준: 본 검토는 의료 분야 SBE에서 구조화된 프리브리핑 중재를 표준 또는 무중재 프리브리핑과 비교한 무작위 대조 시험(RCT) 및 유사 실험 연구를 포함하였다. 결과 변수는 시뮬레이션 수행 능력, 심리적 안전감, 시뮬레이션 경험으로 제한하였다.
• 분류 체계: 도구의 혁신 수준을 계층화하기 위해 SAMR(Substitution, Augmentation, Modification, Redefinition) 모델을 사용하여 중재를 분류하였다:
  • 그룹 1 (Substitution/대체): 추가적인 상호작용 요소가 없는 표준 구조화된 개요 또는 체크리스트.
  • 그룹 2 (Augmentation/증강): 상호작용 요소(예: 촉진된 동료 토론 또는 강사와의 대화)가 보완된 체크리스트.
  • 그룹 3 (Modification/변형): 새로운 형태의 참여를 가능하게 하는 새로운 디지털 도구(예: 가상 현실, AI 챗봇).
• 통계 분석: 무작위 효과 모델을 사용하여 95% 신뢰 구간(CI)을 포함한 통합 표준화 평균 차이(SMD)를 산출하였다. 이질성은 $I^2$ 및 $\tau^2$를 사용하여 평가하였다. 출판 편향은 Egger's test와 Duval 및 Tweedie의 trim-and-fill 방법을 통해 평가하였다. 민감도 분석은 leave-one-out 접근법을 사용하여 수행되었다.

주요 결과
수행 능력에 대한 16개 연구 군, 심리적 안전감에 대한 15개 연구 군, 경험에 대한 6개 연구 군을 포함하여 총 15개의 연구(RCT 6개, 유사 실험 연구 9개)가 포함되었다.

• 시뮬레이션 수행 능력: 혁신적인 프리브리핑은 전반적인 시뮬레이션 수행 능력을 유의미하게 향상시켰다(SMD = 1.04, 95% CI [0.73, 1.36]). 이 결과는 trim-and-fill 조정 후에도 견고하게 유지되었다(SMD = 0.98). 하위 그룹 분석 결과, 모든 SAMR 그룹에서 일관된 긍정적 효과가 나타났으나, 그룹 2(Augmentation)가 가장 낮은 이질성($I^2$ = 58.2%)을 보였다.
• 심리적 안전감: 초기 통합 분석에서는 유의미한 이점(SMD = 0.84)이 시사되었다. 그러나 Egger's test 결과 유의미한 출판 편향이 나타났다($P < 0.0001$). trim-and-fill 조정 후, 효과는 비유의적인 수준으로 약화되었다(조정된 SMD = 0.47, 95% CI [-0.49, 1.43]). 그룹 2는 안전감에 대해 통계적으로 신뢰할 수 있는 효과를 보인 반면, 그룹 3(Modification)은 유의미한 이점을 입증하는 데 실패하였다(SMD = 0.51, 95% CI [-3.53, 4.55]).
• 시뮬레이션 경험: 유의미한 전반적 개선이 발견되지 않았으며(SMD = 0.22, $P$ = 0.32), 이러한 무효 결과는 편향 교정 후에도 지속되었다.
• 이질성: 모든 영역에서 높은 이질성이 관찰되었다($I^2$ 범위 71.6% ~ 82.0%). 그룹 3 중재는 하드웨어 인프라나 촉진자 숙련도와 같은 통제되지 않은 기관적 요인으로 인해 극단적인 이질성($I^2$ = 88.0% for performance)을 보였다.

핵심 기여

1. 세밀한 계층화: 본 연구는 프리브리핑 중재를 (단순히 "존재 여부"를 넘어서) SAMR 프레임워크에 따라 도구 혁신 수준별로 체계적으로 분류한 첫 번째 메타 분석이다.
2. 차별화된 결과: 본 연구는 구조화된 프리브리핑이 객관적 수행 능력은 일관되게 향상시키지만, 심리적 안전감에 미치는 영향은 출판 편향과 도구 유형에 매우 민다는 것을 보여주는 별개의 정량적 증거를 제공한다.
3. "증강(Augmentation)"에 대한 근거: 본 분석은 구조화된 워크시트와 촉진된 상호작용을 결합한 그룹 2 중재가 효과성, 일관성, 낮은 이질성 사이에서 최적의 균형을 제공하는 가장 신뢰할 수 있는 전략임을 확인하였다.
4. 고도 기술 도구에 대한 주의: 본 연구는 더 높은 기술적 참신함(그룹 3)이 반드시 우수한 결과를 낳는다는 가정에 도전하며, 이러한 도구들이 추가적인 스캐폴딩(scaffolding) 없이는 심리적 안전감을 저해할 수 있는 극단적인 가변성을 초래할 수 있음을 지적한다.

의의 및 주장
본 논문은 서로 다른 프리브리핑 도구 유형의 적용이 다양한 SBE 결과와 유의미하게 연관되어 있으나, 이러한 효과는 결과 변수에 따라 특이적이라고 주장한다. 저자들은 높은 기술적 참신함이 반드시 우수한 결과를 보장하는 것은 아니며, 오히려 심리적 안전감을 방해하는 외생적 인지 부하를 유발할 수 있다고 단언한다.

핵-결론은 **촉진된 상호작용 요소가 포함된 중간 수준의 혁신 접근 방식(그룹 2)**이 프리브리핑 설계에 있어 가장 신뢰할 수 있고 근거가 뒷받ende지는 전략이라는 것이다. 본 연구는 프리브리핑이 단순한 참신함보다는 교수법적 안정성과 맥락적 실행 가능성을 우선시해야 한다고 주장한다. VR이나 AI와 같은 디지털 도구가 유망성을 보여주기는 하지만, 현재의 증거는 인간의 안내가 있는 상호작용 형식보다 이들을 일상적으로 선호하기에는 너무 이질적이다. 저자들은 프리브리핑을 고정된 콘텐츠 패키지가 아니라, 학습자 수준과 기관 환경에 맞게 조정되는 맥락 민감한 준비 과정으로 간주해야 한다고 강조한다.