Instructional Skills Workshops Improve Clinical Teachers' Self-Efficacy, but Only Some Gains Track Feedback Experience_ A Two-Cohort Study 

기술 요약: 교수 기술 워크숍(ISW)은 임상 교사의 자기효능감을 향상시키지만, 그 성과 중 일부만이 피드백 경험과 연관된다

문제 제기
핵심 임상 교사들은 강력한 전공 지식을 보유하고 있는 경우가 많으나, 체계적인 교수법 교육보다는 축적된 경험에 의존하는 경향이 있다. 짧고 집중적인 교수 개발 프로그램인 교수 기술 워크숍(ISW)은 이러한 대상자들에게 적합하지만, 기존 문헌에 나타난 효과성 연구는 몇 가지 한계점을 지닌다:

1. 증거의 공백: 대부분의 연구가 만족도 조사나 소규모 표본을 대상으로 한 단일 집단 사전-사후 설계에 의존하며, 독립된 코호트에 대한 견고한 복제 연구가 부족하다.
2. 결과의 총체적 취급: 교육 효과를 단일한 글로벌 결과로 취급하여, 교수 역량의 서로 다른 차원 전반에 걸쳐 성과가 균일하게 나타나는지 검토하지 못한다.
3. 기제에 대한 가정: 피드백이 모든 개선을 이끄는 유일한 기제라는 지배적인 가정이 존재한다. 그러나 교수 자기효능감은 다차원적 구조(학생 참여, 교수 전략, 학급 관리 포함)이므로, 모든 차원이 개선을 위해 피드백 루프에 동일하게 의존하는지는 불분명하다.

연구 방법론
본 연구는 중국의 한 중의학 대학교 및 그 부속 기관의 핵심 임상 교사들을 대상으로 두 개의 독립적인 연간 코호트(2022년 코호트, N = 37; 2024년 코호트, N = 39)를 대상으로 실시된 단일 집단 사전-사후 설계를 채택하였다. 무작위 대조군 없이 재현성을 강화하기 위해, 본 연구는 **교차 코호트 개념적 복제(cross-cohort conceptual replication)**를 활용하였다.

• 중재(Intervention): 현지화된 2일 집중 ISW 프로그램. 표준 ISW와 달리, 이 버전에는 다음이 포함되었다:
  • 교수 설계 원리에 관한 도입 강의.
  • BOPPPS 프레임워크(Bridge-In, Outcome, Pre-Assessment, Participatory Learning, Post-Assessment, Summary)의 체계적 시연.
  • 마이크로티칭, 동료/촉진자 피드백, 재실습으로 구성된 표준 ISW 사이클.
  • 비디오 기반 자기 관찰 및 수상 경력이 있는 교수 시연 관찰.
• 측정 도구:
  • 교수 자기효능감: 세 가지 차원(학생 참여(SE), 교수 전략(IS), 학급 관리(CM))을 다루는 12개 항목의 수정된 교사 효능감 척도(TSES)를 사용하여 측정.
  • 피드백 경험: 다섯 가지 차원(예: 피드백의 질, 학습자가 피드백을 활용하는 방식 등)을 다루는 30개 항목의 수정된 평가 경험 설문지(AEQ)를 사용하여 측정.
• 분석: 쌍체 t-검정과 코헨의 d(Cohen's d)를 통해 사전-사후 변화를 평가하였다. 탐색적 성격과 표본 크기를 고려하여 다중 비교에 대한 보정은 적용하지 않았으며, 신뢰성은 단일 검정의 유의성이 아닌 두 독립적 코호트 간의 복제를 통해 확보하였다.

주요 결과

1. 자기효능감의 복제 가능한 향상: 두 코호트 모두 세 가지 자기효능감 차원 모두에서 유의미하고 상당한 개선을 보였다(모두 p < .001). 효과 크기는 컸으며(코헨의 d 범위 1.31 ~ 1.79), 두 해 동안 일관된 방향과 규모를 나타냈다. 특히, 학급 관리(CM)는 다른 차원과 대등하거나 이를 상회하는 성과를 보였다.
2. 피드백과의 상이한 연관성: 피드백 경험과 자기효능감 성과 사이의 관계는 균일하지 않았다:
   • 교수 전략(IS) 및 학생 참여(SE): 이 차원들의 성과는 특정 피드백 차원, 특히 "학습자가 피드백을 어떻게 활용하는가" 및 "피드백의 질"과 유의미한 정적 상관관계를 보였다. 예를 들어, $\Delta$IS는 두 코호트 모두에서 "피드백을 어떻게 활용하는가"와 유의미하게 상관되었다(r = .39 및 .35).
   • 학급 관리(CM): CM의 성과는 두 코호트 모두에서 다섯 가지 피드백 차원 중 어느 것과도 유의미한 연관성을 보이지 않았다(2022년 최고 r = .27; 2024년 최고 r = .18). 저자들은 이를 결정적인 연관성이 없다는 증거라기보다 현재의 표본 크기에서 유의미한 연관성을 탐지하지 못한 것으로 해석하였으나, 이 패턴은 코호트 간에 일관되게 나타났다.

주요 기여

• 복제 증거: 본 연구는 교차 연도 복제를 통해 임상 교사를 위한 ISW의 효과성에 대한 강력한 증거를 제공하며, 의료 교수 개발 문헌의 희소성을 해결한다.
• 차원적 특수성: 교육 효과를 단일한 것으로 보는 관점에 도전하며, 서로 다른 교수 역량의 성과는 그 규모나 동인(driver)에 있어 균일하지 않음을 입증한다.
• 기제의 경계: 본 연구는 피드백의 역할을 실증적으로 테스트하여, 피드백이 교수 전략 및 학생 참여의 성과와는 강하게 연관되어 있지만, 학급 관리 효능감의 성과를 이끄는 주요 동력은 아닐 수 있음을 밝혀냈다.

의의 및 주장
본 논문은 ISW 기반 프로그램이 임상 교사의 교수 자기효능감을 광범위하게 향상시키는 데 효과적이라고 주장한다. 그러나 본 연구의 주요 이론적 기여는 **기제의 이질성(divergence in mechanisms)**에 있다: 피드백이 모든 교수 역량 성상을 이끄는 "단일한 통합 기제"라는 가정은 지지되지 않는다.

저자들은 학급 관리의 성과가 피드백 사이클 이외의 원천, 즉 도입부의 교수 설계 강의와 시연을 통해 제공되는 전반적인 교수 프레임워크의 직접적인 습득에서 비롯될 수 있다고 제안한다. 이는 서로 다른 교수 역량이 서로 다른 발전 경로를 필요로 할 수 있음을 시사한다:

• 피드백 의존적 기술: 동료/촉진자의 구체적인 피드백을 통해 반복적으로 정교화될 수 있는 교수 전략 및 학생 참여와 같은 기술.
• 프레임워크 의존적 기술: 직접적인 교수, 모델 관찰, 그리고 전반적인 설계 인식의 변화에 더 의존할 수 있는 학급 관리와 같은 총체적 역량.

본 연구는 교수 개발 프로그램이 피드백만으로 모든 개선이 일어난다고 가정해서는 안 되며, 대신 피드백 사이클이 효과적으로 겨냥하지 못할 수 있는 역량을 다루기 위해 교수 설계 및 학급 조직 원리에 대한 직접적인 교육을 의도적으로 포함해야 한다고 결론짓는다. 저자들은 자신의 설계(단일 집단 사전-사후)가 인과적 추론을 제한한다는 점을 인정하며, 제안된 기제들이 더 엄격한 설계를 통한 추가 조사가 필요한 가설임을 밝히며 신중한 입장을 유지한다.