Inverted validity arguments in the evaluation of India’s national professionalism curriculum: a systematic review

기술 요약: 인도 국가 전문직업성 교육과정 평가에서의 역전된 타당성 논거

문제 제기
인도는 모든 의과대학생 및 인턴을 대상으로 태도, 윤리 및 의사소통(AETCOM) 교육과정을 의무화하고 있으나, 이 국가적 프로그램을 평가하는 기존 문헌은 거의 예외 없이 매우 긍정적이며, 큰 효과 크기와 확신에 찬 결론을 보고하고 있다. 그러나 결정적인 격차가 존재한다: 기존 문헌들은 만족도, 자기 보고식 태도, 필기 시험, 역할극 수행, 그리고 임상 행동을 정당한 근거 없이 혼용하며 서로 동일한 것으로 취급하고 있다. 핵심 문제는 AETCOM이 효과가 있는지 여부가 아니라, 현재의 증거 기반이 그 질문에 답할 능력이 있는지 여부이다. 저자들은 문헌이 제시하는 인과적 결론과 큰 효과 크기가 교육과정의 효능보다는 평가 설계의 결과물(artifact)일 수 있다고 주장한다. 즉, 교실 학습이 직장 내 행동으로 나타나기 위해 필요한 "훈련 전이(transfer of training)" 조건을 고려하지 못하고 있다는 것이다.

연구 방법론
본 체계적 문헌 고찰은 2015년부터 발표된 인도 학부생 및 인턴 대상의 AETCOM 관련 실증적 평가들을 합성하였다. 검색 전략은 PubMed, Europe PMC, ERIC를 포함한 7개의 데이터베이스, DOAJ, 14개 특정 저널에 대한 재현 가능한 ISSN 수준의 전수 조사, 그리고 인용 체이닝을 포함하여 포괄적으로 수행되었다.

본 연구는 세 가지 사전 정의된 분석을 채택하였다:

1. 설계 및 측정 코딩: 효과를 산출한 모든 연구를 설계 특징(대조군, 평가자 독립성, 교수 내용과의 일치성, 시간 간격)과 측정 속성에 따라 코딩하였다. 설계 층위 내에서 표준화된 평균 변화량($g$)을 무작위 효과 모델을 통해 추정하였다.
2. 주장-증거 일치도 (Spin Taxonomy): 임상 시험의 프레임워크를 응용하여, 저자들은 방법론을 읽기 전에 제목, 초록, 결론에 나타난 주장을 코딩하였다. 저자들이 측정한 결과 수준(예: 지식 테스트)과 주장된 결과 수준(예: 환자 결과) 사이의 "거리"를 측정하여, 통제되지 않은 설계에서 나타나는 인과적 언어나 측정 범위를 넘어선 외삽과 같은 "스핀(spin)"의 형태를 식상하였다.
3. 타당성 논거 매핑: 보고서들을 논거 기반 타당성 프레임워크(점수화, 일반화, 외삽, 함의) 위에 매핑하고, 이를 훈련 전이 이론과 결합하였다. 이를 통해 각 추론 단계에 대한 증거가 존재하는지, 그리고 환경적 요인(전이 기후, 감독 지원, 수행 기회)이 측정되었는지 평가하였다.

품질 평가는 MERSQI, JBI 체크리스트, ROBINS-I, 그리고 COSMIN 기반의 도구 평가를 사용하여 수행되었다.

주요 결과

• 효과 크기는 내용이 아닌 설계를 추종함: 효과 크기는 설계의 엄밀도와 반비례하였다. 가장 허술한 설계들이 가장 큰 효과를 보였다:
  • 대조군 없이 교수진이 관찰된 수행력을 평가한 경우: $g = 3.49$.
  • 통제되지 않은 지식 테스트: $g = 1.90$.
  • AETCOM을 이수한 학생과 이수하지 않은 학생을 비교한 단 두 개의 연구는 각각 $g = 0.33$과 $g = 0.12$를 기록하였다.
  • 가장 허술한 설계가 생성한 추정치는 가장 통제된 비교 연구보다 약 10배 더 컸다.
• 스핀(Spin)의 만연: 충분한 전문을 갖춘 53개의 보고서 중 75%가 적어도 한 가지 형태의 스핀을 포함하고 있었다. 구체적으로, 58%는 대조군 없이 교육과정에 의한 변화를 기술하였고, 38%는 실제 측정한 것보다 높은 수준의 결과를 주장하였다.
• 역전된 타당성 논거: 증거와 주장은 "거울 이미지" 관계였다. 보고서의 42%만이 점수화(첫 번째 추론 단계)에 대한 증거를 제공한 반면, 일반화에 대한 증거는 5%, 실무로의 외삽은 4%, 함의(결과)에 대한 증거는 0%에 불과했다. 반대로, 51%는 일반화에 대해, 16%는 외삽에 대해, 21%는 함의에 대해 주장하였다. 총 89%의 보고서가 스스로가 뒷받침하는 것보다 더 많은 것을 주장하였다.
• 누락된 전이 조건: 훈련이 실무로 전이되는 데 결정적인 환경적 요인들은 거의 측정되지 않았다: 전이 기후(5%), 감독 지원(5%), 수행 기회(12%).
• 품질 문제: 평균 MERSQI 점수는 11.3/18이었다. 효과를 제공한 12개 연구 중 7개는 결과 도구에 대한 타당성 증거를 보고하지 않았다. 두 개의 비교 연구 모두 결정적인 편향 위험을 안고 있었다.

핵심 기여
본 논문의 주요 기여는 교육과정에 대한 판결이 아니라, 평가 문헌에 대한 구조적 진단에 있다.

• 역전 진단: 저자들은 증거 기반이 "역전"되어 있음을 입증하였다: 즉, 가장 할 말이 적은 부분(환자 결과에 대한 주장)에서 가장 확신을 보이고, 가장 허술한 설계(통제되지 않은, 즉각적인, 교사 평가 방식)에서 가장 큰 효과를 보고하고 있다.
• 이론적 통합: 논거 기반 타당성, 훈련 전이 이론, 그리고 보고에 관한 메타 연구를 결합함으로써, 본 연구는 연구자의 부정직함 때문이 아니라 왜 문헌이 인과적 결론을 뒷받침하지 못하는지를 설명한다. 이는 평가 구조가 전이에 필요한 환경적 조건을 무시하고 있다는 점을 식별해 낸 것이다.
• 단계적 평가 구조: 논문은 식별된 타당성 논거의 단절을 해결하기 위한 구체적이고 복구 지향적인 구조를 제안한다:
  • 점수화: 평가된 도구의 국가적 등록 및 평가자 독립성의 의무적 보고.
  • 일반화: 생소한 사례에 대한 평가 및 지연 재평가.
  • 외삽: 국가적 무작위 표본을 대상으로 외부 평가자에 의한 실제 임상 상황 관찰.
  • 함의: 환자 보고 결과 측정 및 의도하지 않은 결과 분석.
  • 전이: 학습자 결과와 함께 전이 기후, 감독 지원, 수행 기회에 대한 의무적 측정.

의의 및 주장
본 논문은 현재의 문헌이 단순히 빈약한 것이 아니라 구조적으로 역전되어 있으며, 따라서 AETCOM이 환자 진료를 개선하는지 답변할 능력이 없다고 결론짓는다. 저자들은 "실무에 대한 증거가 부족하다는 것이 AETCOM이 실패했다는 것을 보여주는 것은 아니다"라고 명시하였다. 왜냐하면 전이를 감지하거나 전이가 의존하는 조건들을 측정할 수 있는 평가 체계가 구축된 적이 없기 때문이다.

이 연구의 의의는 질문을 "AETCOM이 작동하는가?"에서 "국가가 실패한 교육과정과, 교육이 작동할 수 없게 만든 직장을 구분할 수 있는 평가 체계를 구축할 준비가 되었는가?"로 전환하는 데 있다. 저자들은 현재의 평가 시스템이 지역적 제약(단일 기관, 예산 미확보, 교수진에 의한 채점)의 산물이라고 주장하며, 해결책은 단순히 유사한 종류의 연구를 늘리는 것이 아니라 거버넌스와 평가 설계의 구조적 변화가 필요하다고 주장한다. 또한, 주장하는 결과 수준을 측정된 수준과 일치시키고, 대조군을 통해 인과적 동사를 정당화하며, 평가자 독립성을 보고하도록 하는 세 가지 즉각적인 편집 정책의 변화를 제안한다. 이는 저자들에게 비용을 들이지 않고도 보고의 질을 빠르게 개선할 수 있는 방법이다.