Measuring What Future Physicians Know About Contraception: Development and Validation of the Clinical Contraceptive Knowledge Test (CCKT) in Vietnam Using Item Response Theory

기술 요약: 임상 피임 지식 테스트(CCKT)의 개발 및 타당도 검증

문제 제기
의대생의 피임 지식을 정확하게 평가하는 것은 기존 평가 도구의 한계로 인해 어려움을 겪고 있다. 기존의 도구인 피임 지식 평가(CKA)는 모든 문항에 동일한 가중치를 부여한다는 가정하에 원점수를 합산하는 고전 검사 이론(CTT)에 의존한다. 이러한 접근 방식은 잠재적인 임상 역량을 정밀하게 측정하지 못하며, 문항 난이도와 변별력을 독립적으로 추정할 수 없다. 또한, 교육 과정 개편을 위한 정보 제공을 위해 교육적 격차를 정량화해야 할 필요성이 높음에도 불구하고, 베트남이나 국제적으로 피임 지식을 평가하기 위한 검증된 문항 반응 이론(IRT) 기반의 도구가 부족한 실정이다. 베트남은 의도하지 않은 임신과 낙태율이 높고, 의대생들이 현대적 피임법 및 WHO 의료 적격성 기준(MEC)에 대한 실무 지식이 부족한 경우가 많다는 점을 고려할 때, 더욱 견고한 심리측정 도구가 필요하다.

연구 방법론
본 연구는 베트남 5개 대학의 학부 의대생들을 대상으로 단면적, 다기관 설계(cross-sectional, multicenter design)를 채택하였다. 임상 피임 지식 테스트(CCKT)의 개발 및 타당도 검증은 엄격한 4단계 순차적 프레임워크를 따랐다:

1. 문항 생성: WHO 가이드라인을 기반으로 초기 27문항 척도를 구성하였으며, 이를 블룸의 개정된 교육 목표 분류학(회상, 이해, 적용)에 매핑하였다. 추측에 의한 정답을 최소화하기 위해 '참/거짓/모름' 형식을 사용하였다.
2. 전문가 검토: 6명의 전문가 패널이 문항 수준 내용 타당도 지수(I-CVI)와 척도 수준 내용 타당도 지수(S-CVI/Ave)를 사용하여 내용 타당도를 평가하였다. 이 단계에서 1개 문항이 삭제되고 2개 문항이 수정되어 26문항의 도구가 도출되었다.
3. 예비 조사(Pilot Testing): 예비 조사(n=100)에서는 CTT를 활용하여 문항 난이도, 변별도 및 내부 일관성(KR-20 = 0.854)을 스크리닝하였다.
4. 대규모 타당도 검증: 본 연구에서는 723명의 학생을 모집하였으며, 무효 응답을 제외한 636명을 분석에 포함하였다. 연구진은 2모수 로지스틱(2PL) IRT 모델을 적용하였다.
   • 차원성: 병렬 분석(Parallel analysis)과 스크리 플롯(Scree plots)을 사용하여 잠재 요인의 수를 결정하였다.
   • 모델 선택: 7개의 경쟁 모델(단일 차원에서 다차원 2PL 및 MIRT 사양에 이르는 범위)을 적합도 지수(CFI, TLI, RMSEA, SRMR)를 사용하여 평가하였다. 간명성의 원칙(principle of parsimony)에 따라 최종 모델을 선정하였다.
   • 문항 축소: 낮은 변별도($a < 0.80$), 국소 의존성($|Q3| > 0.20$), 또는 부적합($S-X^2, p < 0.05$)을 기준으로 문항을 반복적으로 제거하였다.
   • 타당도 확인: 성별 및 교육 단계에 따른 차별 문항 기능(DIF)을 테스트하였다. 모델의 강건성을 보장하기 위해 "엄격한 정제(strict-clean)" 데이터셋(n=545)을 사용하여 민감도 분석을 수행하였다.

주요 결과

• 도구 정교화: 이 과정을 통해 초기 26문항이 최종 18문항의 도구(CCKT-18)로 축소되었다.
• 구조 타당도: 탐색적 분석에서는 잠재적인 다차원성이 시사되었으나, 경험적 평가 결과 단일 차원 구조가 지지되었다. 단일 차원 2PL 모델(Model 7)은 복잡한 다차원 모델과 비교하여 우수한 적합도 지수(CFI = 0.983, TLI = 0.980, RMSE-A = 0.036, SRMR = 0.039)를 나타냈다. 다차원 모델에서의 요인 간 상관관계는 매우 높게($r > 0.80$) 나타나, 하나의 지배적인 잠재 특성이 존재함을 보여주었다.
• 문항 매개변수: 최종 문항들은 0.687에서 2.374 사이의 변별도 매개변수와 -3.86에서 1.08 사이의 난이도 매개변수를 나타냈다.
• 신뢰도 및 정밀도: 본 척도는 한계 신뢰도(marginal reliability) 0.844로 높은 측정 정밀도를 보였다. 검사 정보 함수(TIF)는 $\theta = 0.462$에서 정점을 찍었으며, -0.784에서 +1.51 사이의 능력 범위 전반에 걸쳐 높은 정밀도(신뢰도 $\ge 0.80$)를 제공하였다.
• DIF 분석: 성별에 따른 유의미한 DIF는 발견되지 않아 측정 불변성을 확인하였다. 그러나 임상 의사결정 역량(예: IUD 선택, 경구 피임약 복용 누락 관리)과 관련된 4개 문항은 교육 단계(예과 vs 임상)에 따라 유의미한 DIF를 보였는데, 이는 편향이라기보다 교육 과정 노출의 차이를 반영한다.
• 강건성: 민감도 분석 결과, 주요 데이터셋과 엄격한 정제 데이터셋 간의 모델 적합도 변화($\Delta CFI = 0.003$) 및 문항 매개변수 변화가 미미하여 구조적 안정성을 확인하였다.

의의 및 주장
저자들은 CCKT-18이 의대생의 피임 지식을 평가하기 위한 타당하고 신뢰할 수 있으며 강건한 도구라고 주장한다. 이 연구의 주요 의의는 기존 도구 대비 방법론적 진보에 있다:

• 정밀도: IRT를 활용함으로써, CCKT-18은 단순 원점수를 넘어 잠재적 능력에 대한 정밀하고 역량 중심적인 평가를 제공하며, 교육자가 일반적인 지식 수준뿐만 아니라 구체적인 교육 과정의 결손(예: 고차원적 적용 기술의 격차)을 식별할 수 있게 한다.
• 교육적 유용성: 본 도구는 전통적인 점수 기반 평가에서 임상적 추론을 강조하는 프레임워크와 일치하는 역량 기반 평가로의 전환을 지원한다.
• 글로벌 맥락: 본 연구는 의대생들이 강력한 이론적 지식에도 불구하고 실무 적용 기술이 부족한 경우가 많다는 국제적 연구 결과를 뒷받받는 동시에, 교차 문화적 평가를 위한 표준화되고 심리측정적으로 엄격한 템플릿을 제공한다.
• 향후 적용: 광범위한 V-COC 연구 프레임워크 내에서, CCKT-18은 베트남의 피임 지식 현황을 특징짓기 위한 전국적 조사의 기초 도구로 자리매김하며, 재생산 건강 교육에 대한 표적화된 교육 과정 개편을 이끄는 것을 목표로 한다.

저자들은 편의 추출(convenience sampling)의 사용, 단면적 설계, 그리고 문항 난이도가 중간 범위에 집중되어 있어 최고 능력 수준에서의 변별력이 제한될 수 있다는 점 등 한계점을 인정하였다. 또한 향후 연구에는 종단적 연구와 준거 관련 타당도 평가가 포함되어야 한다고 언급하였다.