Global Validation and Cognitive Diagnosis Evaluation of the Pharmacology Concept Inventory: Multinational, Multi-Stage Psychometric and Invariance Analysis

기술 요약: 약리학 개념 검사(Pharmacology Concept Inventory)의 글로벌 타당도 검증 및 인지 진단 평가

문제 제기
본 연구는 다양한 국제 교육 환경에서 학생들의 약리학적 이해도를 평가하기 위해 타당하고 신뢰할 수 있는 개념 기반 평가 도구에 대한 절실한 필요성을 다룬다. 약리학 개념 검사(PCI)는 핵심 약리학 개념을 평가하고 오개념을 식별하기 위해 이전에 개발되었으나, 대규모의 다국가적 타당도 검증이 부족했다. 기존의 평가 도구들은 약리학적 추론의 상호 연결된 특성을 반영하지 못하거나 특정 개념적 강점과 약점에 대한 진단적 통찰을 제공하지 못하는 경우가 많다. 저자들은 다양한 코호트와 교수법에 걸친 강력한 경험적 검증 없이는 벤치마킹, 커리큘럼 계획 및 지속적인 오개념 식별을 위한 PCI의 효용성이 제한적일 것이라고 주장한다.

연구 방법론
본 연구는 호주, 영국, 미국, 캐나다 및 다양한 유럽과 아시아 국가를 포함한 12개국 23개 기관의 1,211명의 학생을 대상으로 한 대규모 다국가 표본을 활용하여 정량적, 횡단적 설계를 채택하였다. 참가자들은 약리학 과정을 이수한 보건 전문직 및 생물 의학 전공 학생들로 구성되었다.

PCI는 7가지 핵심 약리학 개념인 약물 제거(DCl), 약물 생체 이용률(DBio), 정상 상태 농도(Css), 분포 용적(Vd), 약물 효능(DE), 약물 내성(DT), 구조-활성 관계(SAR)를 다루는 24개의 객관식 문항으로 구성된다. 각 문항은 기록된 학생의 오개념을 바탕으로 한 매력적인 오답(distractors)을 포함하며, 무작위 추측을 완화하기 위해 "모름(unsure)" 옵션을 제공한다.

분석 프레임워크는 3단계의 모델 기반 접근 방식을 사용하였다:

1. 차원성 평가: 표본을 두 개의 독립된 하위 표본으로 나누었다. 첫 번째 하위 표본에 대해 테트라코릭 상관계수(tetrachoric correlations)를 사용한 탐색적 요인 분석(EFA)과 평행 분석(PA)을 수행한 후, 탐색적 구조 방정식 모델링(ESEM)을 실시하였다. 두 번째 표본은 구조적 타당성을 검증하기 위해 확인적 요인 분석(CFA)에 사용되었다.
2. 심리측정 모델링: 본 연구는 고전 검사 이론(CTT), 문항 반응 이론(IRT), 인지 진단 평가(CDA)를 통합하였다.
   • CTT: 문항 난이도(p-값)와 변별도(점 이점 상관계수)를 평가하였다.
   • IRT: 문항 난이도와 변별도 파라미터를 추정하기 위해 1PL, 2PL, 3PL 모델을 적합시켰으며, 베이지안 정보 기준(BIC) 적합도에 따라 2PL 모델이 선택되었다.
   • CDA: 단일 속성을 문항에 연결하는 이론 기반 Q-매트릭스를 활용하였다. GDINA, DINA, DINO, A-CDM, R-RUM 등 여러 모델을 비교하여 최적의 적합도를 결정하였다. 보상적 및 비보상적 추론을 처리하는 유연성을 고려하여 최종 파라미터 추정을 위해 일반화된 DINA(GDINA) 모델이 선택되었다.
3. 불변성 및 편향 분석: 인구통계학적 변수(성별, 언어, 프로그램 유형, 학년, 학위 수준)가 잠재적 숙련도에 미치는 영향을 평가하기 위해 다중 지표 다중 원인(MIMIC) 모델을 사용하였다. 차별적 문항 기능(DIF)은 결합된 MIMIC 및 IRT 접근법을 통해 하위 집단 간에 다르게 작와하는 문항을 식별하는 데 사용되었다.

주요 결과

• 차원성: 요인 분석 결과, PCI는 주로 약리학적 숙련도의 단일한 기저 차원을 측정하는 것으로 나타났으며, 이는 EFA와 CFA 모두에서 지배적인 주 요인에 의해 뒷받지되었다. 7요인 모델(개념당 하나)은 높은 적합도 지수를 보였으나 불안정성과 높은 요인 간 상관관계(일부 사례에서 1.0 초과)를 겪었으며, 이는 개념들이 경험적으로 분리될 수 없음을 시사한다. 단일 차원 모델과 이차적인 다차원 그룹화가 가장 안정적인 해석을 제공하였다.
• 심리측정적 특성: 본 도구는 강력한 내부 일관성(Cronbach's alpha = 0.86; Omega total = 0.93)을 입증하였다. 문항 변별도는 CTT, IRT, CDA 프레임워크 전반에 걸쳐 일관되게 강력하였으며, 대부분의 문항이 우수한 변별도(≥ 0.40)를 보였다. 문항 난이도는 대체로 중간 수준이었으나, 정상 상태 농도(Css)와 약물 제거(DCl) 영역은 더 높은 불확실성과 낮은 숙달 확률을 보였다.
• 인지 진단: 탐색적 CDA 결과, 숙달 확률은 개념별로 유의하게 달랐다. 약물 내성(DT)이 가장 높은 숙달 확률(68%)을 보였고, 구조-활성 관계(SAR)가 가장 낮았다(33%). 분석 결과, 학생들은 단순히 불확실함을 느끼는 것이 아니라 오개념을 보유(오답 선택)하고 있는 경우가 많았으며, 오개념에 의한 응답이 "모름" 응답보다 더 빈번하게 나타났다.
• 인구통계학적 예측 변수: MIMIC 회귀 분석 결과, "프로그램 유형"과 "학년"이 잠재적 숙련도의 유의미한 예측 변수로 식별되었다. 의대생이 비의대생보다 높은 성적을 보였으며, 저학년(1/2학년)이 고학년(3학년 이상)보다 유의하게 높은 점수를 기록했다. 성별, 언어 배경, 학위 수준(학부 vs 대학원)은 유의미한 예측 변수가 아니었다.
• 차별적 문항 기능(DIF): 4개의 문항(DCl3, Css1, DE5, Vd2)이 프로그램 유형 또는 학년에 따라 확정된 DIF를 보였다. 구체적으로, 비의대생과 고학년 학생들은 전체적인 잠재 능력과 관계없이 해당 문항들을 참조 집단보다 더 어렵게 느꼈다.

의의 및 주장
본 연구는 PCI가 다양한 국제적 맥락에서 약리학 교육의 개념적 이해를 평가하기 위한 타당하고 신뢰할 수 있으며 진단적으로 유익한 도구임을 입증한다. 저자들은 PCI가 지속적인 오개념을 성공적으로 식별하며, 단순한 총점을 넘어 학생의 숙련도에 대한 미묘한 관점을 제공한다고 주장한다.

주요 기여는 다음과 같다:

1. 글로벌 도구의 타당성 검증: PCI는 12개국의 다양한 교육 시스템을 통해 타당성이 검증되었으며, 약리학 교육의 표준화된 벤치마크로서 사용될 수 있음을 뒷받침한다.
2. 진단적 유용성: CDA를 통합함으로써, 본 도구는 교육자들에게 어떤 핵심 개념(예: SAR, DCl)이 가장 도전적인지, 그리고 어디에서 오개념이 빈번한지에 대한 구체적인 통찰을 제공하여 목표 지향적인 교수 개입을 용이하게 한다.
3. 지식 구조에 대한 통찰: 연구 결과는 약리학적 추론이 고립된 영역들의 집합이라기보다 상호 연결되고 계층적인 과정임을 시사한다. 이는 엄격하게 분리된 개념 테스트라는 관점에 도전하며 통합적인 커리큘럼 설계 접근법을 지지한다.
4. 형평성 및 공정성: DIF가 나타나는 특정 문항을 식별함으로써, 다양한 학생 집단에 대한 공정성을 확보하기 위한 향후 개선이 가능하며, 전반적으로 낮은 DIF 정도는 본 도구의 일반화 가능성을 뒷받침한다.

저자들은 PCI가 근거 중심의 커리큘럼 계획, 교수법 개선, 그리고 약리학 학습 결과 평가를 위한 강력한 프레임워크 역할을 하며, 형성 평가와 총괄 평가 목적 모두에 적합하다고 결론짓는다.