Applying a Cognitive Diagnostic Model to Assess Clinical Reasoning: Q- Matrix Development and Known-Groups Validity Evidence from a Nationwide Medical Examination

의학 교육이라는 고도의 긴장감이 흐르는 세계에서, 의사처럼 생각하는 능력은 단순히 사실을 아는 것만큼이나 중요합니다. '임상적 추론(clinical reasoning)'이라고 알려진 이 기술은 환자의 세부 사항들—증상, 병력, 검사 결과 등—의 뒤섞인 정보들을 하나의 명확한 진단과 치료 계획으로 엮어내는 과정을 포함합니다. 수십 년 동안 의과대학들은 이 능력을 테스트하기 위해 객관식 시험에 의존해 왔습니다. 하지만 이러한 시험들은 대개 단일 점수만을 제공하며, 이는 학생이 몇 문제를 맞혔는지는 알려주지만, 그들이 '어떻게' 생각했는지는 전혀 알려주지 않습니다. 이는 마치 러너가 전반전에는 전력 질주를 하고 후반전에는 조깅을 했는지, 아니면 매 순간 비틀거렸는지는 모른 채 그저 10분 만에 경주를 마쳤다는 사실만 아는 것과 같습니다. 의학 교육을 진정으로 개선하기 위해서, 교육자들은 학생이 밟는 구체적인 사고 단계를 파악하여, 그들의 추론 과정 중 어느 부분이 강점이고 어느 부분이 보완이 필요한지를 정확히 식별할 수 있어야 합니다.

가천대학교 의과대학의 한 연구자는 한국의 방대한 국가 의학 시험에 '인지 진단 모델(cognitive diagnostic model)'이라는 정교한 방법을 적용함으로써 이 문제를 해결하고자 했습니다. 연구팀은 단순히 정답 개수를 세는 대신, 각 문제를 맞히기 위해 요구되는 구체적인 사고 기술을 매핑하는 것을 목표로 삼았습니다. 연구팀은 3, 4학년 의대생 약 5,600명의 응답을 분석했습니다. 그들은 먼저 전문가들이 임상적 추론에 필수적이라고 믿는 9가지의 서로 다른 사고 기술(예: 검사 결과 해석, 치료 결정 등)을 나열했습니다. 연구팀은 시험 문항을 검토하고 숙련된 의학 교육 전문가 패널과 협의하는 신중한 과정을 거쳐, 이 목록을 7개의 뚜렷한 기술로 정제했습니다. 그런 다음 통계 모델을 사용하여 이 7개의 기술이 학생들의 성취도를 정확하게 설명할 수 있는지 확인했습니다. 결과는 놀라웠습니다. 모델은 학생들의 능력을 성공적으로 구분해 냈으며, 임상 경험이 더 많은 4학년 학생들이 3학년 학생들보다 이러한 추론 기술을 훨씬 높은 비율로 일관되게 숙달하고 있음을 보여주었습니다. 이 발견은 새로운 프레임워크가 작동한다는 강력한 증거를 제공했으며, 단순한 시험 점수를 넘어 학생의 사고 과정을 기술별로 상세히 진단할 수 있는 길을 열어주었습니다.

이 결론에 도달하기 위한 여정은 방대한 데이터셋, 즉 2019년 제2차 의사 국가고시(Clinical Comprehensive Examination)로부터 시작되었습니다. 이 시험은 한국 전역의 의대생들을 대상으로 실시된 전국 단위의 필기시험입니다. 연구진은 특히 내과 섹션에 집중했는데, 여기에는 144개의 객관식 문항이 포함되어 있었습니다. 연구진은 3학년 2,603명과 4학년 2,983명을 포함한 총 5,586명의 학생으로부터 답안을 수집했습니다. 데이터는 완전히 익명이었기에 연구진이 개별 학생의 배경을 살펴볼 수는 없었지만, 집단의 규모가 매우 컸기에 시간이 흐름에 따라 추론 기술이 어떻게 발달하는지에 대한 명확한 패턴을 포착할 수 있었습니다.

첫 번째 주요 과제는 각 시험 문항을 해당 문제를 풀기 위해 필요한 특정 사고 기술과 연결하는 'Q-매트릭스(Q-matrix)'라고 불리는 지도를 만드는 것이었습니다. 연구진은 기존 문헌 검토를 통해 도출된 9가지 잠재적 기술 목록으로 시작했습니다. 여기에는 환자의 병력 해석, 신체 검진 소견 분석, 중요한 정보 선별, 질환의 중증도 평가 등이 포함되었습니다. 연구진은 이 9가지 기술을 144개 문항에 매핑하여 초안 지도를 만들었습니다. 이 지도가 타당한지 확인하기 위해, 연구진은 동일한 문항 내에서 서로 다른 기술들이 얼마나 자주 함께 나타나는지 살펴보고, 통계적 테스트를 통해 각 기술이 서로 구별되는지 확인했습니다. 초기 데이터는 기술들이 충분히 구별된다는 것을 보여주었으나, 통계적 테스트만으로는 강력한 증거를 제시하지 못했습니다.

숫자만으로는 전체 이야기를 다 할 수 없다는 점을 인식한 연구진은 4명의 의과대학 교수진으로 구성된 패널을 투입했습니다. 의학 교육 및 시험 개발 분야에서 수십 년의 경력을 가진 이 전문가들은 초안 지도와 통계 데이터를 검토했습니다. 전문가들은 일부 기술이 너무 유사하여 별도로 유지할 필요가 없다고 판단했습니다. 예를 들어, 환자의 병력 해석과 신체 검진 소견 기술을 하나로 합쳤는데, 이는 실제 의료 현장에서 의사들이 중요한 단서를 포착하기 위해 이 두 가지를 흔히 함께 사용하기 때문입니다. 또한, 서술형 시험 문항은 대개 이미 선택된 정보를 제시하므로 '중요 정보 선별' 기술을 테스트하기 어렵다는 근거로 해당 기술을 제외했습니다. 또한, '중증도 평가' 기술에서 응급 수준의 요소를 제거했는데, 이는 서술형 시험에서 일관되게 판단하기 어렵기 때문입니다. 이러한 전문가 검토를 거쳐 목록은 7개의 명확하고 구별된 기술로 정제되었습니다: 유의미한 환자 정보 구별, 검사 결과 해석, 질병 원인 분석, 추가 검사 필요성 평가, 진단적 추론, 중증도 평가, 그리고 치료 결정입니다.

7가지 기술이 정의되자, 연구진은 학생들의 응답에 인지 진단 모델을 적용했습니다. 이 모델은 논리 게이트(logic gate)처럼 작동합니다. 즉, 학생이 문제를 맞히려면 해당 문제에서 요구하는 모든 기술을 반드시 숙달해야 한다고 가정합니다. 만약 학생이 요구되는 기술 중 단 하나라도 놓친다면, 모델은 그 학생이 정답을 맞힐 확률이 낮다고 예측합니다(단, 운 좋게 찍어서 맞힌 경우는 제외). 모델은 각 학생이 7가지 기술 중 각 기술을 숙달했을 확률을 계산했습니다. 결과는 모델이 데이터를 매우 잘 설명하고 있음을 보여주었으며, 수천 명의 학생에 걸쳐 나타난 정답과 오답의 패턴을 정확하게 반영했습니다.

이 새로운 프레임워크의 진정한 시험대는 연구진이 두 그룹의 학생을 비교했을 때 찾아왔습니다. 임상적 추론은 학생들이 병원에서의 경험을 쌓음에 따라 향로될 것으로 기대되므로, 연구진은 4학년 학생들이 3학년 학생들보다 7가지 기술 모두에서 더 높은 숙달도를 보일 것이라고 예측했습니다. 데이터는 놀라운 명확성으로 이 예측을 확인해주었습니다. 7가지 모든 기술에 대해 4학년 학생들은 유의미하게 높은 숙달도를 보였습니다. 이 차이는 단순한 통계적 편차가 아니라 크고 일관된 격차였습니다. 4학년 학생들의 숙달도는 기술 전반에 걸쳐 약 83%에서 91% 사이였던 반면, 3학년 학생들은 50%에서 65% 사이에 머물렀습니다. 이 격차는 매우 일관되고 컸기에, 7가지 기술이 실재하며 모델이 이를 정확히 식별하고 있다는 강력한 증거가 되었습니다.

연구는 또한 기존의 방식과 비교하여 새로운 방법이 전체 시험 점수와 어떻게 다른지 살펴보았습니다. 4학년 학생들이 3학년 학생들보다 총점에서 훨씬 높은 점수를 받은 것은 예상된 결과였습니다. 그러나 새로운 방법은 총점이 할 수 없는 일을 해냈습니다. 바로 그 큰 차이를 7개의 구체적인 부분으로 세분화한 것입니다. 연구진은 추론 기술의 격차가 총점의 격차만큼이나 크다는 것을 보여줌으로써, 이 모델이 단순히 데이터에 노이즈를 더하는 것이 아니라 훨씬 더 상세한 방식으로 발전 과정을 포착하고 있음을 입증했습니다.

이 연구는 의학 교육을 평가하는 방식의 변화를 강조합니다. 오랫동안 초점은 학생이 시험에 합격하느냐 낙제하느냐에 맞춰져 왔습니다. 본 연구는 우리가 이제 시험 내부를 들여다봄으로써 학생의 사고 과정 중 어떤 부분이 작동하고 있고 어떤 부분이 그렇지 않은지를 정확히 볼 수 있음을 시사합니다. 이 연구에서 식별된 7가지 기술은 의대생들이 무엇을 배워야 하는지에 대한 명확한 청사진을 제공합니다. 비록 이 연구가 이 특정 유형의 분석을 위해 원래 설계되지 않은 문항들에 의존했다는 등의 한계는 있었지만, 결과는 이 접근 방식이 실행 가능하다는 것을 보여줄 만큼 견고했습니다. 이러한 결과는 향-미래의 의학 시험이 학생들에게 단순한 숫자 하나를 주는 대신, 그들의 추론 기술에 대한 상세한 성적표를 제공하여 학생과 교사가 특정 영역을 목표로 학습할 수 있도록 도울 수 있음을 시사합니다. 이러한 수준의 상세함은 결국 의사들이 단순히 사실을 암기하는 것을 넘어, 환자를 안전하게 돌보는 데 필요한 복잡한 사고 과정을 진정으로 숙달하도록 돕는 데 기여할 수 있을 것입니다.