Evaluating the Effectiveness of an Information System-Assisted Competency Assessment for Residents: A Single-Center Study in China

의료 교육의 세계에서 목표는 오랫동안 레지던트 과정을 졸업하는 모든 의사가 단순히 지식만 갖춘 것이 아니라, 진정으로 유능하도록 보장하는 것이었습니다. 수십 년 동안 이러한 교육은 학생이 병원에서 얼마나 많은 시간을 보냈는지와 서면 시험을 통과했는지에 크게 의존해 왔습니다. 그러나 현대적 접근 방식인 역량 기반 의료 교육(competency-based medical education)은 의사가 실제로 '무엇을 할 수 있는지'로 초점을 전환합니다. 이는 환자 케어 관리, 가족과의 소통, 또는 후배 동료를 가르치는 것과 같은 구체적인 기술로 의사라는 복잡한 직업을 세분화합니다. 병원들의 과제는 수백 명의 수련의들에 걸쳐 이러한 기술들을 어떻게 공정하고 정확하게 측정하느냐 하는 것입니다. 만약 레지던트를 평가하는 사람들이 너무 관대하거나, 혹은 레지던트들이 스스로를 실제보다 더 잘한다고 생각한다면, 시스템은 누가 더 도움이 필요한지를 식별하는 데 실패하게 됩니다. 레지던트의 실제 능력을 명확히 파악하지 못한다면, 병원은 의사들이 환자를 안전하게 치료할 준비가 되었음을 보장할 수 없습니다.

이를 해결하기 위해 중국 쓰촨성 서부 화중 병원의 연구진들은 24개의 다양한 의학 전문 분야에 걸친 약 1,800명의 레지던트를 평가하기 위해 기술을 활용했습니다. 그들은 수개월 동안 수련생들이 어떻게 수행하고 있는지에 대한 데이터를 수집하는 디지털 시스템을 구축했습니다. 단일한 의견에 의존하는 대신, 이 시스템은 각 레지디던트에 대해 세 가지 다른 유형의 피드백을 수집했습니다: 직속 교수 멘토의 점수, 임상 역량 위원회(Clinical Competency Committee)라고 불리는 전문가 특별 위원회의 점수, 그리고 레지던트 자신들의 점수입니다. 연구진은 이 디지털 접근 방식이 이토록 큰 규모로 작동할 수 있는지, 그리고 더 중요하게는 서로 다른 평가 그룹들이 서로 동의하는지를 확인하고 싶었습니다. 그들은 숫자 뒤에 숨겨진 진실을 찾고자 했습니다: 경험이 쌓임에 따라 점수가 상승하는지, 그리고 그들을 채점하는 사람들이 동일한 현실을 보고 있는지를 말입니다.

결과는 디지털 시스템이 잘 작동했음을 보여주었으며, 종이 양식으로는 관리가 불가능했을 방대한 양의 데이터를 성공적으로 조직해 냈습니다. 연구진이 전문가 위원회가 준 점수를 살펴보았을 때, 명확한 패턴이 나타났습니다. 레지디던트들이 수련 1년 차에서 3년 차로 이동함에 따라, 모든 역량 영역에서 점수가 유의미하게 향상되었습니다. 이는 훈련이 제대로 작동하고 있으며 레지디던트들이 시간이 지남에 따라 실제로 더 숙련되고 있음을 확인시켜 주었습니다. 그러나 한 가지 특정 기술이 지속적으로 약한 모습으로 두드러졌습니다. 모든 3년의 수련 기간 동안, 레지디언트들은 가르치는 기술(teaching skills)에서 가장 낮은 점수를 받았습니다. 가장 경험 많은 수련생들조차 이 분야에서는 어려움을 겪었는데, 이는 그들이 훌륭한 의사가 되어가고는 있지만, 타인을 가르치는 방법은 배우지 못하고 있음을 시사합니다.

또한 이 연구는 누가 채점을 하고 있는지와 그들이 어떻게 채점하는지 사이의 상당한 괴리를 드러냈습니다. 레지디던트들과 매일 밀접하게 일하는 교수 멘토들은 일반적으로 전문가 위원회와 비슷한 수준의 점수를 주었지만, 지속적으로 너무 관대했습니다. 6개 기술 영역 중 5개 영역에서 멘토들은 위원회보다 레지디던트를 더 높게 평가했습니다. 이러한 '관대함'은 멘토들이 위원회가 포착한 약점들을 발견하지 못하고 있음을 의미했습니다. 레지디던트들의 자기 성과에 대한 견해와 비교했을 때는 그 격차가 더욱 컸습니다. 레지디던트들이 스스로를 평가했을 때, 그들은 전문가 위원회의 평가보다 훨씬 더 높은 점수를 주었습니다. 평균적으로 레지디던트는 위원회보다 약 4점 정도 더 높게 자신을 평가했습니다. 이는 레지디던트들이 단순히 약간의 과신을 하는 수준이 아니라, 자신의 인식과 실제 수행 능력 사이의 간극을 거의 인지하지 못하고 있음을 시사합니다.

연구진은 디지털 시스템이 이러한 숨겨진 패턴을 밝혀내는 강력한 도구임을 발견했습니다. 이 시스템은 훈련 프로그램이 임상 기술을 구축하는 데는 성공적이었지만, 가르치는 능력을 개발하는 데는 실패하고 있다는 점을 보여주었습니다. 또한 채점하는 사람들에 대한 더 나은 교육의 심각한 필요성을 강조했습니다. 교수 멘토들은 더 객관적이 되는 법을 배워야 했고, 레지디던트들은 자신의 작업을 정확하게 판단하는 법을 배우는 데 도움이 필요했습니다. 이 연구는 이러한 문제들을 해결했다고 주장하는 것이 아니라, 컴퓨터화된 시스템이 이를 고치기 위해 필요한 명확하고 정직한 데이터를 제공할 수 있음을 증명했습니다. 파편화된 종이 기록에서 통합된 디지털 플랫폼으로 이동함으로써, 병원은 대규모이면서도 상세한 진행 상황 측정 방법을 만들었습니다. 이 접근 방식은 데이터가 사용되어 모든 레지디던트가 단순히 정해진 시간을 마친 것이 아니라, 진정으로 환자를 돌볼 준비가 되었음을 보장하는 의료 교육의 앞길을 제시합니다.