Evaluative (Mis)alignment in Competency-Based Feedback: A Constructivist Grounded Theory-Informed Study in Family and Community Medicine Residency Programs 

의학 교육의 세계에는 의사를 준비시키는 가장 좋은 방법이 단순히 사실을 암기하는 것이 아니라, 전문적 역량(professional competence)이라고 알려진 특정 기술과 행동 세트를 숙달하는 것이라는 믿음이 커지고 있습니다. 이 개념은 질병을 치료하는 방법을 아는 것을 넘어, 클리닉이나 병원이라는 복잡한 실제 환경에서 효과적으로 생각하고, 행동하고, 소통하는 능력을 포함합니다. 의사들이 준비되었는지 확인하기 위해, 훈련 프로그램들은 학습자가 특정 과업을 수행하는 능력을 평가하는 역량 기반 교육(competency-based education)이라는 시스템을 사용합니다. 이 시스템의 핵심적인 부분은 피드백인데, 이는 교사 또는 지도전문의(preceptor)와 학생 또는 전공의(resident)가 학생이 얼마나 잘하고 있는지에 대해 나누는 대화입니다. 이들의 희망은 서로의 관점을 비교함으로써 다음에 무엇을 배워야 할지에 대해 합의하는 것입니다. 그러나 근본적인 과제가 존재합니다. 교사와 학생은 종종 동일한 성과를 완전히 다른 렌즈를 통해 바라본다는 점입니다. 한 사람은 실제로 행해진 것에 집중하는 반면, 다른 한 사람은 학생이 미래에 무엇을 해야 하는지, 혹은 이론적으로 무엇을 알고 있는지에 집중할 수 있습니다. 만약 이 두 사람이 "좋은 성과"가 무엇인지에 대해 합의하지 못한다면, 피드백 대화는 학습의 기회를 놓치는 일이 될 수 있습니다.

브라질의 연구자들은 가족 및 지역사회 의학 레지던시 프로그램에서 이러한 대화가 정확히 어떻게 전개되는지 이해하고자 했습니다. 그들은 사람들이 피드백에 대해 어떻게 느꼈는지를 묻는 것을 넘어, 그들이 업무를 논의하기 위해 앉았을 때 실제로 무엇을 말했는지를 듣고자 했습니다. 연구팀은 14쌍의 전공의와 지도전문의를 모았습니다. 만나기 전, 각 쌍의 인원은 환자 사례 관리, 효과적인 의사소통, 의료 절차 수행과 같은 34가지의 서로 다른 전문 기술에 대해 상대방을 독립적으로 평가했습니다. 그들은 자신감과 숙련도를 나타내기 위해 간단한 5점 척도를 사용했습니다. 평가가 완료된 후, 쌍들은 점수를 비교하기 위해 녹화된 세션에서 만났습니다. 만약 의견이 일치하면 그 이유를 설명했습니다. 만약 의견이 다르면, 차이의 원인을 논의하고 개선 계획을 세워야 했습니다. 연구진은 이 대화가 어떻게 이루어지고 협상되는지 보기 위해 수백 시간의 대화를 분석했습니다.

연구 결과 놀라운 진실이 드러났습니다. 평점표의 숫자는 종종 오해를 불러일으키는 이야기를 전달한다는 것이었습니다. 절반 이상의 비교에서 전공의와 지도전문의는 서로 다른 점수를 주었습니다. 하지만 점수가 같더라도, 그들은 종종 완전히 다른 것을 생각하고 있었습니다. 전공의들은 자신의 자기 평가를 자신이 실제로 행한 것에 기반하여 내리는 경향이 있었습니다. 만약 자궁 내 장치 삽입과 같은 특정 절차를 한 번도 수행해 본 적이 없다면, 그들은 경험이 부족하기 때문에 낮은 점수를 주었습니다. 그들은 현재의 현실에 따라 자신을 판단했습니다. 반면, 지도전의들은 자신이 직접 관찰한 것 너머를 바라보는 경우가 많았습니다. 그들은 전공의의 이론적 지식, 인품에 대한 일반적인 인상, 또는 전공의가 기회가 주어진다면 해당 과업을 수행할 능력이 있을 것이라는 믿음에 근거하여 더 높은 점수를 부여했습니다. 지도전문의는 "이것을 하는 것을 본 적은 없지만, 이론은 이해하고 있는 것을 보니 할 수 있을 것이라 믿는다"라고 말할 수 있습니다. 이 순간, 전공의는 자신의 과거 행동을 평가하고 있었고, 지도전문의는 그의 미래 잠재력을 평가하고 있었습니다.

이러한 관점의 차이는 연구자들이 '평가적 불일치(evaluative misalignment)'라고 부른 간극을 만들어냈습니다. 이것은 단순히 한 사람이 옳고 다른 사람이 틀린 문제가 아니라, 서로 다른 대상을 평가하고 있는 문제였습니다. 한 명은 완성된 제품을 측정하고 있었고, 다른 한 명은 설계도를 측정하고 있었습니다. 연구는 이러한 불일치가 평점 척도 자체에 의해 숨겨지는 경우가 많다는 것을 발견했습니다. 때때로 낮은 점수는 실력이 부족해서가 아니라, 전공의가 그것을 처벌이나 실패의 징후로 느꼈기 때문에 주어졌습니다. 또 다른 경우에는 기술을 숙달했기 때문이 아니라, 학생을 격려하거나 감정을 상하게 하지 않기 위해 높은 점수가 주어지기도 했습니다. 척도는 기술을 정밀하게 측정하는 도구가 아니라 관계를 관리하는 도구가 되었습니다. 대화가 녹화되었을 때, 연구진은 피드백이 전달되는 방식이 매우 중요하다는 것을 보았습니다. 만약 지도전문의가 먼저 말하고 즉시 자신의 판단을 내린다면, 전공의는 침묵하거나 단순히 동의하며 실질적인 이유를 논의할 기회를 차단하곤 했습니다. 하지만 전공의가 자신의 견해를 먼저 설명할 수 있도록 허용했을 때, 대화는 더 생산적이 되었습니다. 그들은 증거를 비교하고, 특정 기술이 의미하는 바를 명확히 하며, 자신이 아는 것을 보여주는 데 방해가 되는 장비 부족이나 실습 기회 부족과 같은 실제적인 장벽들을 식별할 수 있었습니다.

이러한 관찰로부터 연구자들은 'S-SKILLS-F 모델'이라 명명한 새로운 방식의 피드백 세션 구조를 개발했습니다. 이 접근법은 대화의 숨겨진 부분을 가시화하도록 설계되었습니다. 이는 양측이 시작하기 전에 기준을 이해하는 것으로 시작합니다. 그런 다음, 지도전의가 자신의 견해를 제시하기 전에 전공의가 자신의 자기 평가와 그 근거가 된 경험을 공유합니다. 이 순서는 전공의의 관점이 독자적으로 설 수 있게 합니다. 회의의 핵심은 단 하나의 숫자를 강요하는 것이 아니라, 증거를 논의하는 것입니다. 그들은 "무엇을 보았나요?", "무엇을 했나요?", "무엇이 당신이 더 많이 하지 못하게 막았나요?"와 같은 질문을 던집니다. 그들은 전공의가 지금 할 수 있는 것과 나중에 할 수 있을 것 사이의 차이를 찾습니다. 마지막으로, 그들은 전공의가 취할 구체적인 행동과 지도전의가 제공할 지원을 식별하며 미래를 위한 구체적인 계획을 세웁니다. 이 모델은 피드백 세션을 단순한 성적 부여 사건이 아니라, 학습에 대한 협력적 조사로 취급합니다.

연구는 의학 교육에서의 의견 차이 문제가 학생이나 교사의 결함이 아니라, 역량을 판단하는 방식의 자연스러운 특징이라고 결론짓습니다. 그것은 세상을 보는 서로 다른 방식들 사이의 협상입니다. 연구는 단순히 체크리스트 형태의 기술 목록을 갖는 것만으로는 충분하지 않다는 점을 시사합니다. 의사를 진정으로 성장시키기 위해서, 관련자들은 성공의 정의를 일치시키고, 사용하는 증거를 공유하며, 학습이 일어나는 맥락을 이해하기 위해 시간을 들여야 합니다. 이 새로운 모델은 잠재적인 혼란스러운 의견 불일치를 명확하고 실행 가능한 발전 계획으로 바꾸는 길을 제시합니다. 연구자들은 이 새로운 접근 방식이 실제 현장에서 얼마나 잘 작동하는지 확인하기 위해 다른 환경에서도 테스트되어야 한다고 언급했지만, 이 연구는 현재의 시스템이 어디에서 막히는지와 어떻게 그것을 넘어설 수 있는지에 대한 명확한 지도를 제공합니다. 이 연구 결과는 의학을 가르치는 복잡한 예술에서, 가장 중요한 단계는 평가 그 자체가 아니라 점수가 주어지기 전, 도중, 그리고 그 후에 일어나는 대화라는 점을 상기시켜 줍니다.