Standard Setting in the Era of Workplace-Based Assessment: A Pilot Exploration
이 예비 연구는 세 가지 확립된 표준 설정 방법(Angoff, Bookmark, Construct Mapping)이 종단적 직무 기반 평가 데이터에 실행 가능하고 신뢰할 수 있는 방식으로 적용되어, 결과의 수렴과 질적 통찰에 의해 뒷받침되는 582점의 제안된 컷 스코어와 함께 방어 가능한 일반 외과 졸업 표준을 정의할 수 있음을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 요리 학생이 주방을 떠나 자신만의 레스토랑을 열 준비가 되었는지 결정하려는 헤드 셰프라고 상상해 보십시오. 과거에는 단순히 그들이 특정 요리(예: 수플레) 하나를 만드는 것을 보고 "그래, 이 정도면 해낼 수 있겠군"이라고 결정했을지도 모릅니다. 하지만 오늘날 의과대학들은 학생들이 실제 주방(수술실)에서 어떻게 수행하는지에 대한 방대한 양의 데이터를 수년에 걸쳐 수집하며, 여러 가지 다양한 요리를 만드는 과정을 지켜보는 시스템으로 나아가고 있습니다.
문제는, 이 장기적인 데이터를 어떻게 하나의 명확한 "합격" 또는 "불합격" 선으로 바꿀 수 있는지 아무도 몰랐다는 점입니다.
이 논문은 10명의 전문가(외과 교육자)가 세 가지 측정 도구를 사용하여 그 선을 긋는 방법을 알아내려 했던 일종의 파일럿 테스트입니다. 그들이 무엇을 했고 무엇을 발견했는지 쉽게 설명해 드리겠습니다.
목표: "졸업선" 찾기
연구진은 "이 학생은 이제 혼자서 진료할 준비가 되었다"라고 말할 수 있는 구체적인 점수를 찾고자 했습니다. 그들은 SIMPL이라는 디지털 도구를 사용했는데, 이 도구는 학생이 수술에서 수행한 성과에 따라 372점에서 628점 사이의 점수를 부여합니다. 목표는 이 척도에서 학생이 "실전 투입 준비(practice-ready)"가 되는 정확한 숫자가 어디인지 찾는 것이었습니다.
세 가지 측정 도구
전문가들은 집값을 추측하는 서로 다른 방법들을 사용하여 이 선을 정하는 세 가지 방법을 시도했습니다.
"앤고프(Angoff)" 방식 (정신적 추측):
- 작동 방식: 전문가들은 "간신히 합격하는" 학생을 상상하도록 요청받았습니다. 그런 다음, 목록에 있는 모든 수술 하나하나에 대해 다음과 같이 추측해야 했습니다. "이 간신히 합격하는 학생이 이 수술을 잘 해낼 확률은 얼마인가?"
- 비유: 이는 심판들에게 올림픽 팀에 간신히 들어갈 만큼 빠른 러너를 상상하게 한 뒤, 그 러너가 허들을 몇 개나 넘을 수 있을지 추측하게 하는 것과 같습니다.
- 결과: 전문가들에게 매우 어려웠습니다. 그들은 매번 이 "간신히 합격하는" 학생을 상상하는 것이 너무 복잡하고 뇌가 피로해진다고 느꼈습니다.
"북마크(Bookmark)" 방식 (사다리):
- 작동 방식: 연구진은 수술 목록을 데이터에 기반하여 "쉬운 것"부터 "어려운 것" 순으로 배열했습니다. 그런 다음 전문가들은 학생이 실패하기 시작하는 지점에 "북마크"를 표시하도록 요청받았습니다.
- 비유: 사다리의 가로대(rung)가 각각의 수술이라고 상상해 보십시오. 전문가들은 "학생이 이 가로대까지는 올라갈 수 있지만, 그보다 높이 올라가면 떨어진다"라고 말해야 했습니다.
- 결과: 전문가들은 가로대의 순서를 정하는 데 의견이 일치하지 않았습니다. 일부 수술은 컴퓨터가 제시한 순서에 맞지 않는 것처럼 보여서, 그들이 확신을 갖지 못하게 만들었습니다.
"컨스트럭트 매핑(Construct Mapping)" 방식 (히트 맵):
- 작동 방식: 이것이 가장 선호된 방식이었습니다. 전문가들은 색깔이 있는 "히트 맵"(확률을 색상으로 보여주는 차트)을 살펴보았습니다. 이 지도는 특정 점수를 가진 학생이 특정 수술을 통과할 확률을 정확하게 보여주었습니다. 그들은 전체 그림을 한눈에 볼 수 있었습니다.
- 비유: 이는 사다리를 오르는 대신 기상도를 보는 것과 같습니다. 폭풍우가 치는 곳(어려운 수술)과 화창한 곳(쉬운 수술)을 한꺼번에 볼 수 있으며, "온도(점수)가 여기라면, 밖으로 나가도 안전하다"라고 말할 수 있습니다.
- 결과: 전문가들은 이 방식을 매우 좋아했습니다. 빠르고, 실제 데이터를 사용하며, 하나의 점수가 여러 수술에 어떻게 적용되는지 시각적으로 보여주었기 때문입니다.
큰 발견
전문가들이 세 가지 도구를 사용하여 그린 "합격" 선을 비교했을 때 다음과 같은 결과가 나왔습니다.
- 앤고프(Angoff) 방식은 약 577점을 제시했습니다.
- 북마크(Bookmark) 방식은 약 588점을 제시했습니다.
- 컨스트럭트 매핑(Construct Mapping) 방식은 약 582점을 제시했습니다.
놀라운 점: 도구는 완전히 달랐지만, 그들이 그린 선은 거의 동일했습니다. 통계적으로 이 방법들 사이에 실질적인 차이가 없었습니다. 이는 582점이 졸업을 위한 출발점으로 사용되기에 견고하고 공정한 숫자라는 확신을 연구진에게 주었습니다.
전문가들의 의견 ("인간적인 측면")
숫자는 비슷했지만, 전문가들은 과정에 대해 몇 가지 의견을 냈습니다.
- "준비됨"의 정의: "최소한의 역량을 갖춘" 학생이 어떤 모습인지 합의하는 것이 어려웠습니다. 그들이 말하는 대상이 "간신히 졸업할 수준"인가요, 아니면 "내일 당장 외과의사가 될 준비가 된 사람"인가요? 그들은 "완벽한" 외과의사를 생각하는 것을 멈추고 "충분히 괜찮은" 외과의사에 집중하는 데 어려움을 겪었습니다.
- 복잡성: 특정 수술의 난이도를 고려하는 것이 어렵다고 느꼈습니다. 그들은 가장 어려운 케이스가 아닌 "단순한(straightforward)" 케이스를 기준으로 표준을 설정하기로 합의했습니다.
- 승자: 전문가들은 **히트 맵(컨스트럭트 매핑)**을 가장 선호했습니다. 왜냐하면 가장 효율적이었고, 여러 수술에 걸친 표준을 시각화하는 데 도움이 되었기 때문입니다.
결론
이 연구는 방대한 양의 장기 수행 데이터를 어떻게 명확하고 공정한 졸업 기준으로 바꿀 수 있는지 증명합니다. 그들은 세 가지 측정 방식이 동일한 결과로 이어진다는 것을 발견했으며, 이는 결과의 신뢰성을 높여줍니다.
그들은 582점을 새로운 표준으로 제안합니다. 학생이 이 점수에 도달하면, 데이터에 따르면 복강경 충수 절제술을 수행할 준비가 될 확률은 88~90%, 담낭 절제술은 83~85%, 대장 수술은 **76~80%**가 됩니다.
요약하자면, 그들은 수술 학생이 단독 비행을 할 준비가 되었는지 측정하는 신뢰할 수 있는 방법을 찾아냈으며, "전체적인 그림"(히트 맵)을 보는 것이 가장 좋은 방법임을 발견했습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.