Standard Setting in the Era of Workplace-Based Assessment: A Pilot Exploration
本パイロット研究は、3つの確立された標準設定法（アンゴフ法、ブックマーク法、および構成概念マッピング法）が、妥当な一般外科卒業基準を定義するために、縦断的な職場ベースの評価データに実現可能かつ信頼性高く適応できることを示しており、結果の収束と定性的知見によって支持される582という提案されたカットスコアを提示している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、料理の学生が自分のレストランを開く準備ができているかどうかを判断しようとしているヘッドシェフだと想像してください。かつてなら、特定の料理（例えばスフレ）を一つ作らせるのを見て、「よし、彼ならこれはいける」と判断していたかもしれません。しかし今日、医学部では、実際のキッチン（手術室）でのパフォーマンスに関する膨大なデータを長年にわたって収集し、多くの異なる料理を何度も作らせるというシステムへと移行しています。
問題は、その長期的なデータを、いかにして一つの明確な「合格」または「不合格」のラインに変換するかを知る人が誰もいなかったことです。
この論文は、10人の熟練シェフ（外科教育者）が、3つの異なる測定ツールを使って、どのようにしてそのラインを引くべきかを解明しようとしたパイロットテストのようなものです。彼らが何を行い、何を見出したのかを、分かりやすく説明します。
目標： 「卒業ライン」を見つけること
研究者たちは、「この学生は一人で実践できる準備ができている」と言える具体的なスコアを見つけたいと考えていました。彼らは、外科手術のパフォーマンスに基づいて372から628のスコアを出す「SIML」というデジタルツールを使用しました。目標は、そのスケール上で、学生が「実践可能」になる正確な数値を見つけることでした。
3つの測定ツール
専門家たちは、家の価格をさまざまな方法で推測するように、3つの異なる方法でこのラインを設定することを試みました。
「アンゴフ（Angoff）」法（精神的な推測）:
- 仕組み: 専門家たちは、「かろうじて合格レベル」の学生を想像するよう求められました。そして、リストにあるすべての手術について、「この『かろうじて合格レベル』の学生が、この手術をうまくこなせる確率はどのくらいか？」を推測しなければなりませんでした。
- 例え: これは、審査員たちに、オリンピックチームにギリギリ入れるほど速いランナーを想像させ、そのランナーがどれだけのハードルを越えられるかを推測させるようなものです。
- 結果: 専門家にとって非常に困難でした。彼らは、すべての手術に対してこの「かろうじて合格レベル」の学生を想像しようとすることに、複雑さを感じ、脳が疲れてしまいました。
「ブックマーク（Bookmark）」法（はしご）:
- 仕組み: 彼らは手術のリストを取り、データに基づいて「簡単」から「難しい」へと並べ替えました。その後、専門家たちは、学生が失敗し始める地点に「ブックマーク（しおり）」を置くよう求められました。
- 例え: これは、手術の段（ステップ）が組まれたはしごを想像してください。専門家たちは、「学生はこの段までは登れるが、これ以上高く行こうとすると落下するだろう」と言わなければなりませんでした。
- 結果: 専門家たちの間で、段の順番付けについて意見が一致しませんでした。コンピュータが示した順序に合わない手術もあり、それが原因で彼らは回答に自信が持てなくなりました。
「コンストラクト・マッピング（Construct Mapping）」法（ヒートマップ）:
- 仕組み: これが最も好まれた方法です。専門家たちは、色彩豊かな「ヒートマップ（確率を示す色の付いたチャート）」を見ました。このマップは、あるスコアを持つ学生が特定の外科手術を成功させる確率を正確に示していました。彼らは全体像を一度に把握することができました。
- 例え: これは、はしごを登ったり推測したりするのではなく、天気図を見るようなものです。嵐の雲（難しい手術）と晴天のスポット（簡単な手術）を一度に見ることができ、「もし気温（スコア）がここにあるなら、外に出ても安全だ」と言うことができます。
- 結果: 専門家たちはこの方法を愛しました。迅速で、実際のデータに基づき、一つのスコアがどのように多くの異なる手術に適用されるかを可視化することができたからです。
大きな発見
専門家たちが作業を終えたとき、3つの異なるツールを用いて描いた「合格」ラインを比較しました。
- アンゴフ法は、約 577 のラインを示唆しました。
- ブックマーク法は、約 588 のラインを示唆しました。
- コンストラクト・マッピング法は、約 582 のラインを示唆しました。
驚きの事実: ツールは全く異なるものでしたが、描かれたラインはほぼ同じでした。統計的に、これらの間に実質的な差はありませんでした。これにより、研究者たちは、582 という数字が卒業の開始点として妥当であるという自信を得ました。
専門家たちの声（「人間的」な側面）
数値は近かったものの、専門家たちにはいくつかの考察がありました。
- 「準備ができている」の定義: 彼らが「最小限の能力を持つ」学生とはどのような人物かについて、合意を得るのは困難でした。それは「卒業できるギリギリのレベル」の人を指すのか、それとも「明日からでも外科医として活躍できる」人を指すのか？ 彼らは「完璧な」外科医ではなく、「十分な」外科医に焦点を当て続けることに苦労しました。
- 複雑性: 特定の手術の難易度を考慮することは困難でした。彼らは、最も難しい症例ではなく、「標準的な（単純な）」症例に対して基準を設定することに同意しました。
- 勝者: 彼らは、最も効率的であり、多くの手術にわたって基準を可視化できる**ヒートマップ（コンストラクト・マッピング）**を好みました。
結論
この研究は、長期的なパフォーマンスの山のようなデータを、明確で公平な卒業基準に変えることができることを証明しています。彼らは、3つの異なる測定方法が同じ結果をもたらしたことを発見し、その結果の信頼性を高めました。
彼らは、新しい基準として 582 というスコアを提案しています。学生がこのスコアに達した場合、データによれば、腹腔鏡下虫垂切除術に対しては 88〜90%、胆嚢摘出術に対しては 83〜85%、結腸手術に対しては 76〜80% の確率で準備ができていることを示唆しています。
要するに、彼らは外科の学生が単独で飛躍できる時期を測る信頼できる方法を見つけ出し、そして「全体像（ヒートマップ）」を見ることが最善の方法であることを突き止めたのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。