Applying a Cognitive Diagnostic Model to Assess Clinical Reasoning: Q- Matrix Development and Known-Groups Validity Evidence from a Nationwide Medical Examination

医学教育という極めて重要な世界において、医師のように考える能力は、単に事実を知っていることと同じくらい重要である。このスキルは「臨床推論」として知られ、症状、既往歴、検査結果といった患者の詳細な情報の断片を、明確な診断と治療計画へと編み上げていくプロセスを指す。数十年にわたり、医学部はこうした能力をテストするために多肢選択式試験に頼ってきた。しかし、これらのテストは通常、単一のスコア、つまり学生が何問正解したかを示す数字しか提供せず、彼らが「どのように」考えたのかについては何も明らかにしない。それは、あるランナーが10分でレースを走り終えたことは分かっても、前半は全力疾走して後半はジョギングをしたのか、あるいは各ターンでつまずいていたのかを知ることなく、単に完走時間だけを知るようなものである。医学教育を真に向上させるためには、教育者は学生が行う具体的な思考ステップを見極め、彼らの推論のどの部分が強く、どの部分に改善が必要なのかを正確に特定する必要がある。

加chon大学医学部の研究者は、認知診断モデルと呼ばれる洗練された手法を韓国の国家規模の医学試験に適用することで、この問題の解決に取り組んだ。単に正解数を数えるのではなく、この研究は、各問題に正解するために必要な特定の思考スキルをマッピングすることを目指した。研究チームは、医学部の3年生および4年生、計約5,600人の学生の回答を分析した。彼らはまず、専門家が臨床推論に不可欠であると考えている、検査結果の解釈や治療法の決定といった9つの異なる思考スキルのリストを作成した。問題文の精査と経験豊富な医学教育者によるパネルとの協議を経て、慎重なプロセスにより、このリストを7つの明確なスキルへと絞り込んだ。次に、これら7つのスキルが学生のパフォーマンスを正確に説明できるかどうかを統計モデルを用いて検証した。結果は驚くべきものであった。モデルは学生の能力をうまく分離することに成功し、より多くの臨床経験を持つ4年生が、3年生よりもはるかに高い割合でこれらの推論スキルを習得していることを示した。この発見は、新しいフレームワークが有効であるという強力な証拠を提供し、単純なテストスコアを超えて、学生の思考をスキルごとに詳細に診断する方法を提示した。

この結論に至るまでの道のりは、膨大なデータセットから始まった。それは、韓国全土の医学部生に対して実施された2019年度第2回臨床総合試験である。研究者たちは、内科セクションの144問の多肢選択式問題に焦点を絞った。彼らは、3年生2,603名と4年生2,983名からなる計5,586名の学生の回答を収集した。データは完全に匿名化されていたため、研究者は個々の学生の背景を調べることはできなかったが、グループの規模が非常に大きかったため、経験とともに推論スキルがどのように発達するかという明確なパターンを見出すことができた。

最初の大きな課題は、各試験問題と、それを解くために必要な特定の思考スキルを結びつける「Qマトリックス」と呼ばれるマップを構築することであった。研究者は、既存の文献のレビューから導き出された9つの潜在的なスキルのリストから着手した。これらには、患者の既往歴の解釈、身体診察所見の分析、重要な情報のスクリーニング、および病状の重症度評価などが含まれていた。彼らは、これらの9つのスキルを144問の問題にマッピングして、ドラフト版のマップを作成した。このマップが妥当であるかどうかを確認するために、異なるスキルが同じ問題の中にどの程度の頻度で共起するかを調査し、統計テストを実行して、各スキルが互いに独立しているかどうかを確認した。初期のデータでは、スキルは十分に区別されていたが、統計テスト単体では強力な証明には至らなかった。

数値だけでは物語の全容を語れないと判断した研究者は、4名の医学部教員によるパネルを招集した。医学教育と試験開発において数十年の経験を持つこれらの専門家は、ドラフト版のマップと統計データをレビューした。彼らは、いくつかのスキルが似通いすぎているとして、統合すべきであると判断した。例えば、患者の既往歴の解釈と身体診察所見の分析は、実際の診療において医師が重要な手がかりを見つけるためにしばしば併用されるため、これらを統合した。また、「重要な情報のスクリーニング」というスキルについても、記述式の試験問題では通常、情報はすでに選択された状態で提示されるため、情報を探し出すというスキルをテストすることは不可能であるとして削除した。さらに、「重症度評価」のスキルについても、緊急度の要素は記述式テストにおいて一貫した判断が困難であるため、その部分を削ぎ落とした。この専門家によるレビューを経て、リストは以下の7つの明確かつ独立したスキルへと精査された：重要な患者情報の識別、検査結果の解釈、疾患の原因の分析、追加検査の必要性の評価、診断的推論、重症度の評価、および治療決定。

7つのスキルが定義された後、研究者は学生の回答に対して認知診断モデルを適用した。このモデルは論理ゲートのように機能する。つまり、ある問題に正解するためには、学生はその問題が要求するすべてのスキルを習得していなければならないという仮定に基づいている。もし学生が要求されるスキルのうち一つでも欠けていれば、モデルは、その学生が偶然正解したのではない限り、その問題を間違える可能性が高いと予測する。モデルは、各学生がこれら7つのスキルのうち、それぞれを習得している確率を算出した。結果として、モデルはデータに非常によく適合し、数千人の学生における正解と不正解のパターンを正確に反映していることが示された。

この新しいフレームワークの真のテストは、研究者が2つの学生グループを比較した際に訪れた。臨床推論は、病院での経験を積むにつれて向上することが期待されるため、研究者は4年生が3年生よりも7つのスキルすべてにおいて高い習得度を示すと予測した。データはこの予測を驚くほど明確に裏付けた。7つのスキルのすべてにおいて、4年生は有意に高い習得度を示した。その差は単なる統計的な誤差ではなく、大きく一貫した隔たりであった。4年生の習得率は、スキル全体で約83%から91%の範囲であったのに対し、3年生は50%から65%の間にとどまっていた。この差は非常に一貫しており、かつ大きかったため、7つのスキルが実在すること、そしてモデルがそれらを正しく特定していることの強力な証拠となった。

また、本研究では、新しい手法が従来のテスト方法とどのように比較されるかを確認するために、試験全体のスコアについても調査した。4年生は3年生よりも試験の総得点が高く、これは予想通りであった。しかし、新手法は総得点では不可能なことを成し遂げた。それは、その大きな差を7つの具体的な要素へと分解したことである。推論スキルの格差は総得点の格差と同じくらい大きいことが示され、このモデルが単にデータにノイズを加えているのではなく、より詳細な方法で、発達のプロセスを実際に捉えていることが証明された。

この研究は、医学教育の評価方法におけるパラダイムシフトを浮き彫りにしている。長年、焦点は学生がテストに合格するか不合格になるかに置かれてきた。しかし、本研究は、テストの内部を覗き込み、学生の思考のどの部分が機能しており、どの部分が機能していないのかを正確に見極めることができることを示唆している。本研究で特定された7つのスキルは、医学部生が何を学ぶべきかについての明確な設計図を提供するものである。本研究には、この特定の分析のために設計されたものではない問題に依存しているといった限界もあるが、結果は、このアプローチが実行可能であることを示すほど堅牢なものであった。これらの知見は、将来的に医学試験が、単一の数字を与えるだけでなく、学生とその教師が改善すべき特定の領域をターゲットにできるよう、推論スキルの詳細な成績表を提供できる可能性を示唆している。このレベルの詳細さは、医師が単に事実を暗記しているだけでなく、患者を安全にケアするために必要な複雑な思考を真に習得していることを保証するための助けとなるだろう。