Accuracy and Limitations of AI Scoring for Objective Medical Interview Checklist Items in a Year-One School of Medicine Objective Structured Clinical Examination (OSCE)

医学部において、患者との話し方を学ぶことは、診察の仕方を学ぶことと同じくらい重要です。学生が実社会に出る準備ができていることを確認するために、教育者は「客観的構造化臨床試験（OSCE）」と呼ばれる試験方法を用いています。この設定では、学生は訓練を受けた俳優が演じる患者と対面します。学生は、病歴を収集するために適切な質問をしなければならず、俳優は、何を尋ねたか、そしてそれがどれほど適切に行われたかという厳格なチェックリストに基づいて、学生を採点します。このプロセスは臨床スキルの教育におけるゴールドスタンダードですが、非常に手間のかかるものでもあります。俳優には一貫性を保ちながら学生のパフォーマンスを判断するための数時間のトレーニングが必要であり、また、公平性を確保するために教員がこれらのやり取りをレビューするために膨大な時間を費やすことも求められます。人工知能が会話を聴き取り、言語を理解する能力を高めるにつれ、教育者たちは、コンピュータが採点を引き継げるのではないかと考えるようになりました。その希望は、機械が録音を聴き、必要な質問にチェックを入れ、人間が行うわずかな時間で学生を採点し、より多くの教育のためのリソースを解放することにあります。

テキサス大学医学部ガルベストン校の研究チームは、特定の目的を持ってこのアイデアをテストすることに乗り出しました。それは、人工知能が医学的インタビューの客観的な部分を正確に採点できるかどうかを確認することでした。彼らは、医学部1年生の試験に焦点を当てました。この試験では、234人の学生が標準化された患者に対してインタビューを行っている様子が録画されました。そこでは、人間の俳優がすでに、「痛みの部位」や「症状の程度」、あるいは「家族歴」といった12項目の特定のチェックリスト項目に基づいて学生を採点していました。研究者たちは、これらのやり取りのビデオ録画をテキストのトランスクリプト（逐語録）に変換しました。そして、これらのトランスクリプトをAIを搭載したソフトウェアプラットフォームに入力し、それらの12項目のチェックリスト項目を探し出すように設計されたプロンプトを設定しました。コンピュータには採点者のように振る舞うよう指示され、テキスト内で検出された各項目に対してポイントを割り当てるようプログラムされました。チームは、コンピュータが生成したスコアを人間の俳優が付けたスコアと比較し、差異を確認し、なぜそのような差異が生じたのかを理解しようと試みました。

結果は、人工知能が完璧ではないものの、有能な助手であることを示しました。研究者がコンピュータの成績を人間の成績と比較したところ、中程度のレベルの一致が見られました。コンピュータによる平均合計スコアは、人間による平均とほぼ同一であり、人間が11.60点としたのに対し、コンピュータは12点満点中平均11.51点を付けました。時間に関しては、その差は劇的でした。俳優のトレーニングや試験のレビューを含む人間の採点プロセスには、この学生グループに対して約56時間がかかりました。一方、システムがセットアップされた後のコンピュータは、234件すべてのインタビューを分析し、3時間足らずでスコアを生成しました。これは、医学的インタビューにおける事実に基づいた質問のチェックという特定のタスクにおいて、機械が驚異的なスピードと高い一貫性を持って、重労働をこなせることを示唆しています。

しかし、この研究は、機械がどこでつまずいたのかをも明らかにしました。2,800件近い個別の採点決定のうち、コンピュータと人間の俳優が意見を異にしたケースが83件ありました。研究者がこれらのエラーを詳しく調査したところ、不一致の主な理由が4つ見つかりました。第一に、コンピュータは完全に、自身が読み取るテキストの品質に依存していることです。音声録音が小さかったり、二人が同時に話したり、あるいは背景のノビーズが会話を妨げたりした場合、文字起こしソフトウェアが単語を見逃したり、聞き間違えたりすることがあります。例えば、もし学生が痛みが他の部位に「放散する（radiates）」かどうかを尋ねたのに、コンピュータがそれを「共鳴する（resonates）」と書き起こしてしまった場合、AIはその正しい医学用語を認識できず、質問が欠落していると判定してしまいます。

第二に、コンピュータは人間が実際に話す方法に苦戦します。学生はしばしば、人間であれば即座に理解できるような独特で間接的な言い回しで質問しますが、特定の単語を探しているコンピュータはそれを見逃す可能性があります。もし学生が、期待されている「痛みは放散しますか？（Does the pain radiate?）」ではなく、「痛みは一箇所に留まっていますか？（Does the pain stay in one spot?）」と尋ねた場合、人間であれば概念を理解したとして加点するかもしれませんが、厳格なルールに従うコンピュータは加点しない可能性があります。第三に、コンピュータは非言語的な手がかりを見ることができません。実際のインタビューでは、患者が頷いたり、お腹を指差したりして質問に答えることがあり、人間の俳優はそうしたやり取りに対して学生に加点します。しかし、コンピュータはテキストのトランスクリプトしか読めないため、頷きや指差しを見ることができず、質問が未回答であると判定してしまいます。最後に、判断の相違がありました。時には、人間の俳優が、学生が意図したであろう「含みのある意味」に対して加点を与えることがありましたが、コンピュータはチェックリストに書かれた正確な言葉を学生が口にすることを要求しました。

研究者たちは、人工知能は構造化された客観的なチェックリストの採点速度を上げるための強力なツールではあるものの、人間の判断を完全に代替できる段階にはない、と結論付けました。コンピュータはトランスクリプト内の特定の単語を見つけることには優れていますが、文脈やトーン、あるいは学生の質問の背後にある微妙な意図を理解する能力には欠けています。この研究は、このテクノロジーの最善の使い道はサポートツールであると示唆しています。コンピュータは採点の初期段階を処理して教育者の時間を数十時間節約できますが、音声の質、独特な言い回し、あるいは非言語コミュニケーションから生じるエラーを捉えるために、人間によるレビューが依然として必要です。技術が、言葉にされない部分を含む人間の会話の全容を確実に解釈できるようになるまでは、学生の臨床スキルの評価における最終決定権は人間に残されるべきです。医学教育における評価の未来は、機械がボリューム（量）を扱い、人間が判断を担うというパートナーシップの形をとることになるでしょう。これにより、学生が公平かつ効率的に採点されることが保証されるのです。