テクニカル・サマリー：医学部学生のOSCEにおけるマルチモーダルAI採点のプロスペクティブな導入

問題提起

客観的臨床能力試験（OSCE）は、病歴聴取、身体診察、コミュニケーション、および推論を評価する、医学教育における臨床能力評価のゴールドスタンダードである。しかし、従来のOSCEの実施には、訓練を受けた評価者、手動のルーブリックによる採点、および多大な人的時間を必要とするなど、リソース集約的な側面がある。著者らの所属機関（UTサウスウェスタン医学センター）では、診察後の文書作成のみの採点に、年間で約1,120時間および56,000ドルのコストを要していた。これらの制約は、評価の頻度を制限し、学習者へのフィードバックを遅延させ（しばしば数ヶ月単位）、形成的評価の拡大を阻害している。大規模言語モデル（LLM）は記述式回答の採点において有望な成果を示しているが、包括的なOSCE評価には、テキスト、音声、およびビデオを同時に評価する必要がある。既存のオフザシェルフのマルチモーダルモデルは、微細な臨床評価において限界を示すことがあり、大規模かつプロスペクティブな教育現場への導入に関するエビデンスは依然として乏しい。

方法論

著者らは、Fall 2025のUTサウスウェスタン医学センターにおけるOSCE実施において、ルーブリック駆動型のゼロショットAIシステムであるMAPLES（Multimodal Assessment Pipeline for Learning Encounter Scoring）を初めてプロスペクティブに導入したことを報告する。

システム構成とワークフロー

• データ取り込み: システムは、222名の医学部2年生の5つのステーションから得られた3つの同期データストリーム（記述された臨床ノート、診察時の音声、および同期された3カメラビデオ：患者側、医師側、オーバーヘッド）を取り込んだ。
• 採点ロジック: MAPLESはゼロショットアプローチを利用した。教員が作成したルーブリック（構造化されたExcelファイル）をアップロードし、システムは各項目に対して動的にプロンプトを構築した。タスク固有のファインチューニングや、数件の例示（few-shot）は提供されていない。
  • テキスト: ノートはプレーンテキストとして処理された。
  • 音声: 音声は、言語内容、トーン、およびラポール（信頼関係）を評価するため、中間段階の文字起こしを経ずに直接処理された。
  • ビデオ: 自動前処理ステップ（ゼロショット・セグメンテーションを使用）により、身体診察のセグメントを分離してから採点を行った。
• モデル構成: 推論にはGemini 2.5 Pro（Google DeepMind）を用い、温度（temperature）0、top-p 1とし、スコアがルーブリックのスキーマに従うよう構造化出力の制約を設けた。ビデオのセグメンテーションにはGemini 2.5 Flashを使用した。
• Human-in-the-Loop（人間介在型）ワークフロー:
  1. AIによる一次採点: AIが全72,907項目のスコアを採点した。
  2. ルーティング: スコアが下位5%（ノート）または下位10%（音声/ビデオ）に該当する学習者を、独立した人間によるレビューへとルーティングした。
  3. ブラインド化されたSPEによるレビュー: 標準化患者評価者（SPE）が、AIのスコアを知らされない状態で、ルーティングされた項目を独立して再採点した。
  4. 裁定（アジュディケーション）: AIとSPEのスコアが定義された許容範囲を超えて乖離した場合（バイナリ項目は完全一致、順序尺度項目は±1カテゴリ以内）、医師による最終裁定へとエスカレーションされた。医師は両方のスコアと根拠となるエビデンスをレビューした。
• 研究デザイン:
  • コホート: 学生222名、10のステーション形式、学生1人あたり330〜333の評価項目。
  • レビューセット: 28名のユニークな学習者がレビューのためにルーティングされた（ノート12名、音声/ビデオ23名、両方7名）。
  • 裁定セット: 616件の真正な不一致（データまたはルーブリックのエラーを除く）が医師によってレビューされた。
• ガバナンス: 多角的な監督委員会がモデルの選択、閾値、およびデプロイメントサイクルを監督し、反復的な改善を確実にした。

主要な結果

一致度と裁定

• AI–SPEの一致度: ルーティングされた低スコアのレビューセットにおいて、寛容な一致（順序尺度において1カテゴリの差を許容）は、ノートで85.7%、音声で89.2%、ビデオで**92.4%と高かった。完全一致は全体で72.0%**と低くなり、これは音声/ビデオの採点の複雑さに起因している。
• 医師による裁定: エスカレートされた616件の不一致のうち、医師は**AIのスコアに76.0%**の割合で一致し、SPEのスコアには19.0%、どちらとも一致しないケースは5.0%であった。このAIへの選好はすべてのモダリティで見られたが、ノート（81.6%）で最も高く、ビデオ（51.5%）で最も低かった。
• 不一致の方向性: 医師は、AIがSPEよりも高いスコアをつけた場合でも低いスコアをつけた場合でも、AI側に付く傾向があった。これは、AIが単にスコアを水増ししているわけではないことを示唆している。

エラー分析

• SPEのエラー: SPEのエラーの主な要因は「エビデンスの見落とし（Evidence oversight）」（35.1%）および「臨床知識（Clinical knowledge）」（24.4%）であり、用語の同義性を認識できないことが多かった。
• AIのエラー: AIのエラーの主な要因は「過度に寛容な採点（Over permissive scoring）」（37.8%）および「不適切な文書配置（Wrong documentation placement）」（25.2%）であり、正しい回答がノートの誤ったセクションに記載されていた場合に発生した。また、ごく一部（9.4%）に「捏造されたエビデンス（Fabricated evidence）」（ハルシネーション）が含まれていた。
• ルーブリックの質: 「ルーブリックの具体性の欠如」は、人間とAIの両方においてエラーの頻繁な要因となっており、精密なルーブリック設計の必要性を浮き彫りにした。

運用効率

• ワークロードの削減: AI支援ワークフローは、対照的な単一パスの手動ワークフローにおける72,907回の採点に対し、5,616回の人間による採点パスを必要とした。これは、人間による採点作業の92.3%の削減を意味する。
• ターンアラウンドタイム: 試験から成績レポートまでの時間は、数ヶ月から2週間未満へと短縮された。
• コスト: マージナルな推論コストは、固定の開発コストを除き、1診察あたり推定1.73ドル（ノート$0.12、音声$0.28、ビデオ$1.31）であった。

意義と主張

本論文は、医学教育におけるOSCE採点のための統合されたマルチモーダルAIシステムの、初のプロスペクティブな展開を提示していると主張している。著者らは、主要な貢献は人間の判断を取り除くことではなく、人間の努力を再配分することにあると強調している。

• 運用の実現可能性: 本研究は、マルチモーダルAIが日常的なOSCE業務に組み込まれ、全コホートの一次採点を担当しつつ、救済措置が最も重要な「低スコアの裾野」に人間のレビューを集中させられることを示している。
• 専門家との整合性: 裁定された不一致において、医師がSPEよりもAIのスコアを支持したという結果は、AIシステムが専門的な臨床判断に密接に一致する評価のニュアンスを捉えており、従来型のSPE評価よりも一貫性において優れている可能性があることを示唆している。
• システム的改善: このデプロイメントは、人間による評価者の信頼性、ルーブリックの質、およびプロセスの非効率性といった、現状におけるシステム上の課題を露呈させた。著者らは、AIによって、教育者が「どのように採点するか」ではなく、「何を評価すべきか（ルーブリックとケースのデザイン）」に集中できることを主張している。
• スケーラビリティ: ゼロショットかつルーブリック駆動型の設計により、モデルの再学習なしに、新しいステーションやルーブリックの改訂へ採点スキルを転移させることが可能であり、評価の頻度と範囲の拡大をサポートする。

著者らは、結果が特定の機関のインフラおよびルーブリックに特有であることを指摘し、一般化については控えめなトーンを維持している。また、全コホートに対するブラインド裁定の欠如、低スコアの裾野への分析の集中、および人口統計学的な公平性とハルシネーション率に関するさらなる検証の必要性といった限界も認めている。本研究は、教育者が管理するAI拡張型のアセスメントシステムへの基礎的な一歩として位置づけられている。