技術的要約：グループおよび個別形式におけるAI模擬患者遭遇の実現可能性

問題提起

生成人工知能（AI）および大規模言語モデル（LLM）は、問題解決型学習（PBL）やケースベース学習（CBL）において、医学部学部教育（UME）でますます活用されている。しかし、既存の文献は、手法の異質性、アウトカム指標の一貫性の欠如、およびインストラクショナル・デザインに関する透明性の欠如という課題を抱えている。具体的には、以下の2つの重要なギャップが存在する：

1. 指導提供形式： 指導提供形式（例：ファシリテーター付きのグループ形式 vs 自律的な個別形式）が、独立した教育変数として与える影響については、これまでほとんど検証されてこなかった。
2. 評価の透明性： AIを活用した教育評価手法は、独立した再現や検証を可能にするほどの詳細な記述がなされることが稀である。

さらに、AI模擬患者は、スケーラブルで一貫した会話のやり取りを提供する一方で、それらを多様な学習環境に統合するには、有効性を主張する前に実現可能性の検証が必要である。

方法論

本研究は、サザン・イリノイ大学医学部の医学部1年生（MS1）を対象とした、2つのコホートによる実現可能性および尺度開発パイロット研究として設計された。

研究デザインおよび参加者

• コホート： 2つの非重複かつ非ランダム化されたコホートが、同一の臨床症例（消化器疾患）を用いて、異なる提供形式の下で参加した：
  • グループ・コホート ($n=7$)： 教員がファシリテーションを行うセッション。学生は教室環境において、ピア観察（仲間による観察）を行いながら、AI模擬患者と共同でインタビューを行った。
  • 個別コホート ($n=12$)： 自律的なセッション。学生は個人のデバイスを使用し、プライベートな空間で、ピア観察なしに個別にエンカウンターを完了した。
• 交絡変数： 本研究では、提供形式がコホートの所属、セッションの日程、リクルート手順、デブリーフィングの手法、およびプラットフォームのバージョンと完全に交絡していることを認めている。したがって、コホート間の比較は因果関係を示すものではなく、記述的かつ探索的なものとして扱った。
• 倫理的監督： 本研究は、機関審査委員会（IRB #24–525）から免除決定を受けた。参加は任意であり、学業成績には影響しない。

インターベンション（介入）

• AI模擬患者： 会話型の音声およびアバター技術と統合された、市販のLLMを使用して開発された。このシステムは、両方の形式において一貫した臨床提示および応答フレームワークを維持した。
• 所要時間： グループセッションは約35分間であり、個別セッションの中央値は31分（範囲17〜83分）であった。

尺度およびデータ収集

1. 行動的安全言語尺度–暫定版（BSLS-P）： 新たに開発された探索的な調査尺度であり、エンカウンターの前後に実施された。以下の項目を評価した：
   • 学習者のエンゲージメント／楽しさ
   • 心理的安全（恥ずかしさを恐れずに質問したり、ミスをしたりできると認識される能力と定義）
   • 準備へのモチベーション
   • 提供形式の好み（エンカウンター後のみ）
   • 注記： この尺度は、コホート間でバージョンの変更が行われた（Version 1 vs Version 2）。
2. 自動トランスクリプト分析： 2つのエージェント・パイプライン（行動、自由記述評価、アクション、および時間成分）を個別コホートのトランスクリプトに適用し、再現可能な分析フレームワークを実証した。これは推論的な主張のために使用されたものではない。
3. 定性的フィードバック： グループ・コホートは口頭でのデブリーフィングを行い、個別コホートは任意のプロンプトに対して記述形式の回答を行った。

統計解析

• コホート内： 前後の変化は、対応のある $t$ 検定（正規分布）またはウィルコクソンの符号付順位検定（非正規分布）を用いて分析された。
• 多重比較： サブスケールの比較全体に対して、ベンジャミニ・ホッホバーグの偽発見率（FDR）補正を適用した。
• コホート間： 交絡変数があるため、コホート間の比較は記述的に行い、因果関係の推論は行わなかった。
• AIの使用： 原稿の作成にあたり、編集支援として生成AI（Claude Opus 5）を使用した。ただし、すべての統計解析およびデータテーブルは、生データに基づき共著者によって独立して作成された。

主な結果

定量的知見

• 実現可能性： 両コホットとも、有害事象や技術的な除外なしに、AI模擬患者エンカウンターおよび前後調査を正常に完了した。
• 心理的安全およびエンゲージメント： 両コホートにおいて、心理的安全およびエンゲージメントに関して方向性のある肯定的な変化が見られた。
  • 個別コホート： 最大の効果は心理的安全のサブスケールで観察された（ウィルコクソン $r = 0.62$）。これはFDR補正前に統計的有意性に達したが（$P = .026$）、FDR補正を通過できなかった（調整後 $P = .20$）。
  • グループ・コホート： 方向性のある変化を示したが、FDR補正後に統計的に有意な比較は残らなかった。
• 準備へのモチベーション： 両コホートで緩やかな低下が見られた。項目レベルの分析によれば、これはドメイン全体の傾向ではなく、単一の調査項目によって引き起こされたものであり、エンカウンター後の期待値の再調整を示唆している可能性がある。
• コホート間比較： FDR補正後、グループ・コホートと個別コホートの間で統計的に有意な差は見られなかった。方向性の違いは存在するが、これらは記述的なものとみなされた。

学習者の嗜好

• ハイブリッドモデルの嗜好： 個別コホートにおいて、将来の学習に対するモード（最頻値）は、42%から**58%**へと「ハイブリッド」モデルへとシフトした。すなわち、まず単独でAIエンカウンターを完了し、その後に教員がファシリテーションを行うグループディスカッションを行う形式である。
• 定性的フィードバック： 参加者は、このシミュレーションを、安全な環境で臨床推論を練習するための魅力的かつ価値のあるものとして記述した。彼らは、誤解に対処するための構造化された教員のフィードバックに加え、独立した練習の価値を強調した。

尺度およびパイプラインの開発

• 本研究は、AIの文脈における心理的安全とエンゲージメントを測定するための暫定的なツールとして、BSLS-Pの展開に成功した。
• 自動トランスクリプト分析フレームワークが実装・記述され、スケーラブルで再現可能な行動コーディングの実現可能性が示されたが、これは依然として開発段階にあり、人間の専門家による評価に対する独立した検証が必要である。

主な貢献

1. 実現可能性の証明： 本研究は、AI模擬患者エンカウンターが、医学部1年生にとって、促進されたグループ形式および自律的な個別形式の両方において実用的に実装可能であることを確認した。
2. 方法論的透明性： 本論文は、暫定的な調査尺度（BSLS-P）および自動トランスクリプト分析パイプラインの詳細な記述を提供し、AI教育における再現可能な評価手法に関する文献のギャップに対処している。
3. 形式の探索： 本研究は、インストラクショナルな提供形式を明確な変数として導入し、ハイブリッドアプローチ（単独のAI練習 ＋ グループディスカッション）が学習者の嗜好に最も適合することを示唆している。

意義および主張

著者らは、本研究を比較有効性試験ではなく、実現可能性パイロットおよび尺度開発研究として明確に位置づけている。

• 控えめな主張： 著者らは、観察された前後変化は探索的であり、仮説生成のためのものであると述べている。サンプルサイズの小ささ、非ランダム化、および交絡変数を理由に、一方の形式が他方より優れている、あるいはAI介入が教育的成果を決定的に向上させるとは主張していない。
• 意義： 本研究の主な意義は、以下の点にある：
  1. AI模擬患者を、技術的な失敗なしに医学部教育に統合できること。
  2. 学習者がこれらのエンカウンターを心理的に安全で、かつエンゲージメントが高いと感じていること。
  3. ハイブリッド型の指導モデルが学習者の嗜好に合致しており、AIを従来の教員主導の指導の代替ではなく、補完するものとして統合することを支持していること。
  4. 記述されたツール（BSLS-Pおよびトランスクリプト・パイプライン）が、これらの予備的な知見を検証するために必要な、適切にパワーを備えたランダム化比較試験のための基礎を提供していること。

本論文は、有望な知見ではあるものの、今後の研究には、多施設共同ランダム化比較試験、BSLS-Pの正式な心理計量的妥当性の検証、および人間の専門家による評価に対するトランスクリプト分析フレームワークの独立した検証が必要であると結論付けている。