GPT-5 versus Senior Anesthesiology-Intensive Care Residents on Sequential Clinical Cases: A Pilot Study of Documented Clinical Reasoning

技術要約：連続的な臨床症例におけるGPT-5と麻酔科・集中治療科シニアレジデントの比較

問題提起
大規模言語モデル（LLM）は医学試験において高い正答率を示しているが、多肢選択式テストのパフォーマンス指標は、回答がいかに明示的に潜在的な臨床推論プロセスを文書化しているかを明らかにするものではない。臨床推論は、問題の定式化（problem representation）、仮説生成、およびエビデンスの解釈を含む、文脈依存的な認知活動である。既存の文献では、これらの特定の推論文書化スキルについて、LLMと研修医を比較する厳密な実証的デザインが不足している。さらに、フランス語圏のポストグラデュエート（大学院レベル）教育環境、特に北アフリカの医学的文脈におけるLLMの性能に関するエビデンスは乏しい。本研究は、「正解」と「文書化された推論」の間のギャップに対処するため、最先端のLLM（GPT-5）とシニア研修医の間で、書かれた臨床推論のアウトプットの質を比較することで、この空白を埋めるものである。

方法論
本研究は、モロッコのカサブランカにあるイブン・ロッチ大学病院（Centre Hospitalier Universitaire Ibn Rochd）で実施された、単一施設、横断的な比較パイロット研究である。

• 対象者: 本研究では、麻酔科・集中治療科の第4年次レジデント14名（参加率100%）を全数調査として用いた。
• 刺激（スティミュリ）: 2020年から2024年までの、完全に匿名化された20の実際の臨床症例が選定され、標準化された。症例は2つの連続するパートに分けられた：パート1（病歴、背景、身体診察）およびパート2（検査結果および画像診断結果）。
• タスク割り当て: 各レジデントは4つの異なる症例を完了した（合計56件のレジデント回答）。GPT-5はこれら20件の全症例を各1回ずつ完了した。設計は不完全ブロック構造であり、主要な分析において、各レジデントは同じ4つの症例についてGPT-5と照合された。
• プロンプトエンジニアリング: GPT-5にはOpenAIのAPI（モデルエイリアス gpt-5、温度 0.3、推論努力量 "medium"）を介してアクセスした。プロンプトでは、モデルに麻酔科・集中治療医の役割を割り当て、Revised-IDEA（R-IDEA）の構成要素を反映した構造化されたアウトプットを明示的に要求した。具体的には、概念的チェックリスト、簡潔な問題の定式化、優先順位付けされた検査、および各仮説に対する肯定・否定の根拠を明示した鑑別診断である。モデルには参照診断および採点ルーブリックは提供されなかった。
• 評価: 2名の教員がR-IDEAインストゥルメントに基づき、症例固有の参照ルーブリックを作成した。1名のブラインド評価者が、すべての回答（レジデントおよびGPT-5）をこれらのルーブリックに従って採点した。R-IDEAスコア（0–10）は、解釈的要約（Interpretive Summary）、鑑別診断（Differential Diagnosis）、主診断の説明（Explanation of Lead Diagnosis）、および代替診断の説明（Explanation of Alternative Diagnoses）の4つのドメインを評価する。
• 統計解析: 主要な分析には、各レジデントの平均R-IDEAスコア（4症例の平均）を、同じ4症例におけるGPT-5の平均スコアと比較する対応のあるt検定を用いた。診断精度は記述的に報告された。

主な結果

• 主要アウトカム: GPT-5は、レジデント（平均7.0, SD 2.4）と比較して、有意に高い平均総R-IDEAスコア（9.5, SD 0.9）を達成した。平均差はGPT-5が2.5ポイント高く（95% CI 1.4–3.6; p < 0.001）、効果量は大きかった（対応のある d_z = 1.39）。
• ドメイン別パフォーマンス: GPT-5は、4つのR-IDEAドメインすべてにおいてレジデントを上回った。最大の絶対差は「解釈的要約」ドメインで見られた（1.0ポイントの差）。GPT-5のスコアはスケールの最大値付近に集中しており、天井効果の可能性を示唆していた。一方、レジデントのスコアは変動が大きかった（変動係数：レジデント 34% に対し GPT-5 9%）。
• 診断精度: GPT-5は75%（15/20）の症例で教員の参照診断を特定したが、レジデントの平均診断精度は68%であった。観察値の非独立性と症例再現数の不一致により、これらのパーセンテージの推論統計的比較は本研究のデザインでは不可能であった。

主要な貢献

• 新しい文脈における概念的再現: 本研究は、生成AIと臨床推論に関する先行研究（例：Cabral et al.）を、フランス語設定、モロッコの学術センター、およびシニア麻酔科コホートへと拡張したものである。
• 文書化と能力の区別: 本研究は、文書化された推論の質（特定のプロンプト下でGPT-5が優れていた点）と、実際の臨床能力またはベッドサイドでのパフォーマンスを明確に区別している。
• 方法論的フレームワーク: 構造化されたルーブリック（R-IDEA）とソース・マスキング（情報遮断）を用いて、LLMのアウトプットを研修医の記述と比較するためのプロトコルを提示しており、プロンプトと評価基準の整合性の重要性を強調している。

意義および主張
著者らは、R-IDEAの構成要素に整合したプロンプトの下では、GPT-5はシニアレジデントよりも高いスコアの書かれた臨床推論の文書を作成すると結論付けている。しかし、論文はこれらの知見の含意について慎重な立場を維持している：

• 能力の優越性に関する主張の不在: 著者らは、高い文書化スコアが、優れた臨床能力、診断の同等性、または教育的有効性を確立するものではないことを明示している。
• 教育的仮説: 主な意義は、GPT-5が「推論文書化の足場（スキャフォールディング）」として機能する可能性にある。著者らは、教員の監督・検証を受けたGPT-5のアウトプットを「例題（worked examples）」として活用し、研修医が自身の問題の定式化を構造化されたモデルと比較することで、推論をより可視化できる可能性があると提案している。
• 限界と今後の方向性: 本研究は、単一施設デザイン、単一評価者による評価、確率的変動を評価するための第2のモデル実行の欠如、およびプロンプトがルーブリックに適合していたことがモデルに有利に働いた可能性といった限界を認めている。著者らは、今後の研究において、生成された例題を使用することが、自動化バイアスを誘発することなく学習者の成果を実際に向上させるかどうかを検証するために、前向きなマルチ・レイター（多人数評価者）による教育実験が必要であると示唆している。