Evaluating Five Generative AI Chatbots for Myocarditis-Related Public Health Consultation: A Multidimensional Assessment of Safety, Accuracy, Empathy, Reliability, Quality, and Readability

技術要約：心筋炎に関する公衆衛生コンサルテーションにおける5つの生成AIチャットボットの評価

問題提起
心筋炎は、非特異的な症状から突然死に至るまで、多様な臨床像を呈する異質な炎症性心筋疾患である。心筋炎に関する公衆への相談は安全性が極めて重要である。患者はしばしば、緊急を要する症状、感染後またはワクチン接種後の懸念、運動制限、予後などについてオンラインで情報を求める。大規模言語モデル（LLM）に基づく生成AIチャットボットは、即時的で会話形式の医学的説明を提供する一方で、こうしたリスクの高い循環器領域におけるその性能は依然として不明である。既存の文献は、ハルシネーション（幻覚）、重要な情報の欠落、および情報源の透明性の不足のリスクを示唆している。緊急警告やトリアージのアドバイスが欠落していれば、事実としての正確さだけでは不十分であるという点で、心筋炎関連のクエリにおける安全性、正確性、共感性、信頼性、情報の質、透明性、および読みやすさを統合的に評価したエビデンスには、特定の空白が存在する。

方法論
本研究は、チャットボットによる健康アドバイスの研究に関するCHARTチェックリストに従い、横断的かつ比較的なテキストレベルの評価デザインを採用した。

• 評価対象モデル： 公開されている5つの生成AIチャットボットを評価した：ChatGPT Plus 5.4、Gemini 3.0 Pro、DeepSeek-V3.1、Doubao、およびCopilot。
• 質問セットの開発： 以下のマルチソース戦略を用いて、52個の心筋炎関連の公衆相談用質問を構築した：
  1. Google トレンド分析（2020年11月～2025年11月）による検索トレンドの特定。
  2. 公衆衛生フォーラム（HealthUnlocked、Patient.info、Reddit）のレビュー。
  3. 亳州人民病院（中国）における15名の確定診断済み心筋炎患者への半構造化インタビューによる、現実世界の情報ニーズの把握。
     質問は、高度に個別化された臨床シナリオを除外し、一般的な公衆衛生教育、レッドフラッグ症状、および安全性に関わるアドバイスに焦点を当てるようスクリーニングされた。
• データ収集： 2026年4月20日から4月26日の間に、各52の質問をそのままの形で、新しい独立したセッションとして各チャットボットに単発のプロンプトとして送信した。システム指示、ロール設定、またはフォローアップのプロンプトは使用しなかった。
• 参照標準： 各質問に対して、現代の心筋炎ガイドライン、コンセンサスステートメント、および系統的レビューから導き出されたエビデンスに基づく参照標準を作成した。これらの標準は、期待される事実的内容、安全性に関わる要素、および不適切な記述の例を定義した。
• 評価フレームワーク： 5名のブラインド化された独立した評価者（10年以上の経験を持つ循環器専門医）が、以下の7つのドメインにわたって回答を評価した：
  • 安全性： 有害なアドバイス、トリアージ推奨の遅れ、または過度な安心感の提供に基づき、バイナリ（二値）の結果（安全／不安全）で判定。
  • 正確性と共感性： 参照標準および患者中心のコミュニケーション基準に基づき、5段階のリッカート尺度でスコア化。
  • 信頼性と質： DISCERN（治療の信頼性）、EQP（患者情報の質）、GQS（全体的な質）、およびJAMAベンチマーク基準（透明性）を用いて評価。
  • 読みやすさ： 6つの指標（ARI、CL、FKGL、GFI、SMOG、FRES）を用いて評価し、ターゲットを6年生レベルの読解力とした。
• 統計解析： 安全性の差異はCochranのQ検定を用いて分析した。非バイナリの結果は、Friedman検定と効果量としてのKendallのWを用いて分析した。評価者間信頼性は、Fleissのκおよび級内相関係数（ICC）を用いて評価した。

主な結果

• 安全性： すべてのモデルが高い安全な回答率（90.4%～94.2%）を示したが、モデル間に統計的な有意差は認められなかった（CochranのQ = 1.077, P = 0.898）。しかし、全モデルを通じて21件の不適切または誤解を招く可能性のある回答（総数の8.1%）が特定された。定性的分析により、5つの再発する失敗メカニズムが明らかになった：重篤な心肺症状に対するトリアージ不足、ワクチン関連心筋炎に関する過度な安心感の提供、時期尚早または不十分な個別化による運動指導、不完全な治療の枠組み、および曖昧なエスカレーションのアドバイス。
• 正確性と共感性： 正確性（P < 0.001; KendallのW = 0.582）および共感性（P < 0.001; KendallのW = 0.180）において、有意なモデル間の差が観察された。Gemini、Copilot、およびDeepSeekは最も高い中央値の正確性スコア（5.00）を達成し、DeepSeekは共感性（中央値 4.00）において最高のパフォーマンスを示した。
• 信頼性と質： DISCERN、EQP、JAMA、およびGQSのスコアにおいて、有意なモデル間の差異が見られた（すべて P < 0.001）。DeepSeekが最高のDISCERNおよびEQPスコアを達成した。Gemini、Copilot、およびDeepSeekは、最高の全体的な質スコア（GQS）を達成した。透明性はすべてのモデルで限定的であり、Copilotが最高のJAMAスコア（0.80）を記録し、ChatGPTとDoubaoは0.00であった。
• 読みやすさ： すべてのモデルは、すべての指標において推奨される6年生レベルの読解力を大幅に超えていた（すべて P < 0.001）。CopilotとDeepSeekは比較的読みやすいテキストを生成したが、患者向けの情報を提示するための平易な言語の目標を一貫して満たしたモデルは存在しなかった。

意義および主張
本論文は、一般に公開されている生成AIチャットボットは、広範に安全な心筋炎関連の情報を提供できるものの、自律的な臨床的意思決定にはまだ適していないと主張している。本研究は以下の点を強調している：

1. 安全性は必要条件であるが、十分条件ではない： 高い安全性率は、高リスクのシナリオにおける臨床的な信頼性を意味しない。すべてのモデルに見られる残留リスク（例：トリアージ不足、過度な安心感）は、これらのツールが医師のレビューなしに自律的なトリアージ、診断の除外、または運動再開の許可に使用されるべきではないことを示している。
2. 多角的なパフォーマンスの変動： モデルの選択は、出力される事実の完全性、共感性、および透明性に大きく影響する。すべての次元において優れた単一のモデルは存在せず、例えばDeepSeekは共感性と信頼性に強みを示したが、Copilotは透明性において優れていた。
3. 読みやすさが重要な障壁である： すべてのモデルが6年生レベルの読みやすさの基準を満たせなかったことは、ヘルスリテラシーが限られているユーザーへのアクセシビリティを確保するために、チャットボットの生の出力には平易な言語への適応が必要であることを示唆している。
4. 提案されるワークフロー： 著者らは、チャットボットの出力を最終的な資料ではなく、一般的な患者教育のためのドラフトとして使用する、医師によるレビューを伴うワークフローを提案している。彼らは、リスクを意識した展開戦略、検証された情報源、および平易な言語への適応の統合を強調している。

本研究は、これらのツールは一般的な患者教育をサポートできる可能性があるが、心血管領域のような安全性が極めて重要な文脈において潜在的な危害を軽減するためには、医師による監視を含む厳格なガードレールを伴って運用されなければならないと結論付けている。