Quality and Readability of Artificial Intelligence Chatbot Responses to Patient Questions About Exocrine Pancreatic Insufficiency: A Comparative Study

技術的要約：外分泌性膵臓不全に関する患者の質問に対するAIチャットボットの回答の質と可読性

問題提起
外分泌性膵臓不全（EPI）は、消化および吸収の障害を特徴とする臨床症候群であり、膵酵素補充療法（PERT）、食事調整、栄養モニタリングを含む複雑な管理を必要とする。効果的な管理は患者の理解に大きく依存しているが、患者は非特異的な症状や複雑な診断経路に直面することが多い。生成AIやChatGPT、Copilot、Gemini、Perplexityといった大規模言語モデル（LLM）は健康情報の取得にますます利用されているが、EPIに特化して、追跡可能性があり、構造化され、理解しやすい情報を提供できる能力に関する、標準化されたマルチモデル比較の研究は不足している。先行研究では、AIは高品質なテキストを生成できる一方で、患者教育において推奨される可読性レベル（通常は小学6年生レベル）を満たさないことが多く、ソースの透明性に欠けることが示唆されている。

方法論
本研究では、2026年7月に実施されたウェブベースの横断的比較デザインを用いた。

• 質問生成： 研究者は、Google トレンド（5年間のグローバル検索関心）、Medical Subject Headings（MeSH）、臨床ガイドライン（術後膵炎およびPERT管理を含む）、および患者コミュニティ・フォーラム（InspireおよびHealthUnlocked）からのデータを統合することにより、EPIに関する20の核心的な患者質問を特定した。
• 評価対象モデル： 幅広く使用されている4つのAIチャットボット、ChatGPT 5.6、Microsoft Copilot、Google Gemini 3.6 Flash、およびPerplexityをテストした。
• データ収集： 20の各質問を、役割の割り当て、単語制限、または引用のリクエストを行わない標準的なデフォルト設定を用いて、各モデルに一度ずつ提出した。これにより、計80の回答が得られた。
• 品質評価： 回答は以下の4つのツールを用いて評価された：
  • DISCENSIVE： 治療情報の質、エビデンスのソース、および不確実性を評価（16–75スケール）。
  • EQIP： 患者教育資料の完全性、構造、および提示方法を評価（0–100スケール）。
  • Global Quality Score (GQS)： 全体的な質、組織化、および有用性を評価（1–5スケール）。
  • JAMA ベンチマーク： 著者、属性、開示、および最新性を評価（0–4スケール）。
• 可読性評価： Pythonおよびtextstatライブラリを使用して、6つの指標を算出した：Automated Readability Index (ARI)、Gunning Fog Index (GFI)、Flesch-Kincaid Grade Level (FKGL)、Coleman-Liau Index (CL)、Simple Measure of Gobbledygook (SMOG)、およびFlesch Reading Ease Score (FRES)。目標閾値は小学6年生レベル（FRES ≥ 80、その他の指数 < 6）とした。
• 統計解析： 品質スコアは、効果量（$\epsilon^2$）を伴うクラスカル・ウォリス検定を用いて比較した。可読性指標は、ウィルコクソン符号付順位検定を用いて閾値との比較を行った。

主な結果

• 情報品質： DISCERN ($P=0.187$)、EQIP ($P=0.529$)、JAMA ($P=0.392$)、およびGQS ($P=0.467$) のいずれにおいても、4つのモデル間に統計的な有意差は見られなかった。
  • DISCERN： 中央値は35.00（Perplexity）から38.50（Copilot）の範囲であり、「乏しい」から「乏しい／適度」の境界域に位置しており、治療情報の質が限定的であることを示している。
  • EQIP： 中央値は52.50から55.00の範囲であり、構造と提示に関する軽微な問題はあるものの、「良好」な品質を示している。
  • GQS： すべてのモデルが中央値4.00を達成しており、優れた組織化と有用性を示唆している。
  • JAMA： すべてのモデルが中央値0.00であり、著者、ソースの帰属、開示、および更新日の提示がほぼ完全に欠落していることを示している。
• 可読性： いずれのモデルも、推奨される小学6年生レベルを満たさなかった。
  • すべての学年レベル指標（ARI、GFI、FKGL、CL、SMOG）の中央値は、6を大幅に上回っていた（概ね13から19の範囲）。
  • 中央値のFRESはすべて80を下回り（Geminiの13.04からPerplexityの30.76の範囲）、テキストが「非常に読みにくい」ことを示していた。
  • モデル間の差異： PerplexityとCopilotは、Geminiと比較して一般的に可読性の高い（複雑性の低い）回答を生成したが、Geminiは最も高い言語的複雑性を示した。しかし、最も「容易な」回答であっても、小学6年生の閾値を下回っていた。

主要な貢献

• マルチモデル比較： 本研究は、高い患者教育ニーズがありながら、AIによる評価がこれまで限られていたEPIに関して、4つの主要なAIチャットボットを体系的に比較した最初期の研究の一つである。
• 次元の分離： 本研究は、「表面的な使いやすさ」（高いGQSスコア）と「エビデンスの追跡可能性」（低いJAMAスコア）の間の決定的な乖離を浮き彫りにしている。AIの回答は、流暢で構造化されている一方で、検証可能なソースを欠き、基本的な可読性基準を満たしていない可能性があることを示している。
• 可読性のギャップ： 本研究は、AI生成の医学的コンテンツと、患者教育資料として推奨されるリテラシーレベルとの間の重大なギャップを定量化しており、よりアクセシブルに見えるモデル（Perplexity、Copilot）であっても、大学レベルの複雑さを持つテキストを生成することを明らかにしている。

意義および主張
著者らは、AIチャットボットは構造化され、広範に利用可能な情報を生成するものの、治療情報の質とソースの透明性において重大な限界を抱えていると主張している。本研究は、これらの回答は専門家による検証を経た後の補助的な情報としてのみ使用されるべきであると結論付けている。

論文は以下の点を主張している：

1. 現在の限界： 高い構造的品質（GQS）と低いソース透明性（JAMA）の組み合わせは、患者がその妥当性や最新性を検証することなく、流暢な回答を信頼してしまうリスクを生じさせる。
2. 可読性の障壁： 回答の言語的複雑さは、一般的な患者教育に推奨されるレベルを大幅に超えており、使用されるモデルに関わらず理解を妨げる可能性がある。
3. 開発者への推奨事項： 臨床的有用性を向上させるために、開発者は権威ある引用の統合、ガイドラインの最新性の表示、平易な言語によるコンテンツ生成、および患者のヘルスリテラシーレベルへの適応を行うべきである。
4. 臨床的意義： 医療従ラは、患者がこれらのツールを自己管理（例：PERT投与量の調整）に使用する可能性があることを認識し、積極的に情報を検証し、誤解を正し、適切な読解レベルの検討済み資料を提供すべきである。

著者らは、本研究が特定のモデルバージョンを対象としたスナップショットであり、事実としての医学的正当性やガイドラインとの整合性を検証するものではないことを述べ、品質および可読性のスコアのみでは独立した治療指導への適合性を確立できないとして、控えめな姿勢を維持している。