Assessing the Quality, Safety, and Readability of Large Language Model Responses from ChatGPT and Gemini for Knee Osteoarthritis Patient Education

技術要約：膝変形性関節症の患者教育における大規模言語モデルの回答の質、安全性、および可読性の評価

問題提起
膝変形性関節症（OA）は、運動、体重管理、薬物療法、および潜在的な外科的介入を含む、複雑で長期的なセルフマネジメントを必要とする慢性的な痛みと障害の主要な原因である。臨床ガイドラインは患者教育を強調しているが、時間に制約のある診察では、患者がオンライン検索で補うことになる情報の空白が生じることが多い。ChatGPTやGeminiのような大規模言語モデル（LLM）は、この目的のためにますます利用されているが、膝OAのような疾患特異的でガイドラインが密集した疾患に対する適合性は未検証である。既存の評価は、一般的な医学や単一の品質次元に焦点を当てることが多く、南アジアの臨床現場で一般的な統合医療（例：ユニ・医学）のクエリを軽視しており、複数の品質ドメインを同時に評価できていない。本研究は、膝OAに関するAI生成の患者教育の正確性、安全性、および可読性に関するエビデンスの欠落に対処するものである。

方法論
本研究では、2025年5月にアクセスされたChatGPT（GPT-4o）とGemini（Gemini 1.5 Pro）の回答を評価するために、比較横断的研究デザインを採用した。

• 質問の開発： 7つの主要なソース（AAOS、ACR、NHS、CDCを含む）から収集された36の患者関連質問のバンクを作成し、さらに、ユニ・医学、床レベルでの礼拝、インド式のトイレの使用など、南アジアの文脈に特有の臨床医由来のクエリによって補完した。質問は、全般的な理解、症状、原因、ライフスタイル、運動、薬理学、手術、予後、統合医療、およびリソースの10のドメインに分類された。
• 回答の生成： 各質問は、典型的な患者のやり取りをシミュレートするため、追加のプロンプトやシステム指示を与えず、新鮮なセッション内で両方のプラットフォームに個別に投入された。
• 品質評価： 5名の臨床医（全員が10年以上の筋骨格系経験を有する）が、正確性、完全性、明瞭性、安全性、および信頼性の5つのドメインにおいて、5段階のリッカート尺度を用いて独立して回答を評価した。評価者はプラットフォームの識別をブラインド化された。
• 安全性基準： 安全性は、受診の遅延を示唆すること、無監督での薬剤変更を促すこと、エビデンスのない治療を推奨すること、または不釣り合いな不安を引き起こすことの4つの特定の基準によって定義された。
• 可読性分析： 10の検証済み可読性指標（Flesch Reading Ease、Flesch-Kincaid Grade Level、Fry Readability Formulaを含む）をすべての回答に適用した。
• 統計解析： グループ間の比較には非パラメトリックのマン・ホイットニーのU検定を用いた。15の同時比較（5つの品質ドメイン + 10の可読性指標）に対してボンフェローニ補正を適用し、有意水準を p < 0.0033 に設定した。評者間信頼性は、単一測定 [ICC(A,1)] および平均測定 [ICC(A,k)] クラス内相関係数を用いて評価した。

主な結果

• 品質ドメイン： ChatGPTは、正確性（19.69 ± 1.69 vs. 17.83 ± 2.14; p = 0.0001, r = 0.45）および完全性（18.08 ± 1.76 vs. 16.19 ± 2.52; p = 0.0004, r = 0.41）において、Geminiに対して統計的に有意な優位性を示した。これらの差はボンフェローニ補正を通過し、中程度から大きな効果量を示した。
• 安全性と信頼性： 明瞭性、安全性、または信頼性に関して、プラットフォーム間に有意な差は見られなかった。しかし、本研究では、これらの特定のドメインにおける評者間信頼性が低かったことが指摘されており、これは、ヌル結果（有意差なし）が真の同等性ではなく、測定の限界を反映している可能性を示唆している。
• 可読性： ChatGPTの回答は、Fry可読性公式において有意に高いスコアを示し（11.90 vs. 10.70; p = 0.003）、より高いテキストの複雑さを示した。Coleman–Liau指数はGeminiに有利であったが、補正を通過しなかった。決定的なことに、両プラットフォームとも、患者教育に推奨される6年生から8年生レベルを大幅に上回る、11年生から13年生の読解レベルのテキストを生成した。
• 評者間信頼性： 単一測定の一致度（ICC(A,1)）は、すべてのドメインにおいて低かった（0.002–0.208）。平均測定の信頼性（ICC(A,k)）は改善し、完全性については中程度のレベル（0.567）に達し、正確性については中程度のレベル（0.421）に近づいた。これは、個々の評者の分散にもかかわらず、集計された結果の堅牢性を支持している。

意義と主張
本論文は、膝変形性関節症の患者教育において、ChatGPTは現在、Geminiよりも臨床家が評価する正確性と完全性が高い一方で、Geminiは緩やかな可読性の優位性を持つと主張している。本研究は、両プラットフォームとも、修正なしでは一般的な患者層に適した読解レベルのコンテンツを生成できないことを強調している。

著者らは、彼らの知見が現在のモデルバージョンおよび定義された評価フレームワークに特有のものであると主張している。安全性と明瞭性に有意な差が見られなかったことは、それらが同等であることの証明として解釈すべきではないと警告している（低い評者間信頼性による）。ユニ・医学のクエリの導入は、西洋中心のAI評価でしばしば無視される、南アジアの患者集団の文化的特異性に対処した、明確な貢献として強調されている。

限界と範囲
本研究は、以下の制約を明示的に認めている：

1. 信頼性： 低い単一測定の信頼性は、個々の臨床家の評価が大きく異なることを示唆しており、知見は集計レベルにおいてのみ堅牢である。
2. 時間的特異性： 結果は、2025年5月時点の特定のモデルバージョン（GPT-4oおよびGemini 1.5 Pro）に紐付けられている。継続的なモデルの更新により、パフォーマンスが変化する可能性がある。
3. 患者のアウトカム： 本研究は、専門家によって判断されたコンテンツの質を評価しており、実際の患者の理解度、想起、または遵守を評価したものではない。
4. 一般化可能性： 評価は英語による回答、2つのプラットフォーム、および特定の36の質問に限定されている。

結論
本論文は、ChatGPTは膝OA教育における正確性と完全性においてGeminiを上回るものの、両モデルとも、患者向けの資料として使用する前に資格を持つ医療従事者によるレビューが必要であると結論付けている。著者らは、今後の研究において、前向きな患者ベースの検証と、評者の信頼性のための標準化されたキャリブレーション・プロトコルの開発に焦点を当てることを推奨している。