Evaluation of Large Language Models for Post-Cystectomy Sexual Health Counseling in Women: A Pilot Study

技術的要約：女性の膀胱全摘除術後における性的健康カウンセリングのための大規模言語モデルの評価

問題提起
筋層浸潤性膀胱癌（MIBC）を患う女性は、根治的膀胱全摘除術後に生存率が著しく低く、性的機能障害の高い発生率に直面している。これらの問題の臨床的重要性が高いにもかかわらず、性的健康に関するカウンセリングは一貫して提供されておらず、女性患者は男性患者よりも、医療従発者による性的機能や心理社会的ウェルビーイングに関する議論を受ける機会が少ない。大規模言語モデル（LLM）は患者教育にますます活用されているが、この特定の、かつデリケートな集団に対して、ガイドラインに準拠し、共感的で、読みやすいカウンセリングを生成する際の信頼性については、まだ十分に研究されていない。既存の文献は臨床的な正確性に焦点を当てることが多いが、「読みやすさのギャップ」を軽視している。すなわち、AIが生成するコンテンツは、一般人口のヘルスリテラシーレベルを上回ることが多く、これが格差を悪化させる可能性がある。さらに、先行する読みやすさの研究における方法論的な限界、具体的には、相関のある読みやすさの指標を独立したアウトカムとして扱うことは、タイプI過誤を増大させ、真のモデル間の差異を不明瞭にするリスクがある。

方法論
本研究では、広く使用されている3つのLLM（ChatGPT、Gemini、Perplexity）を評価した。評価フレームワークは以下の要素で構成される。

• データ生成： モデルに対し、膀胱全摘除術後のケアに関する米国泌尿器科学会（AUA）および米国臨床腫瘍学会（ASCO）のガイドラインから導き出された6つの臨床的質問をプロンプトとして与えた。プロンプトは、2つの形式（長文：技術的／臨床的言語、および短文：平易な言語）で提示された。プロンプト間のキャリーオーバー（干渉）を最小限に抑えるため、応答は個別のシークレットモードのセッションで生成された。
• 遵守度評価： 2名の独立したレビュアーが、ガイドラインの領域に基づく4項目のチェックリストを用いて、生成された36個の応答（6質問 × 3モデル × 2レビュアー）をスコア化した。（1）合併症とQOLに関するカウンセリング、（2）性的機能を温存する手術オプションの議論、（3）支持療法とメンタルヘルス・カウンセリング、（4）ライフスタイル修正。スコアは比例的な遵守度指標（0–1）に変換された。
• 統計解析（遵守度）： 線形混合効果モデルを用い、LLMのタイプ、プロンプトの形式、およびレビュアーの関数としてガイドラインへの遵守度を予測した。クラスター化と困難度の分散を考慮するため、臨床的質問をランダム切片として扱った。事後比較には、Tukey-Kramer補正を用いた推定周辺平均（EMM）を用いた。
• 読みやすさと次元解析： 5つの標準的な読みやすさ指標（Flesch Reading Ease、Flesch-Kincaid Grade、Automated Readability Index、SMOG、Coleman-Liau）を算出した。多重共線性に対処し、潜在的な構造を特定するために、主成分分析（PCA）と階層的凝集クラスター分析を適用した。

主な貢献

1. ガイドライン遵守のベンチマーク： 本研究は、より広範なAIの医学的評価において見落とされがちな、女性の性的機能障害の膀胱全摘除術後ケアに特化した、ChatGPT、Gemini、Perplexityの比較評価を提供する。
2. プロンプトエンジニアリングの影響： プロンプトのフレーミング（平易な言語か臨床的言語か）がアウトプットの質に大きく影響することを実証し、より複雑な臨床的プロンプトの方が優れたガイドライン遵守をもたらすという仮定に異議を唱える。
3. 読みやすさにおける方法論的厳密性： PCAと階層的クラスター分析を用いた、心理計量学に基づいた分析パイプラインを導入している。このアプローチは、標準的な読みやすさ指標が、しばしば単一の潜在的なテキスト複雑性の構成概念を測定していることを検証しており、複合指標または主要な指標（Flesch-Kincaidなど）を、独立した変数としてではなく使用することを支持している。
4. システムレベルの評価： 本研究は、LLMを臨床的なプロンプトをカウンセリングのアウトプットへと変換する「情報システム」として概念化し、情報の正確性と、患者に課される認知負荷（読みやすさ）の両方を評価する必要性を強調している。

結果

• モデルの性能： ChatGPTは、最も高いガイドライン遵守度を示し（推定周辺平均 [EMM] = 0.769）、Gemini（EMM = 0.499）およびPerplexity（EMM = 0.457）を大幅に上回った。GeminiとPerplexityの間には有意な差は見られなかった。
• プロンプトの効果： 短文の平易な言語によるプロンプトは、長文の臨床用語によるプロンプト（EMM = 0.483）と比較して、有意に高い遵守度（EMM = 0.667）を引き出した。
• 読みやすさ： すべてのモデルが、推奨されるヘルスリテラシーレベルを超えるコンテンツを生成した。Perplexityが最も複雑なテキスト（おおよそFlesch-Kincaid Grade Levelは約16）を生成し、次いでChatGPT、Geminiが最も低いグレードレベル（約Grade 11）のコンテンツを生成した。しかし、これらの中で最も「単純」なアウトプットであっても、推奨される小学6年生レベルを超えていた。
• 次元性： PCAの結果、単一の主要な成分（PC1）が5つの読みやすさ指標の分散の76.7%を説明しており、これらの指標が主に共有された潜在的な構成概念を反映していることが確認された。

意義と主張
本論文は、LLMは入力プロンプトの構造と特定のモデルアーキテクチャの両方に大きく依存する、可変的な医療情報システムとして機能すると主張している。研究結果は、ChatGPTが現在、この特定の臨床シナリオにおいて最もガイドラインに適合した情報を提供している一方で、高い言語的複雑性が、テストされたすべてのモデルにおいて普遍的な障壁となっていることを示唆している。

著者らは、現在のAIのこの領域における状況を、「高い言語的複雑性がモデル間で共通して見られ、患者の理解に対する障壁となっている」と特徴付けている。結論として、LLMはカウンセリングを補完する可能性を秘めているものの、膀胱全摘除術後の性的健康のようなデリケートな文脈での導入には、臨床医による慎重な監督が必要であるとしている。本研究は、LLMが自律的な臨床使用の準備ができていると主張するものではなく、むしろ、その信頼性がモデルの選択とプロンプト設計によって大きく左右されるツールであることを示している。本研究は、既存の健康格差を増幅させないために、AIが生成する健康情報の「内容」（ガイドライン遵守）と「形式」（読みやすさ）の両方を評価する必要性を強調している。