技術的概要：害を及ぼすな？ウェブ展開された医療用大規模言語モデルにおける幻覚とアクターレベルの悪用

1. 問題提起

OpenAI ストアなどの商業プラットフォームへのカスタム医療用大規模言語モデル（MedGPT）の急速な展開は、しばしば見過ごされている重大な安全性リスクをもたらしている。これらのモデルは診断の提案や健康アドバイスを提供する一方で、2 つの主要かつ相互に関連する脅威に直面している：

1. 臨床的幻覚：流暢だが事実上誤っている、不完全な、あるいは捏造された医療情報（例：安全でない治療法、誤った薬物アドバイス）の生成。一般的な LLM の誤りと異なり、これらの幻覚は専門分野固有の言語を使用するため、非専門家である患者が検出することが困難である。
2. アクターレベルの悪用：開発者による意図的な設計選択により、モデルが安全でない、あるいは倫理的に問題のある使用をしやすい状態に predisposed されていること。これには、欺瞞的なメタデータ（名前、説明）、ツール（例：ウェブブラウジング）を介した安全性対策の回避、特に「アクション」（外部 API 呼び出し）を有効化されたモデルにおける機能的なプライバシー開示の欠如が含まれる。

現在の文献は、主にベースモデルにおける幻覚、あるいは汎用アプリにおける一般的な誤用に焦点を当てており、コンテンツの正確性と開発者主導の構造的リスクの両方に関する、展開済みかつユーザー向けの医療 GPT の体系的な評価におけるギャップが残されている。

2. 手法

著者らは、OpenAI GPT ストアの大規模監査を実施し、二重層の評価フレームワークを導入した。

データ収集

• 範囲：クローラーが、OpenAI の公開検索 API と 171 件の医療関連キーワードに特化した分類体系を用いて、9,245 個の固有 GPT からメタデータを抽出した。
• フィルタリング：医療関連性を確保するための手動キュレーションを経て、最終的に6,233 個の MedGPTからなるデータセットが確立された。
• サンプリング：プラットフォームのレート制限により、深層評価のために1,500 個の MedGPTからなる層化標本が選択された：会話数による上位 1,000 件、ランダムな中間 250 件、および下位 250 件。
• 比較グループ：10 の主要なオープンソース医療 LLM（例：Galactica、PMC-LLaMA、MedAlpaca）が、比較のために同一の指標を用いて評価された。

評価フレームワーク

1. MedGPT-HEval（幻覚検出）：

   • 入力：各モデルに対して、MedQA ベンチマークからの標準化された臨床シナリオを 5 回クエリした。
   • 指標：回答は 4 つの補完的な指標を用いてスコアリングされた：
     • G-Eval：事実の正確性、一貫性、引用の信頼性を評価するために、Gemini 3.1 Pro を用いた思考連鎖フレームワーク。
     • BARTScore：忠実度を評価するために、入力プロンプトに対する生成テキストの尤度を測定する。
     • セマンティックエントロピー：モデルの不確実性を定量化する。値が高いほど不安定性と幻覚のリスクが高いことを示す。
     • コサイン類似度：BioBERT 埋め込みを用いて、回答と臨床入力との間の意味的整合性を測定する。
   • 検証：自動化されたスコアは、層化された部分集合（300 モデル）における人間の注釈に対して検証され、90.5–94.0% の一致率（Cohen's kappa = 0.8163）を達成した。

2. アクターレベルの悪用評価：

   • 方法：LLM-as-a-judge パイプライン（Gemini 3.1 Pro 使用）が、OpenAI の利用ポリシーに対してメタデータ（名前、説明、会話の開始文）を分析した。
   • カテゴリ：リスクは、健康相談、詐欺、プライバシー違反、不法活動に分類された。
   • 閾値設定：不正使用リスクスコアに対して k-means クラスタリング（$k=2$）を適用し、0.45のコンプライアンス閾値を決定した。これは専門家レビューによって検証された（Cohen's kappa = 0.8188）。
   • プライバシー監査：特に「アクション」が有効化された 170 モデルについて、リンクされたプライバシーポリシーのアクセス可能性とコンプライアンスを評価した。

3. 主要な結果

臨床的幻覚

• 普及率：すべての人気ティアにわたる MedGPT の 25–30% が、G-Eval で 0.8 未満のスコアを記録した。
• ティア間の格差：下位および中位ティアのモデルは、最も高い幻覚リスクと最も弱い文脈的整合性を示した。上位ティアのモデルはより良好に機能したが、依然として顕著な変動を示した。
• 指標の詳細：
  • MedGPT の 37.27% のみが BARTScore $\ge -3.5$ を達成した。
  • 41.07% のみがコサイン類似度 $\ge 0.4$ に到達した。
  • 59.87% がセマンティックエントロピー $< 2$ を有しており、中程度の安定性を示したが、下位ティアのモデルは高い変動性を示した。
• ユーザーの認識：ユーザーエンゲージメント（会話数、星評価）と幻覚指標（例、G-Eval に対して $r \approx -0.03$）の間には、ほぼゼロの相関があった。ユーザーは正確性ではなく活動性を評価する。信頼性の低いモデルほど、しばしばより肯定的なフィードバックを受けた。

アクターレベルの悪用とプライバシー

• 不正使用率：評価されたすべての MedGPT の 49.8% が運用ポリシーに違反していた。
  • 上位 1,000 件：54.3% が非コンプライアンス。
  • 中間 250 件：48.0% が非コンプライアンス。
  • 下位 250 件：33.6% が非コンプライアンス。
• プライバシーの欠陥：アクション有効化モデル 170 件中：
  • 57.06% がアクセス可能なプライバシーポリシーを欠いていた。
  • アクセス可能なポリシーを有する 42.94% のうち、ほぼ**70%**がコンプライアンス閾値を下回るスコア（データ共有、クッキー、ユーザー権利に関する開示の欠如）であった。
  • 多くのポリシーは壊れたリンク、汎用的なテンプレート、または無関係なドメインへのリダイレクトであった。

オープンソース対ウェブ展開モデル

• 正確性対安定性：MedGPT は、オープンソースモデル（平均 G-Eval: 0.4558; 平均コサイン: 0.3731）と比較して、より高い事実の正確性（平均 G-Eval: 0.9238）と意味的整合性（平均コサイン: 0.4054）を示した。
• 一貫性：オープンソースモデルはより安定しており予測可能であった（セマンティックエントロピーが低い：MedGPT の 1.9272 対 1.6129）。これは、ウェブ展開モデルがコミュニティ主導の代替手段に見られる安定性よりも、整合性を優先するトレードオフであることを示唆している。

4. 主要な貢献

1. HAA-MedGPT データセット：6,233 個のカスタムウェブ展開 MedGPT のメタデータ、相互作用ログ、評価スコアを含む、最初の大規模で構造化されたデータセットの公開。
2. 二重層の安全性分析：出力レベルの誤りと設計レベルのリスクの両方に対処するため、幻覚検出用のMedGPT-HEvalと、アクターレベルの誤用評価を組み合わせた導入。
3. システム的ガバナンスの知見：プラットフォームの信頼指標（評価、レビュー）が安全性や正確性と相関せず、展開されたモデルのほぼ半数が運用ポリシーに違反しているという実証的証拠。
4. プライバシーリスクの定量化：アクション有効化医療 GPT の大半が機能的なプライバシー開示を欠いていることを示す、最初の実証的評価。

5. 意義と主張

本論文は、オープンマーケットプレイスにおける医療 LLM の現在の展開が、システム的ガバナンスの失敗に苦しんでいると主張している。著者らは以下を主張する：

• 人気は安全性の代理指標ではない：高い会話数や肯定的なレビューは、事実の信頼性や安全性ポリシーへの遵守を示さない。
• リスクは構造的である：安全でない行動は、偶発的な生成誤りではなく、開発者によって設計レベルに埋め込まれることが多い（例：欺瞞的な名前、プライバシーポリシーの欠如）。
• 多指標評価は不可欠である：単一の指標（例えば正確性）に依存することは不十分である。医療 LLM の安全性を評価するには、事実の整合性、セマンティックな安定性、ポリシー遵守の組み合わせが必要である。
• 緊急の保護措置の必要性：この知見は、モデルが一般に展開される前に、予防的な安全性評価、執行可能なポリシー基準、および多指標評価フレームワークの必要性を浮き彫りにしている。

著者らは、これらの介入がなければ、認識された信頼性と実際の安全性の間の「信頼ギャップ」が、患者を臨床的およびプライバシーのリスクにさらし続けるだろうと結論付けている。