技術要約：より健康的なLLM：公衆衛生の質問回答のための検索拡張生成（RAG）

問題提起

大規模言語モデル（LLM）は医学的な質問回答において有望な成果を示しているが、公衆衛生への応用においては、**ハルシネーション（幻覚）**や、急速に進化する公式ガイダンスに追いつけないという決定的な限界に直面している。個々の患者を対象とする臨床的意思決定支援とは異なり、公衆衛生のガイダンスは集団レベルのものであり、予防的かつ頻繁に更新されるものである。パラメトリックメモリ（学習済みの知識）のみに依存することは、時代遅れまたは不正確な助言を拡散するリスクを伴い、それが個人の意思決定における危害や、危険な集団レベルの行動につながる可能性がある。検索拡張生成（RAG）は、外部コーパスに基づいた回答を提供することで解決策を提示するが、そのエンドツーエンドの性能は、標準的な多肢選択形式を超えた特定の検索構成と評価手法に大きく依存する。

手法

著者らは、英国政府の公衆衛生ガイダンスから派生した7,929問の多肢選択問題（MCQA）と760問の自由形式の質問からなるベンチマークであるPubHealthBenchを、検索拡張の設定へと拡張した。

1. データセットとコーパス

• ソース: 10のトピック領域をカバーする687件の英国政府公衆衛生ガイダンス文書。
• コーパスの構築: 文書をMarkdown形式に変換し、ヘッダーの階層構造に基づいてチャンク分割を行い、結果として5,358個のチャンクを作成した。
• コーパスのバリアント:
  • CF (Full Corpus): オリジナルのチャンク。
  • CS (Summary-only): 検索用にGPT-4o-miniによって要約されたチャンク。
  • CR (Reduced Corpus): 埋め込みモデルのコンテキスト制限に適合させるため、512トークンを超えるチャンクを要約に置き換えたもの。

2. 検索戦略

研究では、複数の埋め込みモデル（例：NV-Embed-v2, Multilingual-E5, ModernBERT）および疎なインデックス（BM25, TF-IDF）にわたり、5つの検索構成を体系的に評価した。

• Dense-only (密ベクトルのみ): 密な埋め込みを用いたコサイン類似度。
• Sparse-only (疎ベクトルのみ): キーワードの重複（BM25/TF-IDF）。
• Hybrid (ハイブリッド): 密な結果と疎な結果の加重相互ランク融合（RRF）。
• Summary-based Hybrid (要約ベース・ハイブリッド): 要約に対してハイブリッド検索を行い、生成器には完全なチャンクを渡す手法。
• Reduced-corpus Hybrid (削減コーパス・ハイブリッド): 長いチャンクが要約されたコーパスに対してハイブリッド検索を行う手法。

3. 生成と評価

• モデル: 1Bから70Bのパラメータを持つ11種類のLLM（例：Llama 3.3, Phi-4, Gemma-3, MedGemma）。
• MCQA評価: 様々なコンテキストチャンク数（$k \in \{1, 3, 5, 10\}$）を用いて、PubHealthBench-Fullにおける正確性を測定。
• 自由形式の評価: ルーブリックに基づくLLM-as-a-Judge（GPT-OSS-120B）を導入し、4つの基準（忠実性：新しい主張を含まない、完全性：主要なポイントをすべて網羅している、事実的一貫性：ガイダンスに対する正確性、明瞭性）で回答を評価。
• 妥当性確認: LLMジャッジの妥当性は、100件の回答サンプルに対する人間による二重の専門家アノテーションに対し、Cohenの $\kappa$ およびマクロF1を用いて検証された。

主な結果

検索性能

• ハイブリッドの優位性: ハイブリッド検索は、すべての指標（Recall@k, MRR, nDCG@10）において、密ベクトルのみおよび疎ベクトルのみの手法を一貫して上回った。
• モデルの感度: NV-Embed-v2が最強の密ベクトルモデルであったが、ハイブリッド検索は、大きな埋め込みモデルと小さな埋め込みモデルの性能差を大幅に縮小させた（例：小さなエンコーダーの性能を5〜10パーセントポイント向上させた）。
• チャンク長のインパクト: ターゲットとなるチャンクの長さが700〜800語を超えると、ランキングの質（Precision@1, MRR）は急激に低下した。要約ベースの検索はこの影響を部分的に緩和したが、排除するには至らなかった。
• トピックによる分散: リコール（再現率）はトピックに依存しなかったが、ランキングの質はトピック間で系統的な偏差を示した（例：結核 vs 血液安全性）。これは、トピック固有の言語や構造が埋め込み性能に影響を与えることを示唆している。

生成性能 (MCQA)

• 検索の影響: 検索されたコンテキストを提供することで、MCQAの正確性は大幅に向上した。高品質な検索を伴う小型のオープンウェイトモデル（例：Phi-4-14B, Gemma-3-12B）は、検索なしで動作する大型モデル（例：GPT-4.5）の性能に匹敵、あるいはそれを上回った。
• 最適なコンテキスト: 最大の正確性は、通常 $k=3$ から $k=5$ のチャンクを提供したときに達成された。$k$ を10に増やすと、ノイズが導入され、収穫逓減が見られた。
• ランクへの感度: 正しいチャンクをランク1で取得できることが、最大の利得をもたらした。小型モデルは大型モデルよりもランク順位に対して敏感であり、大型モデルはノイズの多いコンテキストからも関連情報を抽出することができた。

自由形式評価とジャッジの妥当性

• ジャッジの信頼性: LLMジャッジは、忠実性（$\kappa \approx 0.64$）および完全性（$\kappa \approx 0.59$）において人間との強い一致を示した。一方で、事実的一貫性（$\kappa \approx 0.06$）および明瞭性については一致が弱く、これらの次元を自動化して信頼性高く評価することは困難であることを示した。
• モデルの挙動: 中型および大型モデルは高い完全性と明瞭性を達成したが、忠実性において苦戦した。トップクラスのモデルであっても、忠実性の基準を満たすのは約64%に過ぎず、しばしば余計なガイダンスを混入させていた。
• ランクによる忠実性への影響: ターゲットとなるチャンクのランクが上がるにつれて忠実性が急激に低下した。これは、モデルが初期のコンテキストに強く依存しており、最も関連性の高い証拠が埋もれている場合にハルシネーションを起こすことを裏付けている。

意義と主張

本論文は、**検索構成こそが信頼できる公衆衛生QAのための主要なレバー（操作変数）**であり、モデルのサイズ単独よりも重要である場合が多いと主張している。

1. 安定化装置としてのRAG: 公式ガイダンスの明示的に維持されたコーパスにLLMを接地させることは、ハルシネーションや時代遅れの助言を軽減し、モデルの再学習なしに進化する公衆衛生政策にシステムを適合させ続けることを可能にする。
2. RAGによる効率化: 高度に設計された検索スタックにより、小型のオープンウェイトモデルが、パラメトリックメモリのみに依存する大型のクローズドモデルを凌駕することが可能になる。これは、予算やインフラの制約がある公衆衛生機関にとって実用的な経路を提供する。
3. 評価のニュア Nuance（微細な差異）: 本研究は、標準的なMCQAベンチマークが、回答の選択肢によるヒント（キュー）のために能力を過大評価する可能性があることを指摘している。自由形式の評価は必要であるが、慎重なルーブリック設計が必要である。現在、「事実的一貫性」の自動評価は信頼性が低く、人間の監視またはさらなる手法の開発が必要である。
4. 実践的なガイダンス: デプロイにあたっては、ハイブリッド検索、注意深いチャンク分割（過度な長さを避ける）、および最適なパフォーマンス対コスト比を得るための上位3〜5個のチャンクへの限定を推奨する。

結論として、RAGは信頼性を大幅に向上させるものの、将来のベンチマークは、現実世界の公衆衛生シナリオにおけるシステムの堅牢性を完全にテストするために、マルチエビデンスの支持やコーパス外のクエリに対処する必要があると述べている。