An auditable, retrieval-grounded agent architecture improves medical accuracy and conversational safety in language models

技術要約：監査可能で検索に基づくエージェント・アーキテクチャ

問題提起
汎用的な大規模言語モデル（LLM）は、医学試験において高い精度を示す一方で、臨床的な対話においては信頼性に欠ける。本論文は、標準的なLLMに固有の具体的な失敗モードを特定している。それらは、不確実な状況下での推測、マルチターン対話における文脈の喪失、誤った前提への同調（サイコファンシー）、そして監査への抵抗である。これらの失敗は、妄想的な信念の強化や自傷の意図に対する不適切な応答など、重大な患者の安全リスクをもたらす。著者らは、安全性と信頼性はモデルの重みのみに備わる特性ではなく、判断の保留、上書き、および再構成が可能なシステムレベルのアーキテクチャを必要とするものであると主張している。

手法：Ashaエージェント
本論文では、汎用言語モデル（「バックボーン」）を4つの決定論的な記号的コンポーネントと監査レイヤーで包み込んだ、ニューロシンボリックな臨床エージェントであるAshaを紹介する。このアーキテクチャは、バックボーンLLMの「高速でモデルフリーな」性質を補完する外部執行関数として機能するように設計されている。

1. ステークス・スコアリング（重力/Gravity）： 記号レイヤーがすべてのクエリに対して臨床的リスクと複雑性のスコアを割り当てる。この「重力」スコアは計算の深さを制御し、クエリを以下の異なるティア（階層）へとルーティングする：
   • Asha Base: 単一の検索に基づくパス。
   • Asha Mid: 異なるフロンティアモデル・ファミリーから得られた、検索に基づいたドラフトを3つのモデルでマージしたもの。
   • Asha Apex: ドメイン特化型のコンポーザーを備えたマルチエキスパート・アンサンブル。高リスクのクエリ用に予約されている。
2. 検索によるグラウンディング（根拠付け）： 候補となる回答は、大規模で精査された医学・科学ソース（20のコレクション、約1億1100万ベクトル）から検索されたエビデンスに固定される。これにより、パラメトリックな想起への依存を軽減する。
3. 逆検索による反証（Inverse-Retrieval Falsification）： クレーム（主張）が受理される前に、システムは反証となるエビデンスを求めて逆検索を行う。矛盾するエビデンスが見つかった場合、そのクレームの信頼度は低下するか、あるいは回答が変更される。（注：この段階はProfessional精度実行時には無効化されていたが、Hard実行時には有効であった。）
4. ドメイン特化型コンポジション（構成）： 生き残ったグラウンデッドなコンテンツは、単一の専門領域に適した回答へと組み立てられる。
5. 監査可能な記録： すべてのインタラクションは、使用されたエビデンスと回答のハッシュを含む、不変のハッシュ・アンカー付き記録を生成し、Merkle台帳に保存される。これにより、臨床医や監査人が推論プロセスを再構成し、記録が改ざんされていないことを検証することが可能になる。

主な貢献

• アーキテクチャによる安全性： 本論文は、安全性の向上はモデル固有のものではなく、アーキテクチャによるものであることを示している。バックボーンモデルを固定したまま、周囲のシステムのみを変化させることで、著者らは向上分をアーキテクチャ自体に帰属させている。
• モデルに依存しない性能： システムはモデルに依存しない（モデル・アグノスティックな）設計となっており、特定のプロプライエタリなモデルの撤退に左右されることなく、新しいフロンティア・バックボーンを採用できる。これにより、システムは特定のモデルの消失から保護される。
• ニューロシンボリックの統合： 本研究は、神経的な知覚（流暢な生成）と、明示的な記号的推論（制約、検証、および監査）を統合しており、純粋なニューラルシステムにおける「健忘症」や「幻覚」の失敗モードに対処している。

結果
研究では、一貫した名前付きグレーダー（評価者）を用いて、以下のベンチマークでAshaを評価している：

• HealthBench Professional（臨床家向け質問525問）： Claude Opus 4.8（Anthropicが自社モデルに使用しているものと同じグレーダー）による評価において、Asha Apexはルーブリック・コンテンツ指標で**70.5%を記録し、Claude Mythos 5が報告した66.0%を上回った。長さ調整済み指標において、Ashaの凝縮構成は65.5%**を達成し、Mythos 5と同等の水準に達した。
• HealthBench Standard（5,000問）： Asha Baseは44.1%（o1とGPT-4.1の間）を記録し、Asha Midは60.6%（o3クラス）に達した。
• HealthBench Hard（1,000問）： このセットは、フロンティアモデルが崩壊する質問を抽出したものである。Asha Apexは**44.8%**を記録し、テストされたすべての生のフロンティアモデル（例：GPT-5.2の40.3%、GLM-5.2の16.2%）を上回った。アーキテクチャはティア間で単調な向上を示し、共有サブセットにおいてAsha MidはAsha Baseに対して9.7ポイントの加点を実現した。
• 独立した再現実験： 商用の臨床ツールと比較した独立したパイプラインにおいて、Asha Apexは、あらゆるグレーダー構成の下でOpenEvidence（62.6%）およびUpToDate Expert AI（61.3%）の両方を上回った（72.6% vs 62.6%/61.3%）。
• Psychosis-Bench（安全性）： バックボーン（gemini-2.5-flash）を固定した制御実験において、生のモデルの安全介入率は**30.2%であった。Ashaアーキテクチャでラップされた場合、その率は95.8%**に上昇した（P = 4.0 × 10⁻²³）。妄想への同調および危害の助長スコアは急激に低下した。ピークティア（Asha Apex）は、生のオープンウェイトモデル（GLM-5.2、スコア80.2%）に対し、97.9%の安全介入率を達成した。
• MedQA： 1,273問の分割データにおいて、Ashaは**95.5%**を記録し、最強のフロンティア・ベースラインに匹敵した。

意義と主張
本論文の結果は、単一のテーゼを支持している。すなわち、**「汎用言語モデルの周囲に構成（コンポジション）を行うことは、医学的正確性と対話の安全性の両方を高め、その向上は特定のモデルの特性ではなく、アーキテクチャの特性である」**ということである。

著者らは、スケール（規模）だけでは臨床的な安全性や信頼性を解決できないと主張している。代わりに、記号的推論、精査された知識、および形式的な制約（グラウンディング、反証、ステークスを考慮したルーティング）を統合することで、以下の特性を持つシステムが構築される。

1. グラウンデッド（根拠がある）： クレームは外部のエビデンスに紐付けられている。
2. ファシフィアブル（反証可能である）： クレームは反証となるエビデンスに対してテストされる。
3. セーフティ・ゲーテッド（安全性がゲートされている）： 高リスクのクエリは、判断の保留またはエスカレーションをトリガーする。
4. オーディタブル（監査可能である）： すべての決定には、検証可能で不変の記録が残る。

本論文は、このアーキテクチャを、なぜその回答が生成されたのかを示し、ステークスが自信を超えた場合には判断を保留し、検査可能な記録を残すことが標準となる医学のような、規制された領域における「不可欠な進化」として位置づけている。著者らは、アーキテクチャが性能を向上させる一方で、形式的な検証が困難な最も困難な意味論的判断については、依然として人間の監視が必要であると述べている。