技術要約: DrugClaw および DrugAudit

問題提起

薬物情報に関する質問応答（QA）は、幻覚（ハルシネーション）による事実が臨床上の意思決定を直接誤らせる可能性があるという、極めて高いリスクを伴う環境で行われる。大規模言語モデル（LLM）は強力な生物医学的知識を示す一方で、高リソースの疾患領域以外ではそのパラメトリックな知識が急速に劣化し、規制当局や査読済みソースに対するネイティブな監査証跡も欠いている。さらに、既存のツール拡張型エージェントは、一次的な規制ソースをスキップして最初に利用可能なURLを選択したり、根拠となる引用なしに、もっともらしい数値を作成したりすることで失敗することが多い。

評価レイヤーにおいても重大なギャップが存在する。現在の生物医学的QAスコアリングは、表面的な回答の正解性を採点するにとどまり、上流の一次ソース（例：FDAラベル、FAERS）への引用と、それらと同じソースを扱う下流のアグリゲーター・ラッパーとの区別を行うことができない。規制された薬物情報設定において、プロベナンス（情報の出所）は単なる提示上の選択ではなく、根本的な評価軸である。

メソドロジー

DrugClaw システム

DrugClawは、リフレクション駆動型の状態マシン・ワークフローを介して、薬物およびファーマコビジランスのスキル・レジストリを照会するように設計されたマルチエージェント検索拡張システムである。そのアーキテクチャは、以下の3つの設計目標に基づいている：

1. 一次ソースへの追跡可能性： 生成されるすべての主張は、一次的な規制または査読済みの記録に対して解決可能な識別子を保持しなければならない。
2. 較正された棄権（Calibrated abstention）： システムは、根拠となる証拠を裏付けるスキルが返されない場合、事実を捏造するのではなく、回答を拒否しなければならない。
3. 適応的な検索深度： 検索と推論のループは、証拠が十分になった時点で終了するが、証拠が乏しい場合には自動的に深化する。

アーキテクチャとワークフロー：
システムは、状態 $S_t = (P_t, E_t, G_t, a_t, r_t)$ 上の離散動的システムとして動作する。ここで、$P_t$ はクエリ計画、$E_t$ は証拠プール、$G_t$ は主張・証拠グラフ、$a_t$ は中間的な散文回答、$r_t$ はリフレクション充足度スコアである。ワークフローは、6つの特化型エージェント（Plan、Retrieval、Graph Builder、Re-Ranker、Response、Reflector）を通じて、$r_t \geq \tau_{suff}$ となるか、最大反復回数に達するまで反復される。

• スキル・レジストリ： DrugClawは、70以上のキュレートされたリソース（例：openFDA、ChEMBL、DrugBank、PharmGKB、SIDER）から抽出された57個の有効なスキルからなるクローズドなレジストリにアクセスする。これらは15のサブカテゴリ・タクソノミーに整理されている。
• サンドボックス化されたコード・エージェント： 安全性と決定性を確保するため、検索はコード・エージェントを介して媒介される。このエージェントは、無制限の反復や動的実行を禁止した制限付きPythonサブ言語（$L_{safe}$）にサブクエリを変換する。コードは、ハード・タイムアウトを伴うプロキシ限定のサンドボックス内で実行される。検証または実行時エラーが発生した場合、システムは直接的なAPIコールへとフォールバックする。
• リフレクション・メカニズム： Reflectorエージェントは、カバレッジ、完全性、ソースの質、一貫性、および実行可能性に基づいて充足度スコア $\rho_{t+1}$ を算出する。新しいスコアが以前のスコアよりも低い場合には回帰ペナルティが適用され、「スラッシング（空転）」を防ぐ。
• 推論モード： システムは以下の3つのモードをサポートする：
  • Linear（線形）： 低レイテンシを優先したシングルパス・ワークフロー。
  • Graph（グラフ）： 主張・証拠グラフの構築とリランキングを伴う完全な反復ワークフロー。
  • Web-only（ウェブのみ）： レジストリが不十分な場合にのみ使用される、直接的なウェブ検索を行うフォールバックモード。

DrugAudit ベンチマーク

これらのシステムを評価するために、著者らは9つのソースデータベースから派生した3,772項目のオーソリティ（権威）認識型ベンチマークであるDrugAuditを導入している。標準的なベンチマークとは異なり、DrugAuditにはフィールドレベルのロケーターとURLを備えたゴールドスタンダードの引用が含まれている。

オーソリティ認識型メトリック・パネル：
評価フレームワークは、従来のスコアリングにおける構造的バイアスに対処するため、4つのメトリックを導入している：

1. ソース・オーソリティ・マッチ： 等価バケット・ルールと非対称な「upstream-of（〜の上流）」関係を使用する。システムが、たとえゴールドスタンダードが下流のアグリゲーター（例：SIDER）を引用していても、そのクエリに対して権威ある上流ソース（例：FAERS）を引用していれば、クレジットを付与する。
2. スニペット・セマンティック・オーバーラップ： 厳密な部分文字列一致の代わりに、ストップワードを除いたトークンに対するトークンJaccard類似度を用いる。
3. 一次ソース率（Primary-source Rate）： 階層（規制/査読済みは1.0、キュレートされたKBは0.7、アグリゲーターは0.5）に基づいた引用ソースの平均重みを算出する。
4. 忠実度率（Faithfulness Rate）： 予測された引用のうち、ゴールドソースのユニバースまたは回答テキストに根ざしている割合を測定する。

評価プロトコル：
本論文では、自己選好バイアスを排除するために、Llama-3.1-70B-Instructとgpt-oss-120bを用いたデュアル・ジャッジLLM-as-judgeプロトコルを採用している。これらのジャッジは、すべての候補システムから外部に隔離されている。彼らは、事実的等価性のルール（単位変換、丸め許容誤差、順序不問性）および較正された拒絶ロジックに基づいて、回答の正解性をスコアリングする。ジャッジ間の合意度（$\kappa$）は0.88（ほぼ完全）と報告されている。

主な貢献

1. DrugClaw： すべての主張が一次記録に追跡可能であることを保証する、検証済みの規制および査読済みソースのクローズド・レジストリを照会する、権威に基づいたマルチエージェント・システム。
2. DrugAudit： 上流ソースの一致、トークンレベルのセマンティック・オーバーラップ、および引用の忠実度を明示的にスコアリングする評価パネルを備えた、3,772項目のベンチマーク。
3. デュアル・ジャッジ・プロトコル： 2つの独立したオープンウェイトLLMを使用して、回答の正解性についてほぼ完全な合意（$\kappa = 0.88$）を達成する、スケーラブルな評価手法。
4. 実証結果： 7つのシステムを包括的に比較し、DrugClawが一次ソース率および証拠密度においてベースラインを上回ることを実証した。

結果

DrugAudit、MedQA（薬物関連サブセット、751項目）、およびPubMedQA（薬物関連サブセット、512項目）で評価された結果、DrugClップはすべての主要メトリックにおいてトップ1の性能を達成した：

• 一次ソース率： DrugClaw-graphは0.918を達成し、次点のシステム（0.817）に対して10.1パーセントポイント（pp）の向上を示した。
• 忠実度（Faithfulness）： DrugClaw-linearは0.887を達成し、次点のシステムに対して5.9 pp向上した。
• 複合証拠指数（EI）： DrugClaw-graphは、Llamaジャッジで0.632、gpt-ossジャッジで0.623を記録し、すべてのベースラインをリードした。
• 閉形式の正確性（Closed-Form Accuracy）： DrugClaw-graphは、MedQAで0.920、PubMedQAで0.693を達成した。
• 較正された拒絶： DrugClawは、項目の41〜48%で回答を拒否した。これらの拒絶のうち、91〜97%が「データなし」を示すゴールド回答と一致していたのに対し、ベースラインの合致度はわずか1〜5%であった。これは、証拠が不十分な場合にシステムが効果的に棄却していることを示している。

結果は、閉形式の正確性においてはベースラインと競争力のある範囲内（ブートストラップ信頼区間内）であったものの、オーソリティ認識型メトリック（一次ソース率および証拠指数）においては、ベースラインから統計的に有意な分離を示した。

意義

本論文は、DrugClawとDrugAuditが、薬物情報QAにおけるプロベナンス（情報の出所）の切実な必要性に対処していると主張している。一次的な規制記録を下流のアグリゲーターと区別することで、システムはエビデンスに基づく医学報告の基準を具現化している。結果は、クローズド・レジストリへのアプローチ、適応的検索、および較正された拒絶が、オープンウェブや純粋なパラメトリック・アプローチと比較して、引用の構造的品質と高い証拠密度、およびより低い幻覚率をもたらすことを示唆している。デュアル・ジャッジ・プロトコルとオーソリティ認識型メトリックは、将来の検索拡張システムを評価するための堅牢な枠組みを提供する。

著者らは、LLMジャッジによるグラフモードからのマルチクレーム散文の解析の難しさや、クローズド・レジストリに固有のカバー範囲のトレードオフ（レジストリに未登録のロングテールな薬物を逃す可能性があること）などの限界についても言及している。しかし、彼らはこのアプローチがモデルの再学習を必要とせず、より監査可能な臨床AIへの具体的な道筋を提供するものであると断言している。