Every-successful-replay route admission changes first-token latency rankings in clinical question answering

技術要約：すべての成功したリプレイ経路の採用が、臨床的質問回答における初動トークン・レイテンシのランキングを変化させる

問題提起
現在の臨床的質問回答（CQA）のベンチマークは、多くの場合、回答およびエビデンスの完全な経路が臨床的エビデンス・タスクを満たしているかを確認することなく、最初の生成トークンまでの時間を測定している。ある経路が、プロベナンス（由来）を省略したり、ウィンドウ外のエビデンスを利用したり、登録された矛盾を抑制したり、あるいは古い依存関係を再利用したりしているために、高速であるように見える可能性がある。このような経路を有効な経路と同じレイテンシ分布に計上することは、エビデンスの妥当性の失敗とパフォーマンスの向上を混同することになる。未解決のシステム上の問いは、単に経路がいかに速く実行されるかではなく、どの完了した経路がベンチマークの対象として資格を得るかである。既存の臨床的検索拡張生成（RAG）、適応型ルーティング、およびプロベナンス・システムの多くは、異なるタイミングで異なるオブジェクト（例：検索されたコンテキスト、生成された出力、または物理的なプラン）を保護しているが、「完了した経路」をベンチマークへの所属単位として定義しつつ、失敗した試行のコストを保持することには失敗している。

手法
著者らは、完全な回答およびエビデンスの経路をベンチマーク単位として扱うシステムであるMedRouteGuardを導入する。この手法は、4つの条項からなる採用契約と、遡及的評価フレームワークに基づいている。

1. 採用アーキテクチャ:

   • 実行前採用（Pre-execution Admission）: 候補となる経路は、解決可能なサポートを提示できるか、要求された時間範囲を強制できるか、登録された衝突を列挙できるか、およびすべての再利用された依存関係を検証できるかを確認するために、実行前にスクリーニングされる。
   • 実行後採用（Post-execution Admission）: 返されたパケットは、エビデンスとの整合性、主張とエビデンスの一致、衝突の可視性、および最終的な鮮度ウォーターマーク（freshness watermark）について検証される。
   • タイミング・プロトコル: システムは、失敗した試行とフォールバックを横断する単一のクロックを使用する。失敗した経路はリクエスト・クロックを再起動させない。レイテンシは、リクエストの受理から、最終的に事後採用を通過した経路の最初のトークンまでを測定する。

2. 遡及的評価 (Q3):

   • 本研究では、847件の臨床医作成による質問に対し、2,541件の質問–経路候補の徹底的なリプレイを実施した。
   • 「すべての成功したリプレイ（every-successful-replay）」ルール（すべての成功したリプレイが4つの条項をすべて満たす場合にのみ候補が採用される）と、採用ラベルを無視する条件（実行されたすべての経路をベンチマークに含める）の2つの条件下で、レイテンシ・ランキングを再計算するために「遡及的オラクル（retrospective oracle）」を使用した。
   • この設計により、グラフ、プロンプト、ワーカー、およびキャッシュの状態を固定したまま、経路の適格性がレイテンシ・ランキングに与える影響を分離する。

3. 検証と比較対象:

   • Q1（出力品質）: 500組のペアを用いたブラインド監査において、MedRouteGuardをテキストのみのRAGベースライン（TextRAG）と比較し、正確性、完全性、安全性、およびプロベナンスを評価した。
   • Q2（展開パフォーマンス）: 同一のハードウェアおよびエビデンス・グラフ上で、MedRouteGuardを一致させた固定グラフ・サービング比較対象（OfflineGraph-Tuned）と比較した。
   • 独立したワークロード: 時間経過によってバージョンが変わる公開エビデンスを用いた、保持された薬剤安全性ワークロード（326件の質問）を使用し、転移可能性とパケットレベルの影響をテストした。
   • 臨床的妥当性: 専門医（320経路）によるブラインド・レビューを行い、採用ラベルの感度と特異度を臨床的参照標準に対して評価した。

主な貢献
本論文は、主に以下の3つの要素を寄与している。

1. ベンチマーク・メンバーシップの推定量: レイテンシのクレジットを受ける前に、4つの条項のエビデンス契約（プロベナンス、時間的妥当性、衝突の保存、および鮮度）を満たすことを要求する、完全な臨床的回答およびエビデンス経路の定義。
2. 実行可能なアーキテクチャ: 依存関係を考慮した再利用と、失敗した試行のコストを保持する単一クロック・タイミング機構を備えた、事前/事後採用システム。
3. 実証的エビデンス: 固定候補、専門家、独立したワークロード、および一致したデプロイメントの証拠により、経路の適格性がレイテンシのテール分布およびレビュー対象となる特定の証拠パケットの選択を変更することを示す。

結果

• レイテンシ・ランキングの感度: 「すべての成功したリプレイ」ルールの下で、採用によって、847件中61件（7.2%）の質問において、リクエストから最初の生成トークンまでの勝者が変化した。遡及的オラクルによるP95レイテンシは、採用を無視した場合の2.89秒から、採用を強制した場合の3.24秒へと、+0.35秒増加した。
• 独立した再現性: 独立した薬剤安全性ワークロードにおいて、採用は326件中21件（6.4%）の質問で勝者を変化させ、P95のシフトは+0.45秒であった。
• 臨床的妥当性: 採用ラベルの専門家による検証では、92.3%の感度（臨床的に無効な経路を拒絶）および93.3%の特異度（有効な経路を採用）を達成した。
• エラー削減: 凍結された出力のメンバーシップが変化した14/180件のレビュー済み質問において、採用に基づく選択は、重大なエビデンス妥当性のエラーを13/14から2/14へ（絶対値で78.6ポイント減少）、および不安全な省略を10/14から1/14へ（64.3ポイント減少）減少させた。
• 展開パフォーマンス: 一致させた固定グラフ・サービング比較対象と比較して、MedRouteGuardは、98.9%の回答カバレッジを維持しながら、最初の生成トークンのP95を4.18秒から3.24秒へ、完全な回答のP95を8.06秒から6.82秒へと短縮した。
• 出力品質: 500組のペアによるブラインド監査において、MedRouteGuardは、正確性、完全性、安全性、および実行可能性において、テキストのみのRAGベースラインよりも高い平均スコアを示し、全体的な許容率は87.4%に対し94.2%であった。

意義と主張
本論文は、「すべての成功したリプレイ」ルールが、現在の初動トークン・ベンチマークにおける測定可能な分母エラーを露呈させていると主張している。プロベナンスを省略したり、古いエビデンスを利用したりする経路にクレジットを与えることで、ベンチマークはパフォーマンス指標を人工的に膨らませることができる。厳格なエビデンス契約を適用することで、以下のことが可能になることを本研究は示している。

1. ベンチマークの変化: それは、特に安全性、時間的妥当性、および集計に関する質問において、テール・レイテンシの分布と「最速」の経路の特定を変更する。
2. 臨床的安全性の向上: 重大なエビデンス妥当性のエラーおよび不安全な省略が大幅に少ない証拠パケットを選択する。
3. 効率性の維持: 厳格な採用基準にもかかわらず、システムは一致させた固定ポリシー・ベースラインと比較して、より速い処理マイルストーン（初動トークンおよび完全な回答）を達成しており、厳格なエビデンス契約が高度なパフォーマンスと両立可能であることを証明している。

著者らは、可変的な臨床エビデンスサービスにおいて、レイテンシ・クレジットを割り当てる前に経路の適格性を指定しなければ、プロベナンスの省略、時間的ミスマッチ、衝突の抑制、または古い再利用を「速度」としてクレジットしてしまうことを防げないと結論付けている。この研究は、実行前の能力チェック、実行後の検証、および失敗した試行を跨ぐ同一クロック・タイミングを通じて、この境界を運用化している。