Disagreement reliability routing for multimodal large language model evidence pipelines with imperfect counterfactual priors

技術要約：マルチモーダルLLMエビデンス・パイプラインにおける不一致信頼性ルーティング

問題提起
マルチモーダル大規模言語モデル（LLM）のエビデンス・パイプラインは、しばしば非対称なフィードバック体制下で動作する。システムは、複数の候補となる修復アクションに対して、ルールに基づいた高密度な反事実的結果を生成できる一方で、実際のプロダクション・ログには実行された単一のアクションの事実的結果のみが記録される。ルール由来の結果をグラウンドトゥルース（正解）として扱うことは、ルーティング決定の較正を誤らせるリスクがあるが、それらを完全に破棄することは、構造化された運用知識を無駄にすることになる。さらに、既存のルーティングに関する文献の多くは、完全情報監督、あるいは既知の行動ポリシーに基づくバンディット・フィードバックを前提としているが、プロダクション・ログが決定論的なスコアベクトルのargmax（最大値）のみを記録し、確率的な選択を行わない場合、これらの条件は満たされない。ここに課題が生じる。すなわち、欠損データチャネルや信号の競合がルールの信頼性に影響を与える中で、いかにして、プロシージャルな知識（手順的知識）と観測された真実を混同することなく、不完全なルール事前分布を活用して学習するかという点である。

手法：EviRoute-DR
著者らは、ルール事前分布がいつ失敗するかを学習し、修正されたルール・エキスパートと直接的な事実的エキスパートを融合するように設計されたルーティング・フレームワーク、EviRoute-DR（Disagreement-Reliability：不一致信頼性）を提案する。この手法は、3つのコアコンポーネントで構成される。

1. 不一致の補正 ($q_\theta$):
   ルールラベルを真実として扱うのではなく、コンテキスト ($x$) とアクション ($a$) が与えられたときに、ルール事前分布が誤っている確率を推定する「不一致エキスパート」を学習する。

   • ターゲット: $D_i = 1\{Y_i(A_i) \neq r_i(A_i)\}$、ここで $Y$ は事実的結果、$r$ はルール事前分布である。
   • 補正: ルールによる補正済み成功確率は、$\hat{p}^R_\theta(x, a) = r(x, a)[1 - q_\theta(x, a)] + [1 - r(x, a)]q_\theta(x, a)$ として計算される。これは、不一致確率が高い場合にはルールラベルを反転させ、低い場合にはルールを信頼することを意味する。

2. 信頼性を条件としたスタッキング（Reliability-Conditioned Stacking）:
   メタ学習器が2つのブランチからの予測を組み合わせる：

   • 直接的事実的エキスパート: 1ケースにつき単一の事実的結果のみを用いて学習されたモデル（ロジスティック回帰、ランダムフォレスト）。
   • ルール補正エキスパート: 不一致確率を予測するように学習され、その後、補正された成功確率を生成するモデル。
   • 信頼性特徴量: メタ学習器は、欠損カウント、競合スコア、ログに記録されたプロダクション・アクション・スコア、およびアクション・コストを含む追加の信号を取り込む。
   • 最終的なスコアは、正則化されたロジスティック結合である: $\hat{p}^{ER}(x, a) = \sigma(\beta_0 + \beta^\top z(x, a))$。

3. コスト回避型ルーティング:
   システムは、アクション $\pi_\lambda(x) = \arg\max_{a \in A} [\hat{p}^{ER}(x, a) - \lambda c(x, a)/20]$ を選択する。ここで $\lambda$ はコスト回避パラメータであり、$c(x, a)$ は複合的なユーティリティ・コスト（失敗損失、レビューの労力、レイテンシなど）である。

実験設定

• データ: eBayからの2,100件のプロダクション・ケース（各ケースに7つの候補アクションがあり、計14,700件のアクション・レコードが存在）。
• フィードバック: 1ケースにつき正確に1つの事実的結果。残りの6つのアクションには、評価または補正のためだけに用いられるルール由来の反事実的アノテーションが付与されている。
• 分割: 600件の事実的トレーニング・ケース、200件の検証ケース（メタ学習器の適合用）、および1,300件のホールドアウト・テスト・ケース（メイン、時間的、困難、ワークフロー・シフトの各コホートを含む）。
• ベースライン: ルール事前分布、直接的なロジスティック回帰、直接的なランダムフォレスト、および様々なルール補正バリアント。
• 制約: 著者らは、ログに記録されたアクションが常にスコアベクトルのargmaxであるため、行動プロペンシティ（行動傾向）を特定するための確率的選択メカニックが存在しないことを踏まえ、逆傾向スコア（IPS）や二重に頑健な（DR）因果推論の主張を明示的に避けている。

主要な結果

• 事実的予測: 1,300件のホールドアウト事実的ケースにおいて、EviRoute-DRは AUC 0.926 および Brierスコア 0.0910 を達成した。
  • これは直接的なロジスティック回帰（AUC 0.921、Brier 0.0971）を上回り、統計的に有意なBrierスコアの改善（95% CI 0.0021–0.0092）を示した。
  • ランダムフォレスト（AUC 0.924、Brier 0.0922）に対しても点推定値ではわずかな改善が見られたが、ペア・ブートストラップ区間にゼロが含まれていたため、ランダムフォレストに対する優位性は統計的に確立されなかった。
• アブレーション解析: 「ルール・ブランチ」（補正済みエキスパート）を除去すると性能が低下し、不一致の補正が確率的精度に大きく寄与していることが確認された。
• 反事実リプレイ: 7つのアクションすべてを含む二次的な評価において、EviRoute-DRは平均コスト12ユニットに対して約0.815の解決率を達成し、これは生のルール事前分布の約0.786と比較して高い。これは、適度な運用コストにおいて、より優れたコスト・解決フロントIER（境界）を提供することを示唆している。
• 感度分析: リプレイによる利得は、未実行のアクションにおける集中したアノテーション・エラーに対して敏感であることが判明した。これは、リプレイの結果が記述的であり、提供されたアノテーションの品質に依存していることを強調している。

意義と主張
本論文は、EviRoute-DRを部分的な事実的フィードバック下でのエビデンス・ルーティングのための実用的な手法として位置づけている。その主な貢献は以下の通りである：

1. 非対称性の定式化: 1つの事実的結果と、不完全なルール由来の事前分布が共存するルーティング問題を定義した。
2. 不一致を考慮した融合: ルール事前分布のエラー構造（不一致）を学習することで、直接学習よりも確率的精度を向上させる「補正済み」確率が得られることを示した。
3. 厳格な因果的境界: 著者らは、彼らの結果が因果的方策評価（OPE）ではないことを強調している。ログが確率的選択の仮定をサポートしていないため、因果的介入効果の主張は控えている。代わりに、事実的予測を改善し、アノテーションに依存した二次的なリプレイ分析を提供するという枠組みを用いている。

結論として、著者らは、欠損チャネルや信号の競合によってルール事前分布が信頼できない可能性があるマルチモーダル・システムにおいて、不一致を考慮した信頼性融合が有効なアプローチであることを述べており、ルールをグラウンドトゥルースとして扱うことなく、運用の構造を活用する方法を提示している。