Context Attribution with Multi-Armed Bandit Optimization

以下は、提示された論文「Context Attribution with Multi-Armed Bandit Optimization (CAMAB)」の詳細な技術的サマリーです。

1. 研究の背景と課題 (Problem)

** Retrieval-Augmented Generation (RAG) の信頼性向上**
大規模言語モデル（LLM）に外部文脈（コンテキスト）を付与して回答を生成する RAG 手法は、事実性の向上に寄与していますが、生成された回答がどの文脈セグメントに基づいているかを特定する「帰属（Attribution）」は依然として課題です。LLM は幻覚（ハルシネーション）を起こしたり、文脈に根拠のない情報を混入したりする傾向があるため、どの文脈部分が回答に寄与したかを正確に解釈・説明する必要があります。

既存手法の限界
既存の帰属手法には主に 2 つのアプローチがあります。

1. 生成時の引用: モデルに生成時に引用を付与させる手法。しかし、引用が実際にモデルが参照した内容と一致する保証がなく、信頼性が低い。
2. 事後解析（Perturbation-based）: SHAP や ContextCite のように、文脈の一部をマスク・削除して出力の変化を評価する手法。
   • 課題: 文脈セグメントの組み合わせ空間は指数的に膨大であるため、均一なサンプリングや網羅的な評価を行うと、LLM の推論コスト（クエリ数）が莫大になり、長文脈や API ベースのブラックボックスモデルでは実用的ではありません。

2. 提案手法：CAMAB (Methodology)

著者らは、文脈帰属問題を**組合せ多腕バンディット問題（Combinatorial Multi-Armed Bandit, CMAB）**として定式化し、効率的な探索を行うフレームワーク「CAMAB」を提案しました。

2.1 問題定式化

• アーム（Arm）: 文脈を構成する各セグメント（文や段落）を「アーム」と見なします。
• アクション（Action）: 複数のアーム（セグメント）のサブセットを選択することを「スーパーアーム」として定義します。
• 報酬（Reward）: 選択したセグメントのサブセット $S$ を用いて LLM に回答を生成させ、元の回答トークンの**平均対数確率（Log-Probability）**を報酬 $V(S)$ として定義します。
  $$V(S) = \frac{1}{T} \sum_{t=1}^{T} \log P_M(r_t | Q, S, r_{1:t-1})$$
  この報酬は、サブセットが元の回答をどの程度支持しているかを測る指標となります。

2.2 Linear Thompson Sampling (LinTS) の適用

限られたクエリ予算内で最も影響力のあるセグメントを特定するために、**線形トンプソンサンプリング（Linear Thompson Sampling）**を採用しました。

• 線形仮定: 報酬 $V(S)$ は、選択されたセグメントの個別の寄与（重み $w$）の線形和として近似できると仮定します。
  $$V(S) \approx w^\top x + \epsilon$$
  ここで $x$ はセグメントの包含を示すバイナリベクトルです。
• ベイズ更新: 重みベクトル $w$ の事後分布をガウス分布として維持し、各ラウンドで以下の手順を繰り返します。
  1. 事後分布から重みベクトル $\tilde{w}$ をサンプリング。
  2. サンプリングされた重みが正であるセグメントを選択し、サブセット $S_t$ を構成。
  3. LLM にクエリを実行し、報酬 $V(S_t)$ を観測。
  4. 精度行列（Precision Matrix）$B_t$ と情報ベクトルを更新。
• 相互作用の捕捉: 線形モデルを使用していますが、精度行列 $B_t$ の非対角成分がセグメント間の共選択統計を蓄積することで、セグメント間の相互作用（相関や代替効果）を暗黙的に捉えることができます。

3. 主要な貢献 (Key Contributions)

1. 問題の再定式化: セグメントレベルの文脈帰属を、組合せ多腕バンディット（CMAB）問題として初めて定式化しました。
2. 効率的な探索アルゴリズム: 線形トンプソンサンプリング（LinTS）を適用し、事後分布に基づいて適応的に情報量の多いサブセットを選択することで、限られたクエリ予算下での探索効率を大幅に向上させました。
3. ブラックボックス環境での実証: 商用 API を通じてアクセス可能な LLM（LLaMA-3.1-8B, Qwen2.5-7B）を用いた大規模実験を行い、既存手法（SHAP, ContextCite）と比較して、同等以上の帰属精度を維持しつつ、モデルクエリ数を最大 30% 削減できることを示しました。

4. 実験結果 (Results)

3 つのベンチマーク（HotpotQA, CNN/DailyMail, TyDi QA）および 2 つのモデルを用いた評価結果は以下の通りです。

• クエリ効率の向上:
  • 情報探索タスク（HotpotQA, TyDi QA）において、CAMAB は SHAP よりも少ないクエリ数（例：$s=40$）で、SHAP がより多くのクエリ（$s=60$）で達成するレベルの精度を達成しました。
  • 予算が厳しい場合（$s=20$）、SHAP の性能は急激に低下しますが、CAMAB は高い忠実度を維持しました。
• 帰属精度:
  • Log-Probability Drop: 重要なセグメントを削除した際のモデル出力の確率低下度において、CAMAB は SHAP や ContextCite を上回るか同等の性能を示しました。
  • BERTScore: 生成された回答と元の回答の意味的類似度においても、同様の傾向が見られました。
  • Gold Supporting Facts との整合性: HotpotQA の正解サポート事実との照合において、CAMAB は SHAP よりも高い Precision@1 や F1 スコアを達成し、人間の判断と一致する重要なセグメントを特定できることを示しました。
• 計算コスト:
  • LLM の推論コストに比べ、CAMAB の事後更新（行列演算）のオーバーヘッドは無視できるレベルであり、全体として SHAP よりも高速に動作しました。

5. 意義と結論 (Significance)

• スケーラビリティ: 長文脈や高コストな API ベースの LLM 環境において、帰属分析を現実的に実行可能な手法を提供しました。
• ブラックボックス対応: モデル内部の勾配やロジット分布への完全なアクセスが不要であり、トークンレベルの対数確率のみで動作するため、OpenAI や Together AI などの商用 API に対応可能です。
• 適応的探索の優位性: 均一なサンプリングではなく、ベイズ的な不確実性を考慮した適応的探索（Exploration-Exploitation のバランス）が、限られたリソース下で最も重要な文脈を特定する上で極めて有効であることを実証しました。

限界点:
探索と活用のバランスが崩れると局所解に収束する可能性があり、非常にノイズの多い環境では不安定になる可能性があります。また、トークンレベルの対数確率が提供されない環境（生成テキストのみが観測可能な場合）への適用は今後の課題です。

総じて、CAMAB は、リソース制約のある生成 AI システムにおいて、信頼性高く解釈可能な帰属分析を実現するための有望な基盤技術と言えます。