論文「NO ONE SIZE FITS ALL: QUERYBANDITS FOR LLM HALLUCINATION MITIGATION」の技術的サマリー

この論文は、大規模言語モデル（LLM）のハルシネーション（幻覚）を軽減するための新しいアプローチとして、QueryBandits（クエリバンディット）と呼ばれる文脈バンディット（Contextual Bandit）フレームワークを提案しています。特に、重みへのアクセスができないクローズドソースモデル（例：GPT-4o）において、モデルの再学習や内部状態の編集なしに、オンラインで最適なクエリ書き換え戦略を選択する手法を確立した点が特徴です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

• ハルシネーションの深刻化: LLM の推論能力の向上に伴い、事実誤認（ハルシネーション）の発生頻度が増加しています。
• クローズドソースモデルの課題: 既存のハルシネーション軽減手法の多くは、ログイットや内部表現へのアクセスが可能なオープンソースモデル向けに開発されています（例：DoLa, TruthX）。しかし、企業環境で広く利用されているクローズドソースモデル（API 経由など）では、これらの手法は適用できません。
• 「一辺倒」な戦略の限界: 既存の研究では、すべてのクエリに対して同じ書き換え戦略（例：常にパラフレーズする、常に拡張する）を適用する「ワンサイズ・フィット・オール」のアプローチが主流でした。しかし、入力クエリの表面形態のわずかな変化が出力に大きな影響を与えることが知られており、固定的な戦略では最適化が困難です。

2. 提案手法：QueryBandits

QueryBandits は、各クエリに対して最適な書き換え戦略をオンラインで学習・選択する文脈バンディット（Contextual Bandit）フレームワークです。

2.1 基本フロー

1. 特徴抽出: 入力クエリ $x_t$ から、言語学的に動機付けられた17 次元のバイナリ特徴ベクトル $f_t$ を抽出します（例：照応、従属節、曖昧性、専門性など）。
2. 腕（Arm）の選択: 文脈バンディットアルゴリズムが、特徴ベクトルに基づいて最適な「書き換え戦略（Arm）」を選択します。
3. クエリ書き換え: 選択された戦略（例：PARAPHRASE, EXPAND など）を用いてクエリを再構成し、$x'_t$ を生成します。
4. 推論と評価: 書き換えられたクエリを LLM に投入し、回答を得て、報酬 $r_t$ を計算します。
5. 更新: 得られた報酬に基づいてバンディットのパラメータを更新し、次のクエリでの意思決定を改善します。

2.2 書き換え戦略（Action Space）

5 つの異なる書き換え戦略を定義しています：

• PARAPHRASE: 意味を維持しつつ語彙的多様性を導入。
• SIMPLIFY: 複雑な構文やネストを排除し、単純化。
• DISAMBIGUATE: 曖昧な代名詞や時表現を明示的に解決。
• EXPAND: 文脈を補強するために重要な実体や属性を追加。
• CLARIFY TERMS: 専門用語や業界用語を定義・注釈付きで記述。

2.3 報酬モデル（Reward Modeling）

ハルシネーションの軽減を目的とした複合報酬関数 $r_t$ を設計しました。
$$r_t = \alpha s_{llm} + \beta s_{fuzz} + \gamma s_{bleu}$$

• $s_{llm}$: LLM による正誤判定（LLM-as-a-Judge）。
• $s_{fuzz}$: 文字列の曖昧一致スコア（RapidFuzz）。
• $s_{bleu}$: BLEU-1 スコア（語彙的重なり）。
• 重み: 人間によるラベル付きデータセットを用いたパレート最適探索により、$(\alpha, \beta, \gamma) = (0.6, 0.3, 0.1)$ が最適と決定されました。この報酬関数は正解と不正解を ROC-AUC 0.973 で分離できる高い識別力を持ちます。

3. 主要な貢献

1. ファクトリティのための報酬モデルの確立: LLM 判定、フッジーマッチ、BLEU を組み合わせた校正された報酬関数を提案し、ハルシネーションの定量的評価を可能にしました。
2. 文脈適応の優位性の証明: 13 の QA ベンチマーク（16 シナリオ）において、文脈バンディット（特に Thompson Sampling）が「書き換えなし（NO-REWRITE）」ベースラインに対して87.5% の勝率を達成し、ゼロショットの静的戦略（PARAPHRASE や EXPAND）を大幅に上回りました。
3. 解釈可能な意思決定重みの発見: 17 個の言語特徴と各書き換え戦略の効果を回帰分析により明らかにしました。特定の言語特徴（例：「専門性」）が存在する場合は「EXPAND」が有効、逆に「超絶表現」がある場合は「SIMPLIFY」が不適切など、クエリごとの特徴に基づいて最適な戦略が異なることを実証しました。「すべてのクエリに最適な単一の書き換え戦略は存在しない（No One Size Fits All）」という結論に至りました。
4. クローズドソースモデルへの適用: モデルの重みを操作せず、入力層でのみ動作するため、GPT-4o などのクローズドモデルでも即座に適用可能です。GPT-4o の TruthfulQA における精度を 81.4% から 88.8% へ向上させました。

4. 実験結果

• ベンチマーク性能: 16 のシナリオにおいて、文脈バンディット（Contextual TS）は 8 回、LinUCB ファミリーが 3.5 回、それぞれ最高精度を記録しました。
• 静的戦略との比較: 静的な書き換え戦略（例：常に EXPAND）は、場合によっては「書き換えなし」よりもハルシネーションを悪化させる（累積後悔が増大する）ことが示されました。
• 特徴量の影響: 特徴ベクトルを除去した場合（非文脈バンディット）、Thompson Sampling の勝率は 87.5% から 81.7% に低下しました。これは、言語特徴が最適な戦略の選択に重要なシグナルであることを示しています。
• 計算コスト: 1 クエリあたりの追加トークンコストは約 688 トークン（約 0.00035 ドル）であり、実用的な範囲内です。

5. 意義と結論

• 実用性: 再学習や内部構造の改変を必要としないため、API 経由で利用されるクローズドソース LLM におけるハルシネーション対策として極めて実用的です。
• 学術的示唆: 「固定的なプロンプト最適化」から「クエリごとの特徴に基づいた適応的戦略選択」へのパラダイムシフトを提案しました。また、表面的な入力変化（表面形態）がモデルの挙動に与える影響を考慮した、オンライン学習の重要性を浮き彫りにしました。
• 将来展望: 本研究は、LLM のハルシネーションが単なるバグではなく、入力文脈とモデルの相互作用によって生じる現象であることを示唆しており、動的な入力制御による信頼性向上の新たな道筋を開きました。

要約すると、QueryBandits は、**「どのクエリに対してどの書き換えが有効かは、そのクエリが持つ言語的特徴に依存する」**という洞察に基づき、オンライン学習を通じて動的に最適解を探索する、画期的なハルシネーション軽減フレームワークです。