技術要約: 英語根拠に基づく英語外言語用 RAG のための TR-RAG

1. 問題定義

本論文は、ユーザーが多様な非英語言語でクエリを投げ、回答を期待する一方で、検索される知識ベースが英語のパッセージのみで構成されているという、一般的な産業界の設定である英語根拠に基づくクロスリンガル（多言語）RAGを取り上げている。

強力なベースモデルが存在するにもかかわらず、この体制下では主に以下の2つの生成段階の失敗が発生する：

1. 言語ドリフト (Language Drift): モデルは英語の根拠を処理する際、クエリが他の言語であっても、英語に切り替わったりコードスイッチングを行ったりすることが多い。これは、英語の根拠が次トークンの確率を英語の継続へとシフトさせてしまうことに起因する。
2. 脆弱な根拠利用 (Brittle Evidence Use): モデルは関連するスパンを確実に特定したり、情報を集約したり、ターゲット言語で忠実に結論を述べたりすることに失敗し、無関係な根拠に注意を向けたり、支持されていない詳細を導入したりすることが頻繁にある。

これらの失敗はプレフィックス依存的 (prefix-dependent) である。つまり、初期のエラー（例：誤った言語のトークン）がその後のエラーを増幅させる。これは、標準的なポストトレーニングにおける2つの最適化のボトルネックを露呈している：

• プレフィックスの不一致 (Prefix Mismatch): 教師あり微調整 (SFT) やオフラインの知識蒸留 (KD) は、参照となる軌跡に対してのみ勾配を提供する。一度学生モデルが生成中に（オンポリシーで）逸脱すると、直接的な監督がない失敗のプレフィックスを訪れてしまう（露出バイアス）。
• ノイズの多いクレジット割り当て (Noisy Credit Assignment): シーケンスレベルの報酬（例：言語一貫性チェック、ジャッジスコア）は、部分的に離散的であったり、LLMジャッジに依存していたりするため、分散の高い方策勾配更新を招く。

解法: TR-RAG

著者らは、シーケンスレベルの報酬最適化とオンポリシー蒸留を組み合わせたポストトレーニングフレームワークである TR-RAG (Teacher-Regularized RL) を提案している。

コア構成要素

1. オンポリシーの学生ロールアウト (On-Policy Student Rollouts): コンパクトな学生モデル ($\pi_\theta$) が、クエリ $q$ と英語の根拠 $D$ が与えられた状態で、オンポリシー ($y \sim \pi_\theta$) で回答を生成する。
2. 教師による正規化アンカー (Teacher-Regularized Anchor / Reverse-KL): フルサイズの教師ロールアウトを生成する（計算コストが高いため）代わりに、強力で凍結された教師モデル ($\pi_T$) に対して、学生が実際に訪れたプレフィックス ($s_t = (q, D, y_{<t})$) についてのみ問い合わせを行う。
   • この手法は、プレフィックスごとの逆KLダイバージェンス $KL(\pi_\theta(\cdot|s_t) \parallel \pi_T(\cdot|s_t))$ を最小化する。
   • これは、起こりにくい継続を抑制し（プレフィックスの不一致を緩和）、教師のロールアウトを必要とせずに報酬最適化を安定させる、高密度なトークンレベルのアンカーとして機能する。
3. 報酬の分解 (Reward Decomposition): タスクの報酬 $r(q, D, y)$ は、特定の失敗モードに対処するために、3つの補完的なコンポーネントに分解される：
   • 言語一貫性 ($r_{lang}$): 生成された言語がクエリの言語と一致しているかをチェックするバイナリ信号（高速な fastText LID 分類器を使用）。
   • 文字 3-gram リコール ($r_{3g}$): 生成された回答とリファレンスの間のレキシカルな重なりを測定する、トークナイゼーションに堅牢な指標。これは、トークンレベルの指標が失敗しやすい形態論的な変化やスクリプトの違い（例：タイ語、韓国語）を扱うために極めて重要である。
   • LLM-Judge スコア ($r_{judge}$): 根拠に基づいた正確性、忠実性、および完全性を評価する、LLM-as-a-judge による連続的なスコア。

最適化目的関数

学生モデルは、以下の結合された目的関数を最大化するように更新される：
$$\max_\theta \mathbb{E} [ (1-\alpha) r(x, y) - \alpha L_{revKL}(x, y) ]$$
ここで、$L_{revKL}$ は、学生が訪問したプレフィックスに対する長さ正規化された逆KL損失である。実装には、グループ単位のアドバンテージを用いた GRPO スタイルのオンポリシー更新が使用される。

3. 主な貢献

• 問題の定式化: 英語根拠に基づくクロスリンガル RAG に特有の、プレフィックス依存的な失敗モード（言語ドリフトと脆弱な根拠利用）を特定し、特徴付けた。
• アルゴリズム設計: 高密度なプレフィックス単位の逆KLアンカーを介して、シーケンスレベルの報酬とオンポリシー蒸留を独自に組み合わせた TR-RAG を導入した。このアプローチは、オフライン KD のプレフィックス不一致と、純粋な RL の高分散の両方を回避する。
• 報酬エンジニアリング: 言語の一貫性、文字 n-gram、および LLM ジャッジ・スコアリングを組み合わせ、英語の根拠下での多言語生成に特化した複合報酬関数を提案した。

4. 実験結果

本手法は、BioASQ-ENKB5、Hotpot-ENKB5（英語の根拠を維持したままクエリと回答を翻訳して構築）、および自然な多言語データセットである MKQA（英語の Wikipedia とペア）の3つのベンチマークで評価された。バックボーンとして Llama-3.2-3B と Qwen3-4B を用い、それぞれ強力な教師（Llama-3.3-70B および Qwen3-30B）とペアリングしてテストを行った。

• 複合的なパフォーマンス: TR-RAG は、すべてのベンチマークにおいて、SFT、知識蒸留、ナイーブな RL、およびオンポリシー蒸留 (OPD) 単独を含む強力なベースラインを上回り、最高の総合的な複合スコア（言語遵守、レキシカルな忠実性、および根拠に基づいた正確性の平均）を達成した。
• 言語一致性: TR-RAG は言語ドリフトを大幅に軽減する。決定的な点として、それはセーフティネットとして機能する：
  • ドメイン内の言語において、報酬のみの RL (Naive-RL) で観察される、ベースモデルの性能を下回ることもある大規模な崩壊（最大約27ポイント）を防ぐ。
  • 遠い分布外 (OOD) の言語（例：ノルウェー語、クメール語）において、報酬のみの RL がベースモデルの天井で停滞する場面でも、TR-RAG は依然として根拠への接地性を向上させる。
• レキシカルな忠実性: TR-RAG はしばしば 70B の教師を上回る文字 3-gram リコールを示し、言語間の効果的なレキシカル内容の転移を示唆している。
• 効率性: この手法は最小限のオーバーヘッドしか追加せず、学生のプレフィックスに対する単一の教師フォワードパスのみを必要とする（教師のロールアウトは不要）。コンパクトなモデルや MoE 教師を使用する場合、学習時間は Naive-RL/OPD と同等である。

5. 意義と主張

本論文は、根拠が英語であるがユーザーが多言語であるという、実用的なクロスリンガル RAG のボトルネックに対する堅牢な解決策を TR-RAG が提供すると主張している。

• セーフティネット・メカニズム: 主な意義は、安定化装置としての教師アンカーの役割にある。これは、純粋な報酬最適化が引き起こし得る破滅的な言語一貫性の失敗を防ぎ、「安全な」設定でのわずかな利点と引き換えに、困難なシナリオにおけるドリフトに対する堅牢性を確保するという「保険料」として機能する。
• 汎用性: 得られた利点は、未知の言語や自然な多言語データセット (MKQA) にも堅牢に転移しており、この手法が特定の翻訳アーティファクトへの過学習ではなく、根本的な生成側の失敗に対処していることを示唆している。
• 実用性: このフレームワークにより、コンパクトな学生モデルが、教師のロールアウトという計算コストをかけることなく、特定の指標（文字 3-gram リコールなど）において、よりはるかに大きな教師に匹敵、あるいは凌駕する性能を達成することを可能にする。

著者らは、プレフィックス単位のアンカーを介した報酬最適化とオンポリシー蒸留の結合は、言語が一致しない根拠の下でのクロスリンガル生成を安定させるために必要なステップであり、既存のリトリーバル側（検索側）の最適化や単一言語の RL では十分に解決できない問題であると結論づけている。