技術要約：ReFact – コンパクトかつ忠実な思考の連鎖（Chain-of-Thought）のための適応型事実再構成

1. 問題提起

大規模言語モデル（LLM）は、複雑なタスクを解決するために、長いコンテキスト入力を含む長文推論にますます依存しています。しかし、既存のモデルは、特にエビデンスが不完全、ノイズが多い、あるいはモデルのパラメトリックな知識と矛盾する場合において、提供された文脈的エビデンスと自身の推論プロセスを整合させることに苦慮することがよくあります。この不整合は、「不誠実な（unfaithful）」思考の連鎖（CoT）を引き起こします。つまり、モデルが関連する文脈を見落としたり、入力と矛盾する内部知識に依存したり、あるいは幻覚に基づいた推論ステップを生成したりする現象です。

文脈へのグラウンディング（根拠付け）を行う現在のアプローチは、大きく分けて以下の2つのカテゴリーに分類されますが、いずれにも限界があります。

1. 引用ベースの生成（Citation-Based Generation）: これらの手法は、生成中または生成後に引用を付与することで透明性を高めます。しかし、これらは引用を外部のリファレンスとして扱うことが多く、引用された情報が中間的な推論を支分として十分であるかどうかを保証するプロセスとしては機能しません。
2. 事実再現型推論（Fact-Reproducing Reasoning）: これらの手法は、LLMに文脈からの支持事実を明示的に再構成することを要求します。この手法は整合性を向上させますが、再構成に対する厳格な要求は、推論の軌跡のコンパクトさと一貫性を損なうことがあり、冗長で過剰な引用を含むトレースを招く原因となります。

核心となる課題は、LLMがいかにして「いつ」文脈へのグラウンディングが必要かを判断し、「どのように」適切な粒度でソースとなる事実を再構成すれば、信頼性が高く、コンパクトで、かつ忠実な推論を実現できるかを可能にすることです。

2. 手法：ReFact フレームワーク

ReFact（Adaptive Fact Restatement：適応型事実再構成）は、特定の推論ステップにおいて必要に応じて、ソースとなる事実を様々な粒度（エンティティ、フレーズ、文、または段落）で選択的に再構成できるように設計されたフレームワークです。本フレームワークは、**教師あり微調整（SFT）に続く強化学習（RL）**という、2段階のトレーニングパイプラインを採用しています。

2.1 学習データの構築

著者らは、既存のQAデータセット（HotpotQA_CAREおよびMuSiQue）から適応型引用ベースの推論軌跡を合成することで、学習データセット（$D_{training}$）を構築しました。

• 教師モデル: 強力な教師LLM（Gemini-3.1-preview）が、高品質な推論軌跡を生成します。このモデルは、コンテキスト内に提供された「支持事実（Supporting Facts）」に基づき、「いつ」引用すべきか、および「どのように」事実を再構成すべきか（粒度と形式）を決定するようにプロンプトが与えられます。
• 長さの多様なコンテキスト: 長文コンテキストのシナリオ全体で汎用性を確保するため、ゴールド・コンテキストを、さまざまな長さ（32k、64k、128kトークン）のディストラクター（妨害）ドキュメントの中に挿入し、現実世界の長文コンテキストの課題をシミュレートしています。
• 品質フィルタリング: 生成された軌跡は、以下の4つの基準でフィルタリングされます：
  1. フォーマット: タグ（<evidence N>...</evidence>）の正しい使用、および推論と回答の分離。
  2. 正確性: 最終的な回答がゴールドスタンダードと一致していること。
  3. 追跡可能性（Traceability）: 引用されたすべての内容が、支持事実の中に逐語的に存在していること。
  4. 回答可能性（Answerability）: 検証モデルが、引用された内容のみを使用して正しい回答を導き出せること。これにより、引用が推論に十分であることを保証します。

2.2 2段階のトレーニングパイプライン

学生モデル（Qwen3-4BおよびQwen3-8B）は、以下のプロセスを通じて最適化されます。

1. コールドスタートSFT: モデルは、精査された $(question, long\_context, reasoning\_trajectory)$ ペアを用いて学習され、出力フォーマットと、事実に基づいて推論をグラウンディングする挙動を学習します。
2. グループ相対方策最適化（GRPO）: モデルは、以下の4つのコンポーネントのバランスをとる報酬関数（$R$）を用いてさらに最適化されます：
   • $R_{format}$: 構造的な正しさ。
   • $R_{acc}$: 回答の正確性。
   • $R_{trace}$: 引用された内容のソースに対する忠実性。
   • $R_{ans}$: 回答するための引用内容の十分性。
     最終的な報酬は、加重和として定義されます：$R = \lambda_1 R_{format} + \lambda_2 R_{acc} + \lambda_3 R_{trace} + \lambda_4 R_{ans}$。

3. 主な貢献

• 適応型引用メカニズム: 固定された引用位置や事後的な属性付与を強制する従来の研究とは異なり、ReFactは、事実の再構成の必要性と粒度を適応的に決定することをモデルに教えます。これにより、不必要な冗長性を排除しつつ、より密度が高く忠実な推論トレースを実現します。
• SFT-to-RL フレームワーク: 引用フォーマットの学習（SFT）から、引用の「有用性」を最適化する学習（RL）へと移行する具体的なトレーニングパイプラインを提案しており、これにより、引用された事実が単に存在するだけでなく、推論に十分であることを保証します。
• コンパクトかつ忠実な推論: 本アプローチは、忠実性を向上させることが必ずしも推論トレースの長期化を必要としないことを示しています。実際、ReFactは、精度を維持または向上させながら、大幅に短いトレースを生成します。

4. 実験結果

実験は、LongBench v1/v2、LV-Eval（16k–128k コンテキスト）、および ConFiQA（反事実的な忠実性）を用いて行われました。

• 長文コンテキストQAにおける性能: ReFactは、LongBench v1 および LV-Eval において、ベースライン（Zero-Shot, LongAlign, LongFaith, CARE）を一貫して上回りました。異なるコンテキスト長（最大128k）にわたって高いF1スコアを達成しつつ、大幅に少ない推論トークンを生成しました（例：CAREと比較してトークン使用量を約60-70%削減）。
• 引用の質と効率性: 分析により、ReFactはゼロショットやCAREと比較して、より少ない事実を再構成しながらも、高い引用F1スコア（ゴールドエビデンスとの高い一致）を達成したことが示されました。これは、モデルが回答に十分なエビデンスのみを選択することを学習していることを示唆しています。
• 反事実的な忠実性: コンテキストがパラメトリックな知識と矛盾する ConFiQA において、ReFact は高いソース優先度（PS）と低いパラメトリック・オーバーライド（PO）を示しました。提供されたコンテキストに従う傾向がより強くなりました。
• メカニズム分析:
  • パープレキシティ: ReFact のトレースは、ゴールド回答に対して低いパープレキシティを示しました。これは、最終的な予測に対する強力なガイダンスが行われていることを示しています。
  • FFN活性化: フィードフォワードネットワーク（FFN）の活性化分析により、ReFact はゼロショットと比較して、中層から深層にかけての活性化比率が低いことが明らかになりました。これらの層はパラメトリックメモリの想起に関連しているため、ReFact がコンテキストと衝突する内部知識への依存を減らしていることを示唆しています。
• アブレーション研究: 「回答可能性（Answerability）」の報酬、または「エビデンス・アライメント」の監督を取り除くと、性能が低下しました。これは、エビデンスの「十分性」の最適化と明示的なアライメントが極めて重要であることを裏付けています。

5. 意義と主張

本論文は、ReFact が、LLMの推論をコンパクトかつ忠実なものにするための重要な一歩であると主張しています。引用を外部的なリファレンスから適応的な中間推論状態へと変容させることで、ReFact はモデルに以下のことを可能にします：

1. 認知負荷の軽減: 必要な事実のみを再構成することで、推論プロセスを簡潔に保ちます。
2. 信頼性の向上: 推論ステップが提供されたコンテキストによって裏付けられていることを明示的に検証するよう訓練されているため、モデルは幻覚やパラメトリック・オーバーライド（内部知識による上書き）を起こしにくくなります。
3. 効率性の向上: 推論トークンの削減は、高品質な推論には冗長な再構成を必要としないことを示しており、長文コンテキストの推論をより計算効率的にします。

著者らは、忠実な長文コンテキスト推論の鍵は、より多くの引用を強制することではなく、適切な事実を適切な粒度で適応的に選択し、統合することをモデルに教えることにあると結論付けています。