論文要約：Reasoning Graphs: Deterministic Agent Accuracy through Evidence-Centric Chain-of-Thought Feedback

この論文は、言語モデルエージェントの推論プロセスにおける「推論の断絶」と「結果のばらつき」という根本的な課題を解決するため、**「推論グラフ（Reasoning Graphs）」と「検索グラフ（Retrieval Graphs）」**という新しいアーキテクチャを提案しています。これにより、モデルの再学習（リトレーニング）を行わずに、エージェントの精度を向上させ、行動のばらつきを低減（決定論的精度の実現）させることを目指しています。

以下に、問題定義、手法、主要な貢献、期待される結果、および意義について詳細にまとめます。

---

1. 背景と課題 (Problem)

既存の言語モデルエージェント（例：ReAct パターン）は、各クエリに対して以下のループを独立して実行します：

1. 検索: 知識ベースから文脈（証拠）を取得。
2. 推論: 取得した証拠に基づいて推論（Chain of Thought）を行い、回答を生成。
3. 行動: 回答またはアクションを実行。

既存手法の限界:

• 推論の破棄: 一度の推論プロセス（証拠の評価、採用・棄却の理由、結論への接続）は、タスク完了後に破棄されます。次の類似クエリでは、エージェントはゼロから推論を再開します。
• 精度の低下と高バリアンス: 同じ種類のクエリや証拠に対して、エージェントは過去に成功した推論を活かせず、毎回ゼロから再考する必要があります。その結果、同じ入力に対して異なる行動シーケンスが生成されやすく、タスクの成功・失敗が予測不能（高バリアンス）になります。
• 既存のメモリ手法の不足:
  • Reflexion: 直近の自己批判を時系列で取得しますが、現在の「証拠」に特化したフィードバックではありません。
  • ReasoningBank: クエリ類似性に基づいて一般的な推論戦略を取得しますが、特定の証拠アイテムごとの評価履歴とは切り離されています。

2. 提案手法 (Methodology)

著者は、エージェントの推論をグラフ構造として永続化し、**「証拠中心（Evidence-Centric）」**のフィードバックループを構築するアプローチを提案します。

2.1 推論グラフ (Reasoning Graphs, $G_R$)

エージェントの推論プロセスを構造化されたエッジとしてグラフに保存します。

• 構造:
  • ノード: エージェント、決定（Decision）、証拠アイテム（Evidence/Passage）。
  • エッジ:
    • decided: エージェントが決定を下したエッジ（信頼度、結果などを含む）。
    • evaluated: エージェントが特定の証拠を評価したエッジ（ステップ、 verdict（採用/棄却）、理由）。
• メカニズム（証拠中心のフィードバック）:
  1. 新しい候補セット（証拠の集合）が得られた際、システムは各証拠アイテムから出発します。
  2. 過去のすべての実行において、その証拠アイテムに対して評価されたエッジを後方（内向き）に走査します。
  3. 正解（Correct Outcome）に結びついた決定に限定してフィルタリングし、「証拠プロファイル」を構築します。
     • 過去の verdict 分布（採用率/棄却率）。
     • 最も代表的な推論パターン（理由）。
     • 信頼性スコア。
  4. このプロファイルを、エージェントのコンテキスト（プロンプト）に注入します。
• 特徴: クエリの類似性ではなく、**「現在検討している特定の証拠」**に対して過去の知見を直接適用するため、文脈の関連性が保証されます。

2.2 検索グラフ (Retrieval Graphs, $G_P$)

検索パイプラインのメタデータをグラフエッジとして記録し、将来的な候補セットを絞り込むために使用します。

• メカニズム:
  • 各決定ノードと、その決定のために検索された証拠アイテムを接続する retrieved via エッジを記録します。
  • パイプラインプランナー: 特定のクエリタイプにおいて、過去に一貫して「棄却（rejected）」された証拠アイテムを特定し、将来の候補セットから除外します。
• 効果: 候補セットの絞り込み（Funnel Tightening）により、不要なトークンの処理を減らし、推論コストを削減します。

2.3 自己改善フィードバックループ

• 各実行後、新しいエッジが両方のグラフにアトミックに書き込まれます。
• 推論グラフはエージェントの推論精度を高め、検索グラフは検索効率を高めます。
• これにより、モデルの重み更新（再学習）なしに、コンテキストエンジニアリングを通じてシステムが自己改善します。

3. 主要な貢献 (Key Contributions)

1. 推論グラフの導入: 証拠ごとの Chain of Thought を構造化エッジとして永続化し、証拠中心のバックワード走査によるフィードバックと、フォワード走査による監査可能性を実現しました。
2. 検索グラフの導入: 検索メタデータに基づくパイプラインの自己最適化を実現しました。
3. 決定論的精度（Deterministic Accuracy）: 再学習なしに、精度の収束（Accuracy Convergence）とバリアンスの崩壊（Variance Collapse）を達成するフィードバックアーキテクチャを提案しました。
   • 注: 「決定論的」とは、トークン列が同一であることを意味するのではなく、同じ証拠に対する verdict（判断）が過去の実行と一貫していることを指します。
4. 評価プロトコルの提案: 単一のクエリ評価ではなく、同じクエリタイプの連続実行における精度収束とバリアンス低減を測定するための「逐次クラスタ評価プロトコル」を設計しました。

4. 期待される結果と特性 (Expected Results & Properties)

この論文は実験結果を報告する前にフレームワークを提示していますが、以下の特性が理論的に導き出されています。

• 精度の収束: 証拠プロファイルが豊かになり、候補セットが絞り込まれるにつれ、タスク精度は反復実行ごとに非減少的に向上します。
• バリアンスの崩壊: エージェントの判断が証拠プロファイル内の多数派シグナルと一致するようになり、同じ証拠に対する判断が安定します。
• 完全な監査可能性: どの決定も、グラフ走査によってその完全な推論履歴（Chain of Thought）まで遡って追跡可能です。
• コスト削減: 候補セットの絞り込みにより処理される証拠の数が減るため、証拠プロファイルの追加トークンコストを上回り、全体として推論コストが減少すると予想されます。
• 冷間スタート（Cold Start）への耐性: グラフに履歴がない初期段階では、標準的な RAG と同じ挙動を示し、システムはベースラインに劣化せず、徐々に性能が向上します。

5. 評価計画 (Evaluation Plan)

• ベンチマーク: HotpotQA（多段階推論）、MuSiQue（2-4 段階の推論）。
• プロトコル: データセットをクエリタイプでクラスタリングし、同じクラスタ内でクエリを逐次処理して、実行回数（1, 5, 10, ...）に対する精度とバリアンスを測定します。
• ベースライン比較:
  • Vanilla RAG（フィードバックなし）。
  • Reflexion（時系列ベースの自己反省）。
  • ReasoningBank（クエリ類似性ベースの戦略抽出）。
  • 提案手法の Ablation 研究（推論グラフのみ、検索グラフのみ、証拠中心 vs クエリ中心など）。

6. 意義と将来展望 (Significance & Future Work)

• 安全性とアライメント: 全ての決定がグラフ走査で追跡可能であるため、組織はエージェントの失敗を体系的に診断できます。
• 計算コストとリソース: 重み更新（微調整）が不要なため、計算コストが低く、カタストロフィック・フォージング（破滅的忘却）のリスクがありません。
• モデル間転移: 高性能モデルで蓄積された推論グラフを、低コストのモデルでも利用可能（証拠プロファイルはモデル非依存のコンテキストであるため）。
• 将来の課題:
  • 結果シグナル（Outcome Signal）のノイズへの耐性。
  • 分布シフト（Query Type の変化）への適応。
  • 文書同定（同じ事実が異なる表現で書かれている場合の統合）の課題。

結論:
この論文は、エージェントの「記憶」を単なるテキストの蓄積ではなく、構造化された「証拠と推論の関係性」として捉え直すことで、再学習なしに高精度かつ安定した推論を実現する新しいパラダイムを提示しています。