🤖 machine learning

LoongReflect: Boosting Long-Horizon Reflection in Search Agents via Global Perspective Distillation

LoongReflectは、リフレクションをメモリ制御ポリシーとして定式化し、局所的なリフレクションの決定をグローバルなタスク結果に整合させるためのデュアルチャネル蒸留メカニメントを採用することで、結果ベースの強化学習における疎な教師信号の課題を克服し、探索エージェントにおける長期的推論を強化するトレーニングフレームワークである。

原著者： Zhixin Zhang, Xinke Jiang, Zhibang Yang, Weixuan Xu, Guohong Qiu, Xu Chu, Junfeng Zhao, Yasha Wang

公開日 2026-08-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhixin Zhang, Xinke Jiang, Zhibang Yang, Weixuan Xu, Guohong Qiu, Xu Chu, Junfeng Zhao, Yasha Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、意欲に満ちたロボットに、大規模で多段階の謎解きを教える場面を想像してみてください。このロボットは、大規模言語モデル（LLM）によって動かされており、何百万冊もの本を読み、質問を投げかけ、手がかりを繋ぎ合わせることができる探偵のような存在です。しかし、ここに一つ問題があります。探偵が途中で行き詰まったり、間違った手がかりを追ったりしたとき、自分自身ではそれに気づかず、支離滅裂な内容を章ごと書き進めてしまうことがよくあるのです。AIの世界では、これを「ロングホライゾン・リーズニング（長期的推論）」と呼びます。これは、単に一歩を踏み出すだけでなく、長い旅路を計画する能力のことです。

大きな問題は、「待てよ、自分は間違った方向に進んでいる。引き返そう」と言わせるようにロボットを教えることが、非常に難しいという点です。通常、ロボットは物語の最後にしか成績をもらえません。「謎を解けました！」あるいは「失敗しました」といった具合に。もしロボットが3時間前にミスをしていたとしても、その特定の瞬間が問題だったのだとは分からないのです。それは、学生が期末試験で悪い成績を受け取りながら、どの宿題が原因でその結果になったのか全く分からない状態に似ています。この論文は、まさにそのフラストレーションに取り組んでいます。どうすればAIに、自分の仕事を見直し、エラーを特定し、プロジェクト全体を台無しにする前に「元に戻す（Undo）」ボタンを押せるように教えられるのか、という課題です。

ここで、AIエージェントを自己修正可能な探偵へと変貌させるために設計された新しい学習フレームワーク、LoongReflectをご紹介します。北京大学の研究者たちは、AIが複雑なパズルを解くためには、単なる「やり直し」ボタン以上のもの、つまり、自らの思考プロセスを一時停止し、考え、書き直すための構造化された方法が必要であることに気づきました。

AIの思考プロセスを、直線ではなく、**巨大で可逆的な「木（ツリー）」**として考えてみてください。AIが問題を探索するにつれ、枝が成長していきます。ほとんどの場合、AIは一つの枝を進み、事実を集めていきます。しかし、時には行き止まりに突き当たったり、つじつまの合わない手がかりを見つけたりすることもあります。これまでは、AIはその間違った手がかりを引きずったまま突き進み、物語全体を崩壊させてしまうことがありました。LoongReflectは、AIに2つのスーパーパワーを与えます。それが（内省）と（バックトラック）です。

というアクションは、探偵が地図を確認するために立ち止まるようなものです。AIはこう問いかけます。「自分が確実に知っていることは何か？何が足りないのか？この枝は安全か？」単に推測するのではなく、証拠を要約し、リスクを特定します。もし探偵が間違った道にいると気づいたら、アクションを使用します。これは単に最後の文章を消去することではありません。最後の安全なチェックポイントまで時間を巻き戻し、混乱した間違った枝を切り落とし、「この道には二度と入らない」という小さな付箋を残すようなものです。そして、学んだ教訓を携えて、その安全な地点から再びスタートを切ります。

では、どのようにしてAIにこれを教えるのでしょうか？この論文では、厄介な「学習シグナルのジレンマ」を指摘しています。もしAIが最終的な答えに到達したときだけに報酬を与えると、AIは「どのように内省すべきか」についてほとんど助けを得られません。それは、車をクラッシュさせたときにクラクションを鳴らされるだけで、運転を学ぼうとしているようなものです。AIは、原因が曲がり角にあったのか、スピードだったのか、それとも雨のせいだったのかを知ることができません。

これを解決するために、著者たちは、まるで2人のコーチが協力して指導しているような、**「2チャンネル学習システム」**を構築しました。

速いコーチ（教師）： このコーチは、AIが動き出す前に、可能性のツリー全体と最終的な結果を見ることができる「特権的な」バージョンのAIです。このコーチは、生徒（AI）のローカルな枝を観察し、「おい、ここで重要な手がかりを無視しているぞ」とか「今、バックトラックすべきだ」と指示します。重要なのは、このコーチは最終的な答えを教えないことです（これにより、AIが推論プロセスをスキップしてしまうのを防ぎます）。代わりに、どのように考え、いつ引き返すかというヒントだけを与えます。これにより、AIの内省スキルに対して、密度が高く即時的なフィードバックを提供します。
遅いコーチ（結果）： このコーチは、旅の最後まで待ちます。そして、最終的な結果を見て、「素晴らしい、パズルを解けたね！」あるいは「失敗だ」と告げます。この最終スコアを用いて、AIの局所的な決定が、現実の世界で実際に成功につながるかどうかを確認します。

魔法は、これら2人のコーチが連携するときに起こります。「速いコーチ」は局所的な論理に基づいて方向を提案し、「遅いコーチ」は、その方向が実際に勝利につながるかどうかをチェックします。もし両者が意見を食い違った場合、システムは巧妙な「先読み（look-ahead）」手法を用いて、速いコーチの提案を調整し、AIを誤った方向へ導かないようにします。これは、ショートカットを提案するGPSに対し、交通管制官がそのショートカットが本当に目的地への到着を早めるかどうかをチェックするようなものです。

結果は有望です。研究者たちは、困難な多段階の質問（複数の文書に隠された特定の事実を見つけるなど）や数学の問題を用いてLoongReflectをテストしました。その結果、この手法で訓練されたエージェントは、他のトップレベルのAIエージェントを一貫して上回ることが分かりました。例えば、30億パラメータのモデルにおいて、平均スコアは約31%から46%以上に跳ね上がりました。さらに印象的なことに、この読解タスクで学習したスキルは、見たこともない数学の問題にも転移しました。これは、AIが単に答えを暗記したのではなく、真の意味で「内省の技術」を学んだことを示唆しています。

要約すると、LoongReflectは、AIエージェントに、立ち止まり、自らのエラーを診断し、間違いを綺麗に元に戻すための構造化された方法を与えることで、現在彼らを立ち往生させている複雑で長期的な問題を解決する能力を大幅に向上させられることを示しています。これは、AIを「ただ歩き続けるだけのロボット」から、「いつ立ち止まり、考え、別の道を探すべきかを知っている探偵」へと進化させるのです。

技術要約: LoongReflect

問題提起

大規模言語モデル（LLM）エージェントは、プランニング、ツール利用、メモリ管理を伴う複雑なタスクを解決するために、長期的な推論（long-horizon reasoning）にますます依存するようになっています。これらの設定における極めて重要な能力は、**リフレクション（内省）**です。すなわち、軌跡の進捗を評価し、欠落している証拠や信頼性の低い中間状態を特定し、現在の推論ブランチを継続するか、修正するか、あるいは放棄するかを決定する能力です。

効果的なリフレクションの学習は、以下の2つの根本的な課題によって阻害されています：

学習シグナルのジレンマ（The Learning-Signal Dilemma）: リフレクションによる決定の価値は、多くの後続のアクションによって媒介され、最終的なタスクの結果を通じてのみ明らかになります。結果ベースの強化学習（RL）は、これらの中間決定に対して、疎で遅延しており、帰属が弱い監督を提供します。逆に、リフレクションに対して明示的な中間報酬を割り当てることは、「報酬ハッキング（reward hacking）」を招きやすく、タスクの成功を向上させることなく、表層的または過剰なリフレクションを助長する恐れがあります。
ローカルとグローバルの視点の乖離（The Local–Global Perspective Gap）: リフレクションは現在の推論ブランチの文脈（ローカル）から行われますが、その真の有用性は、そのブランチが完全な軌跡（グローバル）にどのように寄与するかによって決まります。ローカルなリフレクターは、ブランチを継続、修正、または放棄することが、最終的な結果を改善するかどうかを直接観察することはできません。

既存のアプローチは、リフレクションをローカルな判断として扱うか、あるいは長期的なアウトカムと整合しない監督シグナルに依存しており、リフレクションを軌跡レベルの制御メカニズムとして学習することに失敗しています。

手法: LoongReflect

LoongReflectは、リフレクションを長期的なエージェントのための明示的な**メモリ制御ポリシー（memory-control policy）**として定式化する学習フレームワークです。これは、可逆的な軌跡ツリー構造と、2チャネルの最適化メカニズムを通じて上述の課題に対処します。

1. メモリ制御フレームワーク

エージェントは、アクティブな実行パス（ $P_t$ ）と圧縮されたワーキングメモリ（ $m_t$ ）を持つ、可逆的な軌跡ツリー（ $T_t$ ）上で動作します。

明示的なアクション: エージェントは、実行アクション（推論、ツール利用、回答）と、制御アクションを選択します：
- <reflect>: 検証された事実を要約し、欠落している証拠を特定し、ブランチ固有のリスクを評価することで、アクティブな状態を診断します。これは、構造化された決定（continue または backtrack）を出力します。
- <backtrack>: 現在のブランチが信頼できないと判断された場合のリカバリを実行します。汚染されたサフィックス（接尾辞）をアクティブなコンテキストから削除し、検証済みのプレフィックス（接頭辞）を復元し、将来のステップのための簡潔な「矯正的な教訓」（例：誤った仮定や制約）を保持します。
状態の分離: 非アクティブなブランチは、状態の汚染を防ぐためにアクティブなコンテキストから除外されますが、エラー診断とリフレクションによる監督のためにツリー内には保持されます。

2. 2チャネル最適化

ローカルとグローバルの不一致を解消するために、LoongReflectは、先読み型（look-ahead）のextrargradientスタイルの更新を介して調整される、2つの補完的な学習チャネルを採用しています。

ファストチャネル（ローカル蒸留）:
- 目的: リフレクションの決定に対して、密でローカルに情報に基づいた監督を提供すること。
- メカニズム: 特権的なEMA教師（EMA Teacher）（同じポリシーを用いて訓練されているが、グローバルな軌跡ツリーと最終的なアウトカムへのアクセスを持つ）が、**回答マスクされた構造化ヒント（answer-masked structured hints）**を生成します。これらのヒントは、最終的な回答を明かすことなく、状態（検証された証拠、リスク、復帰ポイント）を診断します。
- 損失: 学生（Student）は、<reflect> および <backtrack> トークンに限定されたマスクされた逆KLダイバージェンス目的関数を通じて学習し、ローカルな制御決定を、グローバルに情報に基づいた教師の診断に適合させます。
スローチャネル（グローバル最適化）:
- 目的: ローカルな制御決定を最終的なタスクの成功に適合させること。
- メカニズム: 完全な軌跡に対して**グループ相対方策最適化（GRPO）**を使用します。これは、リフレクションおよびバックトラックの決定が、最終的なタスクの成功につながったかどうかを評価します。
- 損失: グループ相対アドバンテージに基づいてポリシーを最適化し、蒸留されたリフレクション行動が全体的なタスクの成功に寄与することを保証します。
先読み調整（Look-Ahead Coordination）:
- ファストチャネルは、ローカル蒸留に基づく更新方向（ $g_f$ ）を提案します。スローチャネルは、グローバルなアウトカムに対してこの方向を評価し、キャリブレーション方向（ $g_s$ ）を導出します。
- もし $g_f$ と $g_s$ が衝突する場合（すなわち、ローカルな改善がグローバルなパフォーマンスを損なう場合）、 $g_f$ の競合する成分を射影によって取り除きます。最終的な更新は、校正されたファスト方向とスロー方向を組み合わせ、ローカルな学習がグローバルな目的から逸脱しないようにします。

主な貢献

リフレクションをメモリ制御として定式化: 本論文は、リフレクションを自由形式のテキストとしてではなく、可逆的な軌跡ツリーに対する明示的かつ構造化された制御アクション（<reflect>, <backtrack>）としてモデル化することを提案し、体系的なエラーリカバリを可能にします。
2チャネル学習フレームワーク: 回答マスクされた教師による蒸留（密でグローバルに情報に基づいたローカルな監督のため）と、アウトカムベースのGRPO（軌跡レベルの適合のため）を組み合わせ、先読みメカニズムを介して調整する新しい学習パラダイムを導入します。
実証的検証: 本フレームワークは、複数のベンチマークにおいて、アウトカムのみのRLや自己蒸留ベースラインを上回る一貫した改善を示しています。

実験結果

実験は、Qwen2.5-3BおよびQwen2.5-7Bモデルを用い、7つの検索拡張生成（RAG）ベンチマークおよび数学的推論タスクに対して行われました。

パフォーマンス: LoongReflectは、すべてのベンチマークで最高のF1スコアを達成しました。
- Qwen2.5-3Bにおいて、平均F1スコア46.15%に達し、最強のベースラインであるAgenticRAG-R1を12.60ポイント上回りました。
- Qwen2.5-7Bにおいては、49.21%に達し、ベースラインを12.61ポイント上回りました。
汎用性: モデルは、**アウトオブドメイン（領域外）**の設定（例：Bamboogle, MuSiQue, Natural Questions）においても大幅な向上を示し、学習されたリフレクションポリシーが単にインドメインのタスクに過学習しているのではなく、学習された能力が汎化していることを示しました。
数学的推論への転移: MATHおよびGSM8K（非検索タスク）に適用した場合、LoongReflectはAgenticRAG-R1およびRLSDの両方を上回る性能を示しました。これは、学習された診断およびリカバリ行動が、外部検索を伴わない多段階推論にも有益であることを示唆しています。
アブレーション研究:
- <reflect> または <backtrack> を削除すると、大幅な性能低下（約13〜15 F1ポイント）が発生し、診断とリカバリの両方のメカニズムの必要性が確認されました。
- ファストチャネルまたはスローチャネル、あるいは先読み調整のいずれかを削除した場合も、一貫した性能低下が見られ、密なローカル監督とグローバルなアウトカム適合の相補的な性質が検証されました。

意義と主張

本論文は、LoongReflectが、リフレクション決定のローカルな性質と、その有用性のグローバルな性質との間の根本的なミスマッチに対処していると主張しています。リフレクションを構造化されたメモリ制御ポリシーとして扱い、2チャネル最適化フレームワークを利用することで、本手法は以下のようなエージェントの学習に成功しています：

状態の汚染や証拠の欠落をローカルに診断する。
バックトラックによって検証済みの状態へ**復帰（リカバリ）**する。
これらのローカルな制御決定を、長期的なタスクの成功に適合させる。

著者らは、このアプローチが、単純なアウトカムベースのRLやローカルな検証を超えて、明示的な状態管理とエラー訂正が可能なシステムを実現する、長期的なエージェントを訓練するための堅牢なソリューションを提供すると主張しています。結果は、構造化されたリフレクションが、グローバルに情報に基づいた蒸留とアウトカムの適合を通じて適切に監督されるとき、複雑で多段階の環境における信頼性の高いエージェント行動のための重要な要素であることを示唆しています。