🤖 AI

Learning to Explore: Scaling Agentic Reasoning via Exploration-Aware Policy Optimization

本論文は、LLM エージェントが探索を要する高不確実性シナリオと実行に適した明確な文脈を適応的に区別することを可能にする探索意識型強化学習フレームワークを提案し、それによってテキストベースおよび GUI ベースのエージェントベンチマークにおいて一貫した性能向上を達成する。

原著者： Xingyuan Hua, Sheng Yue, Ju Ren

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xingyuan Hua, Sheng Yue, Ju Ren

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「学習して探索する：探索意識型方策最適化によるエージェント推論の拡張」と題された論文を、平易な言葉と日常的な比喩を用いて解説します。

大きな問題：「推測して確認する」罠

あなたが新しい部屋で複雑なパズルを解こうとしているが、一度に全体像を見ることはできないと想像してください。あなたは歩き回り、物を触り、引き出しを開けて、ピースがどこに収まるのかを突き止めなければなりません。

現在の AI エージェント（賢いコンピュータプログラム）は、周囲を見回すことを恐れている人のようです。彼らは訓練によって、まっすぐにゴールへ急ぐように教えられています。もし 100% 何をするべきか確信が持てない場合、彼らは以下のいずれかを行います：

諦めて、誤った推測をする。
目的もなく彷徨い、答えがすでに分かっている場合でも部屋のすべての引き出しを開け、時間とエネルギーを浪費する。

この論文は、人間の方がこれに優れていると主張しています。私たちが不確かなときは、立ち止まり、手がかりを集めるために周囲を見回してから、行動を起こします。もし間違いを犯せば、一歩引き戻して別の道を試すことができます。現在の AI はこれを自然に行うことに苦労しています。

解決策：EAPO（「賢い探検家」）

著者たちは、EAPO（Exploration-Aware Policy Optimization：探索意識型方策最適化）と呼ばれる新しい訓練手法を開発しました。EAPO を、AI に**「探索、記憶、行動」という 3 段階のダンス**を教えるコーチだと考えてください。

それがどのように機能するか、簡単な概念に分解して説明します。

1. 「バックパック」と「ノート」（記憶と探索）

AI をハイカーだと想像してください。

バックパック（記憶）： AI は「バックパック」を持ち、そこで見たすべてを書き留めます。ドアを開けて赤い壁を見つけたら、ノートに「ドアの向こうに赤い壁」と書き込みます。
「探索」モード： AI が混乱しているとき、ただ推測するわけではありません。「探索モード」に切り替えます。「このドアの向こうが何なのか分からない。中を覗いて、ノートに書き込み、それから出てこよう」と言うのです。

この論文では、AI が明示的に以下を書き留める特別な形式を導入しています：

：「このボタンをチェックして何が起こるか確認しよう」
：「わかった、チェックした。ライトが点いた。それを覚えておこう」
：「ライトが点いていることが分かったから、今、緑のボタンを押そう」

2. 「タイムトラベル」のトリック（ロールバック）

これが最も魔法のような部分です。多くのビデオゲームでは、罠にハマると死んで、レベルの最初からやり直しになります。それはイライラさせられ、非効率です。

この論文は、AI に**タイムトラベル（ロールバック）**の方法を教えます。

AI が経路を探索し、「ああ、それは間違ったドアだった」と気づいたとき、パニックになりません。
ウェブブラウザの「戻る」ボタンのように、「戻る」ボタンを使って、間違いを犯す前の正確な場所へ瞬時に戻ります。
重要なのは、探索中に取ったメモを保持することです。「赤いドアを試したが、施錠されていた。だから二度と試さない」と覚えているのです。

これにより、探索は「行き止まり」から「学習の機会」へと変わります。

3. 「賢い報酬」システム

AI が永遠に彷徨うことなく探索するように教えるには、どうすればよいでしょうか。良い報酬システムが必要です。

従来の方法： AI はタスクを完了したときのみ報酬を得ます。探索は報酬を遅らせるだけなので無駄だと学習します。
EAPO の方法： AI は有用な情報を収集したことに対して「ボーナス点」を得ます。
- AI が引き出しを見て鍵を見つけると、まだ鍵を使っていなくても報酬を得ます。
- AI が引き出しを見て何も見つからなかった場合、時間を浪費したとして小さなペナルティを受けます。
- これにより、AI は選択的に行動することを学びます。「何か役立つものが見つかるかもしれない場合のみ探索する」と。

実験で何が起きたか？

研究者たちは、この「賢い探検家」を 4 種類の異なる課題でテストしました：

テキストベースのタスク： レシピに従うことや、テキストアドベンチャーゲームを解くこと。
オンラインショッピング： ウェブサイトで特定のアイテムを見つけること。
モバイルアプリ（Android）： 設定を変更するために電話のメニューを操作すること。
デスクトップコンピュータ（OS）： ファイルを開き、ウィンドウを移動させるためにコンピュータを使用すること。

結果：

性能の向上： EAPO で訓練された AI は、他の AI 手法よりもはるかに多くのタスクを解決しました（場合によっては成功率が 20% から 60% 向上）。
小さなモデル、大きな脳： EAPO で訓練された非常に小さな AI モデル（20 億パラメータ）は、この手法を使わないはるかに大きく高価なモデルよりも優れたパフォーマンスを発揮しました。これは、脳の大きさだけでなく、どのように考えるかが重要であることを証明しました。
適応性： AI は混乱しているときのみ探索することを学びました。答えが分かっているときは素早く行動し、迷っているときは立ち止まって手がかりを集めました。

結論

この論文は、AI エージェントに好奇心を持ちつつも規律ある態度を教えることができることを示しています。盲目的に推測したり、慌ててすべてをクリックしたりする代わりに、彼らは以下を学ぶようになります：

不確かなときは立ち止まる。
情報を収集する（探索）。
それを書き留める（記憶）。
間違いを犯せば一歩引き戻す（ロールバック）。
その新しい知識を使って正しい行動をとる。

これは、「美術館はどこだ！？」と叫んで街中を走り回る観光客と、地図を確認し、地元の人に尋ね、道順をメモしてから、自信を持って目的地へ歩く賢い旅行者の違いです。

技術的サマリー：学習による探索：探索意識型方策最適化を通じたエージェント的推論のスケーリング

問題定義

最近のエージェント的テスト時スケーリングの進展により、大規模言語モデル（LLM）は最終的な行動を決定する前に環境からのフィードバックを収集できるようになり、デプロイ中に多段階の推論を可能にしています。しかし、既存の手法は決定的な限界に直面しています。すなわち、画一的な探索戦略を採用している点です。現在の手法は通常、探索と行動選択を単一の方策内で混同しており、探索が真に必要となる場面を適応的に区別する能力を欠いています。その結果、エージェントはよく理解された状態であっても無差別な探索を行い、低価値な情報を蓄積して重要なシグナルを曖昧にしてしまいます。逆に、未知の状態では十分に探索できず、最適ではない意思決定に至ることがあります。核心的な課題は、エージェントに不確実性に基づいて相互作用ステップを適応的に割り当てることを教え、情報収集を目的とした探索が必要となる場面と、直接的な目標追求で十分となる場面を区別させることです。

手法

本論文は、エージェントが適切な状態において選択的に探索を行い、獲得した情報を意思決定に活用することを可能にする**探索意識型方策最適化（EAPO）**というフレームワークを提案します。この手法は以下の 3 つの主要な構成要素からなります。

1. 探索と記憶を伴う推論モード

推論プロセスを構造化するために、著者はエージェントが明示的に生成する特定の出力形式を導入します。

探索ガイダンス（ $e_t$ ）： どのような情報を収集し、どの候補行動を取るかを指定する構造化された戦略。
累積的記憶（ $m_t$ ）： 過去の相互作用と新たに観測された状態から抽出されたタスク関連情報の要約。
実行可能な行動（ $a_t$ ）： 最終的に実行される行動。

この分離により、エージェントは実行にコミットする前に環境のダイナミクスについて熟考することができ、訪問した状態の永続的なログを維持することで、獲得した情報の再利用を容易にします。

2. 変分推論による微細な報酬モデリング

高価なオンラインロールアウトに依存せずに価値ある探索を促すため、著者は探索行動の有用性を評価する報酬関数を設計します。

ベイズ的視点： この手法は、探索と記憶を潜在変数として扱います。現在の状態、探索戦略、および記憶に基づいたタスク成功の事後確率に基づき、ベイズ探索報酬を定義します。
変分代理変数： 真の事後分布は扱いが困難であるため、最適な探索 - 記憶構成の分布を近似するように学習可能な変分代理変数 $q_\phi$ を訓練します。
報酬の定義： 報酬 $R_{explore}$ $R_{e x pl or e}$ は以下の最大値として定義されます。
1. 即時の活用（既存の記憶を使用）の有用性。
2. 能動的な探索（新たに観測された状態を記憶に組み込む）の有用性。これは遅延を罰し、過度な保守性を防ぐために $\gamma^2$ で割引されます。
総報酬： 最終的な報酬は、タスク成功シグナル、構造化された出力を確保するフォーマット報酬、および探索報酬の重み付き組み合わせです。

3. 探索意識型 2 段階トレーニング戦略

探索の存在下におけるクレジット割当と方策最適化の課題に対処するため、EAPO は 2 段階のアプローチを採用します。

ステージ 1：ロールバックの学習（SFT）： エージェントは、探索行動が望ましくない状態に導いた後に、以前の状態へ「ロールバック」する（例：「戻る」ボタンをクリックする）能力を獲得するために、専門家データセット上で教師あり微調整を受けます。これにより、探索は終局的なリスクではなく、可逆的な行動として扱われます。
ステージ 2：探索意識型方策最適化（GRPO）： 著者は、グループ相对方策最適化（GRPO）を修正し、訪問深度（ $\kappa$ ）をクラスタリング基準として導入します。遷移は状態だけでなく、エージェントがその状態を再訪問した回数によってもグループ化されます。これにより、探索行動は、同じグループ内の最終実行ステップと比較されるのではなく、同様の情報段階にある他の行動と比較されるため、探索価値の過小評価を防ぎます。

主要な貢献

探索意識型フレームワーク： 画一的な探索戦略を超え、エージェントにいつ探索し、いつ実行するかを明示的に教える新しい方策最適化手法。
変分報酬モデリング： 高計算コストを伴うオンライン軌道サンプリングを回避しつつ、安定した報酬シグナルを提供する、変分推論を用いた探索行動の有用性を定量化する体系的なアプローチ。
構造化された推論と記憶： 情報収集と状態要約をエージェントの推論ループに直接統合する、明示的な <explore> タグと <memory> タグの導入。
訪問深度に基づくグループ化： 状態が訪問された頻度に基づいて遷移をクラスタリングし、アドバンテージ推定を安定化させるメカニズム。これにより、探索フェーズと活用フェーズ間の公平な比較が保証されます。
ロールバック機能： 探索中の誤りを回復可能にする教師ありロールバックメカニズムの統合により、探索を安全で可逆的なプロセスにすること。

実験結果

著者は、テキストベースの ALFWorld と WebShop、および GUI ベースの AndroidWorld と OSWorld という 4 つの困難な環境において EAPO を評価しました。

性能向上： EAPO は、すべての環境において、GRPO、DAPO、GiGPO、LAMER、および各種クローズドソースモデルを含む強力なベースラインを一貫して上回りました。既存の手法に対する改善幅は 20% から 60% でした。
モデル効率： EAPO でトレーニングされた 2B スケールのモデル は、はるかに大規模な汎用モデルやエージェントモデル（例：72B パラメータモデル）と同等かそれ以上の性能を達成し、効果的な探索戦略がパラメータ規模を補完できることを示しました。
適応的行動： 分析により、EAPO でトレーニングされたエージェントは適応的な探索を示すことがわかりました。不確実な状態では探索度を高め、環境を学習するにつれて選択的な探索に収束し、無差別な試行錯誤を回避します。
汎化能力： AndroidWorld でトレーニングされたモデルは、わずかな性能低下のみで未見の OSWorld 環境へ効果的に汎化し、学習された探索方策がドメイン不変であることを示唆しました。
効率性： この手法は、標準的な GRPO に比べてトレーニングオーバーヘッドが約 30% 増加するのみ（主に変分報酬モデルのトレーニングによる）でありながら、代替手法が必要とする高価なオンラインサンプリングを回避しました。推論時間は探索により modest に増加しましたが（平均して最大 10 ステップ追加）、割引因子によって制御されています。

意義と主張

本論文は、EAPO がエージェント的テスト時スケーリングにおいて重要な前進を代表すると主張しています。探索の有用性を明示的にモデル化し、情報収集と意思決定を分離することで、このフレームワークはエージェントに以下を実現させます。

不確実性についての推論： エージェントは、現在の状態や記憶が意思決定に不十分であると特定し、積極的に情報を求めることを学びます。
リソース配分の最適化： エージェントは既知の状態での冗長な探索に相互作用ステップを浪費することを避け、新しいシナリオでは重要なデータを効果的に収集します。
堅牢な汎化の実現： 適応的に探索する能力により、エージェントは環境固有の再トレーニングを必要とすることなく、分布外環境（例：更新された UI レイアウト）に対処できます。

著者は、いつ、どのように探索するかを学習することが、意思決定の質と環境理解を大幅に向上させる基本的な能力であり、単にモデルパラメータをスケーリングするよりも効果的であることが多いと結論付けています。この研究は、ヒューリスティックまたは画一的な探索戦略を超え、エージェント的 LLM の推論プロセスに探索を統合するための体系的なフレームワークを提供します。