🤖 AI

PIVOT: Bridging Planning and Execution in LLM Agents via Trajectory Refinement

PIVOT は、計画、検査、進化、検証という四段階のプロセスを通じて候補軌道を反復的に洗練させることで、LLM エージェントにおける計画と実行の間のギャップを埋める自己教師ありフレームワークであり、計算コストを大幅に削減しながら最先端のパフォーマンスを達成します。

原著者： Tuo Zhang, Alin-Ionut Popa, Yan Xu, Rui Song, Dimitrios Dimitriadis

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tuo Zhang, Alin-Ionut Popa, Yan Xu, Rui Song, Dimitrios Dimitriadis

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、PIVOT論文の解説を、シンプルな概念と日常的な比喩に分解して説明したものです。

大きな問題：「昼寝をするシェフ」

非常に頭の良いシェフ（AI エージェント）を雇い、ディナーパーティーのために複雑なコース料理を作らせると想像してください。

計画： シェフは座って、美しく詳細なメニューを書き、必要なすべての食材をリストアップします。紙の上では完璧に見えます。
現実： 料理を始めると、要求された特定の魚が手に入らない、オーブンが故障している、あるいはワインの買い忘れに気づきます。調理中にキッチンを確認しなかったため、彼らは元の計画に従い続けます。結果はどうなるでしょうか？焦げた料理か、注文と合わない料理です。

AI の世界では、これを計画と実行の不一致と呼びます。AI は素晴らしい計画を立てますが、実際の作業（ウェブ検索や飛行機の予約など）を始めると、予測していなかった障害に直面します。計画を修正するために止まるのではなく、そのまま進み続け、誤りが積み重なって最終的にタスク全体が失敗してしまいます。

解決策：PIVOT（Plan–Inspect–eVOlve Trajectories）

著者たちはこれを修正するための新しいシステム、PIVOTを開発しました。PIVOT は単に速く料理するシェフではなく、常に作業を確認し、メインのシェフがリアルタイムで調整できるよう支援する賢いサブシェフだと考えてください。

PIVOT は、ループのような 4 つの簡単なステップで機能します。

1. PLAN（青写真）

AI が検索エンジンや電卓などのツールに触れる前に、構造化された計画を立てなければなりません。

比喩： これは、シェフが食材店に行く前に、何を買って、どの順序で買うかを正確に書き留めるようなものです。何かうまくいかない可能性（例：「もし店にサーモンがなければ、マスを買う」）について考えなければなりません。

2. INSPECT（味見）

AI が計画をステップごとに実行する際、「これは実際にうまくいったか？」と一時停止して確認します。

比喩： シェフが各ステップの後にソースを味見すると想像してください。ソースが塩辛すぎたら、食事の終わりを待って気づくのではなく、すぐに誤りを発見します。
魔法： もし何かうまくいかなかった場合、PIVOT は単に「エラー」と言うだけではありません。探偵のように、ミスから逆方向に作業し、計画が軌道から外れた正確な瞬間を見つけ出します。「なぜこれが失敗したのか？」「どのステップが原因だったのか？」と問いかけます。

3. EVOLVE（ピボット）

エラーが見つかったら、AI は料理全体を捨てません。壊れた部分だけを修正します。

比喩： シェフが魚が腐っていることに気づいたら、キッチン全体を燃やして最初からやり直すのではなく、魚を別のタンパク質に交換し、前菜とサラダはそのままにします。
仕組み： AI は機能した計画の部分（「検証済みの接頭辞」）を保持し、失敗した部分（「未サポートの接尾辞」）だけを書き換えます。この書き換えを導くために、「味見」からのフィードバックを使用します。

4. VERIFY（最終品質チェック）

最終的な答えを提供する前に、AI は元のルールに対して最後のチェックを行います。

比喩： ウェイターが食事をテーブルに運ぶ前に、ヘッドシェフがチケットを最終確認します。「ベジタリアンオプションは含まれていますか？プレゼンテーションは正しいですか？ナプキンを忘れていませんか？」これにより、急ぎの中で小さな詳細を見逃さないようにします。

なぜ他の方法より優れているのか？

他の AI 方法は、しばしば以下の方法でミスを修正しようとします。

より頑張る： AI に考える時間をより与える（これは往々にして、より混乱した思考につながる）。
最初からやり直す： ステップが失敗したら、計画全体を捨ててゼロから再試行する（時間とお金の無駄）。
硬直的すぎる： 特定の課題に合わない厳格なチェックリストを使用する。

PIVOT が異なる点は以下の通りです：

外科的である： 壊れた部分だけを修正し、時間と労力を節約します。
混乱から学ぶ： 単に推測するのではなく、実際の失敗を使って「テキスト勾配」（エラーを修正する方法に関する具体的な指示を意味する、少し大げさな表現）を作成します。
効率的である： この論文によると、PIVOT は同じかそれ以上の結果を得るために、他の方法よりも3 倍から 5 倍少ない「トークン」（AI が思考し、話すために使用する通貨）を使用します。これは、食料品代の半分であらゆる完璧な食事を得るようなものです。

結果

研究者たちは、PIVOT を 2 種類の難しいタスクでテストしました。

旅行とショッピング： 予算、日付、特定のホテルなどの厳格なルールに従った複雑な旅行の計画。
一般的な質問： ツールを使用してオープンエンドな問題を解決すること。

発見：

人間の助けがある場合： AI が行き詰まったときに人間がフィードバックを与えると、標準的な方法と比較して、PIVOT は成功率を最大**94%**向上させることができます。
人間の助けがない場合： AI が自律的に自己修正しなければならない場合でも、他の AI エージェントよりもはるかに良く機能し、しばしば大幅に上回ります。
コスト： これらの結果を、競合他社よりもはるかに少ない計算能力で達成しています。

まとめ

PIVOT は、AI エージェントに計画を立て、作業を確認し、壊れた部分だけを修正し、最終結果を再確認することを教えるフレームワークです。これにより、AI が悪い計画を盲目的に追従することを防ぎ、代わりに動的に適応できるように支援します。その結果、AI はより信頼性が高く、効率的になり、複雑な現実世界のタスクを処理する能力を備えるようになります。

技術的サマリー：PIVOT – 軌道最適化による LLM エージェントにおける計画と実行の架橋

1. 問題定義

大規模言語モデル（LLM）ベースのエージェントは、一見整合性のある計画を生成するが、実行中に失敗することが頻繁にある。この計画と実行の不一致は、実行不可能なアクション、誤った状態仮定、または環境との相互作用によってのみ明らかになる制約違反に起因する。重要なのは、これらのエラーが長期にわたって累積し、計画の残りを修復不可能にする連鎖的な失敗を誘発することである。

既存の改善手法は、軌道レベルの最適化視点が欠如しているため、この問題を包括的に解決できていない。診断手法は失敗を事後に特定するだけで、基盤となる計画を最適化しない。反復的改善手法は、完全な軌道ではなく、しばしば局所的な推論ステップを修正するに留まる。また、進化的手法は、実行結果に起因する損失を直接最適化することなく、候補軌道を検索する。完全な軌道を最適化可能な対象として扱い、実行フィードバックを更新シグナルに変換するメカニズムが必要である。

2. 手法：PIVOT フレームワーク

著者は、離散的かつ言語で定義された空間における反復最適化として軌道最適化を定式化する、自己教師ありフレームワークPIVOT（Plan–Inspect–eVOlve Trajectories：計画・検証・軌道進化）を提案する。このフレームワークは、4 つの段階からなる閉ループとして機能する。

A. 問題定式化

PIVOT は、3 つのエラー源を組み合わせる軌道レベルの目的関数 $L(\tau)$ を定義する。

目標達成損失（ $\ell_G$ ）： 望ましい終端結果の達成失敗を測定する。
計画と実行の乖離（ $D$ ）： 計画された軌道と実際の実行トレースの不一致を定量化する。
実行コスト（ $C$ ）： 非効率的な実行（例：過剰なツール呼び出し）にペナルティを課す。

離散的な言語軌道には正確な勾配が存在しないため、PIVOT は TextGrad に着想を得た構造化された自然言語フィードバック（テキスト勾配）を用いて、勾配 $\partial L / \partial \tau$ を近似する。

B. 4 つの段階

PLAN（軌道生成）：
エージェントは環境と相互作用する前に、明示的かつ構造化された候補軌道 $\tau$ を生成する。この段階では、エージェントが目標、ツール選択、依存関係、失敗時の代替案を明確に述べることを強制し、後続の段階のための「設計図」として機能する。
INSPECT（後方乖離分析）：
エージェントは計画を実行してトレース $\hat{\tau}$ を生成する。INSPECT モジュールは後方分析を行い、実行が計画から乖離する最初の因果的な破綻点（ $i^\star$ ）を特定する。
- 特定の軌道ステップにエラーを帰属させるテキスト勾配 $g(\tau)$ を計算する。
- **ヒューマン・イン・ザ・ループ（HITL）**設定では、人間のフィードバックを使用する。
- 自己教師あり設定では、LLM をジャッジとして用い、結果と中間行動に関する構造化フィードバックを提供する。
- 出力は、失敗点を特定し、次の段階に対する実行可能な指示を含む修復シグナルである。
EVOLVE（局所軌道修復）：
テキスト勾配に導かれ、EVOLVE モジュールは軌道を更新する。重要なのは、これは局所的に動作することである。検証済みの接頭辞（ $\tau_{\le i^\star}$ ）を保持し、サポートされていない接尾辞のみを書き換える。これにより、正しい作業を破棄することを回避する。
- 更新は単調受入則の対象となる。新しい軌道 $\tau'$ は、推定目的関数が改善された場合（ $\hat{L}' \prec \hat{L}$ ）にのみ受容される。これにより、ノイズの多いフィードバックからの劣化を防ぐ。
VERIFY（グローバル制約検証）：
最終確定前に、VERIFY モジュールは元のタスク仕様とユーザー制約に対するグローバルチェックを実行する。これにより、中間的な改善が意図せず元のタスク要件に違反することを防ぐ。

3. 主要な貢献

軌道レベルの最適化： PIVOT は、エージェントの完全な軌道を最適化可能な対象として扱い、局所的なステップごとの修正に依存するのではなく、実行フィードバックを構造化された更新シグナルに変換する。
離散空間のためのテキスト勾配： このフレームワークは、構造化された自然言語フィードバックを用いて局所更新を導くことで、微分不可能な言語軌道に対する勾配の概念を適応させる。
単調受入： 優先度ベースの規則により、軌道の品質が反復を通じて非減少であることを保証し、モデルの微調整を必要とせずに安定性を提供する。
効率性： このフレームワークは計算効率的に設計されており、ゼロから完全な軌道を再生成するのではなく、単一の軌道をインラインプロンプトで誘導する。

4. 実験結果

PIVOT は、DeepPlanning（長期の旅行およびショッピング計画）およびGAIA（オープンドメインのツール使用）で評価された。

性能：
- HITL 体制： 人間のフィードバックを用いた PIVOT は強力な上限を確立し、DeepPlanning における制約満足度でベースラインに対して最大約 94% の相対改善を達成した。
- 自律体制： 完全自律型（HITL なし）は、20 のモデルベンチマークセルのうち 12 で、Self-Critique や AgentDebug などの最強の非 PIVOT ベースラインを大幅に上回った。また、20 のすべてのセルで ReACT を上回った。
- モデル非依存性： Qwen3、Claude 4.5/4.6 など、さまざまな基盤モデルで改善が観察された。これは PIVOT が単に弱いモデルを補うだけでなく、基盤モデルのスケーリングを補完することを示している。
効率性：
- PIVOT は、競合する改善手法（Self-Critique、SE-Agent、AgentDebug）と比較して、トークン効率で 3〜5 倍優れている。
- 長い失敗トランスクリプトに基づいて完全な軌道を再生成する必要があるベースラインとは異なり、PIVOT はオーバーヘッドを制限されたまま単一の軌道を誘導し、エラー発生時に現在のコンテキスト内でエージェントを方向転換させる。
アブレーション研究：
- VERIFY段階を除去すると、最も大きな性能低下（平均 -13.3%）が生じ、最終的な制約検証の重要性が浮き彫りになった。
- PLANまたはEVOLVEを除去しても、著しい劣化が生じ、強力な初期化と乖離に導かれた修復の両方が必要であることを確認した。
- 構造化された改善なしに単に「思考予算」（拡張思考）を増加させても性能は向上せず、問題は推論の「量」ではなく「配分」であることを示唆している。

5. 意義と主張

本論文は、PIVOT が自律エージェントシステムにおける計画と実行のギャップを緩和するための原理的な手法であると主張している。その意義は以下の点にある。

ギャップの解消： 反復的かつフィードバック駆動型の改善を通じて、意図された行動と実現された行動の間の体系的な乖離に直接取り組む。
信頼性： 単調な改善とグローバルな制約検証を強制することで、より安全で信頼性の高い自律システムを生み出す。
効率性： 既存の手法と比較して、はるかに低い計算コストで高品質な軌道最適化が達成可能であることを示す。
解釈可能性： 軌道における最初の因果的な破綻を局所化することで、解釈可能な失敗帰属を提供する。

著者は、PIVOT が制約駆動型の長期設定において信頼性を大幅に向上させる一方で、コンテキストの劣化、オープンドメインタスクにおける検索ボトルネック、および基盤モデルの固有の推論能力といった制限に依然としてさらされていると結論づけている。彼らは、実世界での展開におけるガードレールの必要性と、継続的な評価の重要性を強調している。