AI Planning Framework for LLM-Based Web Agents

本論文は、LLM ベースの Web エージェントを従来の計画パラダイム（BFS、DFS など）に対応付ける分類体系を提案し、新しい評価指標とデータセットを用いて、タスクの成功率と技術的精度のトレードオフを明らかにする AI 計画フレームワークを確立したものです。

要約

🌟 1. 問題：AI は「黒箱」すぎて、なぜ失敗するか分からない

最近、AI（特に大規模言語モデル）は、人間に代わってウェブサイトを操作して買い物したり、情報を調べたりする「自律エージェント」として活躍し始めています。

しかし、AI が失敗したとき、**「なぜ失敗したのか？」が謎のままです。
まるで、「目的地にたどり着けなかった探検家が、地図も持たずにただ闇雲に歩き回っていた」**ような状態です。AI が頭の中でどう計画を立てているのか、なぜ迷子になったのかが見えない（黒箱状態）ため、改善が難しいのです。

🗺️ 2. 新しい視点：AI の計画スタイルを「地図の読み方」で分類する

著者たちは、AI の動きを**「古典的な地図の読み方（探索アルゴリズム）」**に例えて分類しました。これにより、AI の性格が一目でわかるようになります。

• 🚶 ステップ・バイ・ステップ型（BFS：幅優先探索）

  • 特徴: 「今、目の前にある選択肢を一つずつ見て、その場で決める」スタイル。
  • 例: 迷路に入ったら、**「右に行けるか？左に行けるか？」**をその場で確認しながら一歩ずつ進む探検家。
  • メリット: 状況の変化に柔軟に対応できる。
  • デメリット: 先が見えないので、遠回りしたり、ゴールを忘れたりしやすい（文脈の漂移）。

• 🌳 ツリー検索型（ベスト・ファースト探索）

  • 特徴: 「いくつかの未来の分岐点を想像して、一番良さそうな道を選びながら進む」スタイル。
  • 例: 複数のルートを描いた地図を頭の中で広げ、**「ここがゴールに近そうだな」**と推測しながら進む探検家。

• 📜 事前計画型（DFS：深さ優先探索）

  • 特徴: **「出発する前に、ゴールまでの全行程を完璧に計画してから動く」**スタイル。
  • 例: 出発前に**「A 地点→B 地点→C 地点→ゴール」**という詳細なルートマップを全部書き出し、それだけを信じてひたすら進む探検家。
  • メリット: 無駄な動きが少ない。
  • デメリット: 道中で予期せぬ工事（ウェブサイトの仕様変更など）が起きると、計画が崩壊して立ち往生しやすい。

📏 3. 新しい評価基準：「成功・失敗」だけじゃ測れない

これまでの評価は、「ゴールにたどり着けたか（成功）」「たどり着けなかったか（失敗）」の2 択だけでした。
でも、これじゃ不十分です。

• 「ゴールには着いたけど、余計なことを 100 回繰り返した」
• 「道に迷ったけど、自力で正しい道に戻ってきた」
• 「計画した通り動いたのに、最後のボタン押し忘れ」

これらを測るために、著者たちは**「AI の歩き方を評価する 5 つの新しいものさし」**を作りました。

1. 回復率: 道に迷った後、自力で正解の道に戻れるか？
2. 無駄歩き率: 同じ動作を繰り返して時間を無駄にしていないか？
3. ステップ成功率: 人間の「正解の歩き方」と比べて、どのくらい正確に動けたか？
4. 部分成功率: 全部はできなくても、必要な要素をいくつ拾えたか？（例：5 つのレビューのうち 4 つ取れたら合格？）
5. 要素精度: 「次にこうするつもりだ」と言ったことと、実際にやったことが一致しているか？

🧪 4. 実験結果：「計画派」と「その場派」の戦い

著者たちは、この新しい評価基準を使って、**「事前計画型 AI（自分たちで作った）」と「ステップ・バイ・ステップ型 AI（既存のもの）」**を戦わせました。

• 結果:
  • ステップ・バイ・ステップ型は、「人間の正解の歩き方」に近い動きをしました。迷っても戻ってくる力（回復力）が強く、全体として少しだけ多くのタスクを成功させました。
  • 事前計画型は、**「技術的な正確さ」は高かった（ボタンを間違うことが少ない）ですが、「計画が現実とズレると、そこから抜け出せない」**という弱点がありました。一度計画が狂うと、同じ失敗を繰り返したり、ゴールにたどり着けなかったりしました。

💡 5. 結論：「どんな仕事に、どんな AI を使うべきか」

この研究が教えてくれる最大の教訓は、**「万能な AI 戦略は存在しない」**ということです。

• 🌪️ 変化の激しい場所（SNS やクラウド管理画面など）
  • 状況が刻一刻と変わる場所では、**「ステップ・バイ・ステップ型」**が向いています。その場で状況を見て、柔軟に判断する必要があるからです。
• 🏢 決まりきった場所（EC サイトや企業システムなど）
  • 手順が固定されていて、ルールがはっきりしている場所では、**「事前計画型」**が向いています。事前に完璧なマニュアルを作っておけば、効率的に動けるからです。

🎁 まとめ

この論文は、AI をただの「魔法の箱」ではなく、**「計画の立て方によって得意不得意が異なる探検家」**として捉え直しました。

これからは、**「どんなタスクを任せるか」によって、「その場で考える AI」か「事前に計画する AI」**かを使い分けることで、より賢く、失敗の少ないウェブエージェントを作れるようになるでしょう。

技術概要

論文要約：LLM ベースの Web エージェントのための AI プランニングフレームワーク

この論文は、大規模言語モデル（LLM）を用いた自律型 Web エージェントの開発と評価における課題を解決するため、タスクを「逐次意思決定プロセス」として形式的に扱い、従来の AI プランニング理論と現代のエージェントアーキテクチャを結びつける新しいフレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

• 現状の課題: LLM エージェントは複雑なユーザーリクエストを解釈できますが、その意思決定プロセスは「ブラックボックス」化しており、なぜ失敗したのか、どのように計画しているのかを診断することが困難です。
• 評価の限界: 既存の Web エージェントの評価（WebArena や MiniWoB など）は、タスクの成否（Success/Fail）という二値的な結果に依存しています。これでは、エージェントがどのように行動し、計画の質がどうだったか（例：文脈の逸脱、非効率的な手順、部分的な成功など）を把握できません。
• 計画の欠如: 多くの LLM エージェントは、現在の状態に基づいて即座に反応する「反応的」なアプローチを取っており、長期的な視点や事前の計画が不足しているため、タスクの分解が不整合になったり、目標を見失ったり（コンテキストドリフト）する傾向があります。

2. 提案手法とフレームワーク

2.1 計画に基づく Web エージェントの分類体系（タクソノミー）

著者は、現代の LLM エージェントアーキテクチャを、従来の AI プランニングのパラダイムにマッピングする分類体系を提案しました。

1. ステップ・バイ・ステップ・エージェント（Step-by-Step Agents）:
   • 対応するアルゴリズム: 幅優先探索（BFS）
   • 特徴: 現在の状態に基づき、即時に実行可能なアクション候補を生成し、その中から 1 つを選択して実行します。深さ 1 の探索に限定され、長期的な計画よりも即時的なフィードバックを重視します。
2. ツリーサーチ・エージェント（Tree Search Agents）:
   • 対応するアルゴリズム: 最良優先探索（Best-First Search）
   • 特徴: 探索木を維持し、複数の分岐を評価しながら先読みを行います。価値関数（Value Function）を用いて、ゴールに最も近いと予測されるノードを優先的に展開します。
3. 全計画事前策定エージェント（Full-Plan-in-Advance Agents）:
   • 対応するアルゴリズム: 深さ優先探索（DFS）
   • 特徴: 実行前にゴールまでの完全な行動シーケンス（計画）を生成します。実行中は、この事前計画に従って行動します。もし状態が計画と乖離した場合、失敗するか、完全な再計画が必要です。
   • 新規実装: 既存の Web エージェントには純粋な「全計画事前策定」の実装が存在しないため、著者はこれを新規に実装しました。

2.2 新規評価指標の提案

タスクの成否だけでなく、実行軌道（Trajectory）の質を評価するための 5 つの新しい指標を提案しました。これらは、人間が作成した「ゴールド標準（正解）」の軌道と比較して計算されます。

1. 回復率（Recovery Rate）: 計画から逸脱した後、人間が取るべき次のステップに再度戻って成功する能力を測定します。
2. 反復率（Repetitiveness Rate）: 直前のアクションと同じアクションを繰り返す割合（非効率性を示す）を測定します。
3. ステップ成功率（Step Success Rate）: エージェントの行動軌道が、人間のゴールドステップとどの程度一致しているかを測定します。
4. 部分成功率（Partial Success Rate）: 複数の要素が必要なタスクにおいて、最終出力が要件の何割を満たしているかを測定します。
5. 要素精度（Element Accuracy Rate）: エージェントが「計画した行動」と「実際に実行した行動」が一致しているかを測定します（LLM の推論と実行のギャップを捉えます）。

2.3 データセットの構築

評価を可能にするため、WebArena ベンチマークの 812 タスクのうち、794 タスクについて人間が手動で実行し、すべての手順を記録した「ゴールド標準軌道データセット」を構築しました。

3. 実験と結果

著者は、既存の WebArena エージェント（Step-by-Step 型）と、新規に実装した「全計画事前策定エージェント」を比較実験しました。

• 全体成功率:
  • Step-by-Step エージェント: 38.41%
  • Full-Plan-in-Advance エージェント: 36.29%
  • 結果: 全体としては、Step-by-Step 型の方がわずかに高い成功率を記録しました。
• 詳細な指標での比較:
  • ステップ成功率: Step-by-Step (82%) > Full-Plan (58%)。事前計画型は人間の思考プロセスとズレが生じやすく、不要なステップや欠落したステップが多かった。
  • 要素精度: Full-Plan (89%) > Step-by-Step (82%)。事前計画型は、計画した要素を正確に特定・実行する能力に優れていました。
  • 回復率: Step-by-Step (36%) > Full-Plan (31%)。逸脱からの復旧能力は Step-by-Step 型の方が高い。
  • 反復率: Full-Plan (19% の反復) < Step-by-Step (21% の反復)。事前計画型は同じ行動を繰り返す傾向が少なかった。

考察:

• Step-by-Step 型: 動的で予測不可能な Web 環境（例：GitLab、Reddit）において、現在の状態を常に見て適応するため、回復力が高く、人間の軌道に近い行動をとる。
• Full-Plan-in-Advance 型: 構造化され予測可能な環境（例：EC サイト、CMS）では、事前のロードマップが有効に働く。技術的な精度（要素の特定）は高いが、計画が現実の UI 変化に対応できず、実行段階で失敗したり、早期終了したりする傾向がある。

4. 論文の意義と貢献

1. 理論的枠組みの確立: LLM エージェントの多様なアーキテクチャを、従来の AI プランニング（BFS, DFS, Best-First Search）の用語で体系的に分類し、開発者と研究者間の共通言語を提供しました。
2. 診断と改善のツール: 単なる成否だけでなく、なぜ失敗したのか（計画の欠陥か、実行の誤りか、コンテキストドリフトか）を特定するための評価指標群を提供しました。
3. 高品質なデータセット: 人間による詳細な軌道データ（794 件）を公開し、エージェントの行動分析を可能にしました。
4. 実用的な知見: 「どのようなタスクにどの計画戦略が適しているか」を示唆しました。
   • 動的・非決定論的な環境 → Step-by-Step（BFS）が適している。
   • 構造化・予測可能な環境 → Full-Plan-in-Advance（DFS）が適している。

結論

この論文は、LLM ベースの Web エージェントの「ブラックボックス」化を解き、その計画プロセスを可視化・定量化するための重要な基盤を築きました。今後の Web エージェント開発において、タスクの性質に応じて適切なアーキテクチャを選択し、より堅牢で効率的なエージェントを構築するための指針となります。