Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective

LLM ベースの Web エージェントの失敗要因を特定するため、高レベル計画・低レベル実行・再計画の 3 層からなる階層的計画の視点で分析し、構造化された計画言語が戦略を改善しても実行段階の認識と制御の課題がボトルネックとなっていることを明らかにしました。

要約

この論文は、**「AI がネットサーフィンをしようとして、なぜいつも失敗してしまうのか？」**という疑問に答える研究です。

AI（大規模言語モデル）に「Amazon で安い本を探してカートに入れて」と頼むと、人間なら簡単にできることでも、AI は途中で迷子になったり、間違ったボタンを押したりして失敗することが多いです。

この研究では、その失敗の原因を「3 つの階層（レイヤー）」に分けて詳しく分析しました。まるで、**「料理のレシピ作成」「実際の調理」「味見と修正」**という 3 つのステップに分けて、シェフのスキルを評価するようなものです。

以下に、この研究の核心をわかりやすく解説します。

---

🏗️ 3 つの階層：AI の「頭」と「手」の役割

研究者たちは、AI の行動を以下の 3 つに分けて考えました。

1. 高レベルの計画（頭脳・レシピ作成）

   • 役割: 「まず本を検索し、次に価格順に並べ替え、最後に一番安いものを選ぶ」といった大きな目標を立てる部分です。
   • 例: 料理で言えば「パスタを作る」という全体像を決めること。

2. 低レベルの実行（手・実際の調理）

   • 役割: 計画に基づいて、実際にマウスをクリックしたり、文字を入力したりする具体的な行動です。
   • 例: 「鍋にお湯を注ぐ」「パスタを投入する」といった細かい動作。

3. 再計画（味見と修正）

   • 役割: 途中で「あ、お湯が沸いていない！」や「パスタが切れてしまった！」といった予期せぬ事態が起きたとき、計画を修正してやり直す能力です。

---

🔍 発見された 3 つの大きな問題

この 3 つのステップを詳しく見てみたところ、以下のようなことがわかりました。

1. 「頭脳」は結構いいけど、「手」が不器用

AI は「何をすべきか」という大きな計画（レシピ）は、人間とあまり変わらないレベルで立てられることがわかりました。
しかし、「実際に画面を操作する（調理）が最大の弱点でした。

• 比喩: AI は「美味しいパスタの作り方」を完璧に説明できる料理評論家ですが、実際に包丁を持ったり火加減を調整したりする料理人としての技術が未熟なのです。
• 結果: 計画は完璧でも、ボタンを間違えて押したり、存在しないリンクをクリックしたりして失敗します。

2. 「言葉」より「図解」の方が計画は上手

AI に計画をさせる際、普通の言葉（自然言語）で指示するよりも、PDDL（計画ドメイン定義言語：機械が読みやすい構造化された言語）を使うと、計画がよりシンプルで的確になりました。

• 比喩: 普通の言葉で「パスタを作ってください」と言うと、AI は「まず水を用意して、沸騰させて、麺を入れて…」と余計なことを考えすぎて混乱します。しかし、PDDL という「型にはまった形式」で指示すると、「水→沸騰→麺」という必要な手順だけがすっきりと浮かび上がります。

3. 「やり直し」が成功の鍵

一度失敗したからといって諦めるのではなく、「失敗した原因を分析して、計画を修正する（再計画）を行うと、成功率が劇的に上がりました。

• 比喩: 料理中に焦がしてしまったら、「次は火を弱めて、少しだけ時間を短くしよう」と学習して修正することで、最終的に美味しい料理が作れるようになります。AI も同じで、一度失敗して「あ、ここがダメだった」と気づけば、次は成功する可能性が高まります。

---

💡 この研究から得られる教訓

この論文が私たちに教えてくれるのは、「AI の『頭脳（論理的思考）ということです。

• これまでの課題: 研究者たちは「AI が最終的にタスクを完了できたか？」だけを見て評価していました。
• 新しい視点: 「計画は立てられたか？」「実行は正しかったか？」「失敗から学べたか？」をプロセスごとに分けて評価する必要があります。

結論として:
AI を人間のように信頼できるネットサーファーにするためには、ただ「賢くする（計画能力を高める）」だけでは不十分です。「画面をよく見る力（知覚）と、「失敗しても冷静にやり直す力（適応力）を鍛えることが、次のステップとして最も重要だと示唆しています。

---

まとめ

この論文は、AI の失敗を「全体像」ではなく「細かいステップ」に分けて解剖し、**「頭はいいけど手が不器用」という弱点を浮き彫りにしました。これにより、今後の AI 開発は、単なる「賢さ」だけでなく、「実際の操作の精度」と「失敗からの回復力」**に焦点を当てるべきだという道筋を示しました。

技術概要

論文「Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective」の技術的サマリー

本論文は、大規模言語モデル（LLM）を基盤とした Web エージェントが、現実的な長期タスクにおいて人間のような信頼性を達成できない理由を解明するため、**階層的計画（Hierarchical Planning）**の視点からエージェントの失敗を分析する研究です。既存の評価が「タスクの成否」という結果のみを重視し、失敗の根本原因を特定できないという課題に対し、計画・実行・再計画の 3 層構造でエージェントを分解・評価する新しいフレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義を詳細にまとめます。

---

1. 問題定義 (Problem)

LLM ベースの Web エージェントは、e コマース取引の管理や企業ポータルのナビゲーションなど、日常のオンライン作業の自動化に有望視されています。しかし、動的で複雑な現実の Web サイトにおける長期タスク（Long-horizon tasks）では、依然として人間の信頼性に遠く及んでいません。

既存の研究の主な限界は以下の点にあります：

• 粗い評価指標への依存: 多くの研究が「エンドツーエンドの成功率」のみを指標としており、失敗がどこで発生したのか（高レベルな戦略の欠陥、低レベルな実行の誤り、環境変化への適応不足など）を特定できません。
• 失敗モードの不明確さ: 計画の誤解、実行の失敗、リカバリの欠如など、どの段階で問題が起きているかを区別して分析する枠組みが不足しています。

2. 手法 (Methodology)

著者らは、Web エージェントの能力を**「高レベル計画（High-level Planning）」「低レベル実行（Low-level Execution）」「再計画（Replanning）」**の 3 つの階層に分解する評価フレームワークを提案しました。

2.1 評価フレームワークの構成

1. 高レベル計画: 自然言語の指示から、抽象的なサブゴールのシーケンス（例：「価格でフィルタリングし、結果をソートする」）を生成する能力。
2. 低レベル実行: 生成されたサブゴールを、具体的な UI 操作（クリック、スクロール、入力など）の列に変換し、実行する能力。
3. 事後条件チェック（Postcondition Checking）: 実行されたアクションがサブゴールの達成に成功したかを LLM を用いて判定し、次のステップへ進むか、再計画をトリガーするかを決定する。
4. 再計画: 環境が期待と異なる場合（ページが読み込まれない、検索結果が異なるなど）に、元の計画を修正するか、ゼロから再構築する能力。

2.2 実験設定

• ベンチマーク: Mind2Web-Live ベンチマーク（104 件のリアルな Web タスク）を使用。専門家が注釈付けた「キーノード」をゴールドスタンダードの高レベル計画として利用。
• モデル: gpt-5-nano, claude-haiku-4.5, gemini-flash-2.5 の 3 種類の LLM を評価。
• 計画表現の比較:
  • 自然言語 (NL): 自由形式のテキストによる計画。
  • PDDL (Planning Domain Definition Language): 構造化された形式言語による計画（事前条件と効果の明示）。
• アクション空間: 拡張されたアクション空間（google_search, goto, click など）と、制限されたプリミティブな UI アクション（click, type など）の両方を検証。

3. 主要な貢献 (Key Contributions)

1. 階層的評価フレームワークの提案: Web エージェントの失敗を、計画、実行、リカバリの 3 つの層に分解して診断する体系的なアプローチを確立。
2. PDDL の有効性の実証: 自然言語に比べ、構造化された PDDL 表現を用いることで、より簡潔で目的指向の高い計画が生成されることを示した。
3. ボトルネックの特定: 高レベルな推論能力ではなく、「知覚的グラウンディング（Perceptual Grounding）」と「適応的な制御」、すなわち低レベル実行の能力が現在の最大限のボトルネックであることを明らかにした。
4. 再計画の重要性: 探索的なフィードバックに基づいた 1 回の再計画が、サブゴールの達成率と全体のタスク成功率を大幅に向上させることを実証。

4. 結果と分析 (Results & Analysis)

4.1 高レベル計画 (High-level Planning)

• PDDL の優位性: PDDL で生成された計画は、自然言語（NL）に比べて人間が作成した計画との整合性が高く、冗長なステップ（分解されたステップや一致しないステップ）が少なかった。
• 実行可能性: PDDL 計画は人間が作成した計画に近い実行可能性を示したが、NL 計画は過度に詳細化され、実行不可能な仮定を含みやすい傾向があった。

4.2 低レベル実行 (Low-level Execution)

• 主要なボトルネック: 正確な高レベル計画が与えられても、LLM エージェントはそれを正しく低レベルのアクションに変換できず、計画完了率は約 38.5%、タスク成功率は 36.4% に留まった。
• 失敗モード:
  • 幻覚（Hallucination）: 存在しないリンクや要素を操作しようとする。
  • 冗長性: 状態変化のないアクションを繰り返す（34% のアクションが DOM 変化なし）。
  • ドメイン外への逸脱: 意図しないサイトへ移動したり、Google 検索で結果を得ようとしてターゲットサイトから離脱したりする。
• モデル間比較: gemini-flash-2.5 は計画はコンパクトだが実行能力が最も低く、gpt-5-nano が最も高性能だった。

4.3 再計画 (Replanning)

• 効果: 1 回の再計画により、サブゴール達成率が大幅に向上した（例：PDDL 計画で 70.3% → 93.3%）。
• 計画の整合性: 再計画を行うと、人間が作成した計画との構造的な整合性（Perfect Match）は若干低下するが、**「実行可能性」**は向上する。つまり、環境を探索した後に生成された計画は、より現実的で実行しやすいものになる。

5. 意義と示唆 (Significance & Implications)

本論文は、Web エージェントの信頼性向上に向けた以下の指針を示しています：

1. 計画と実行の分離: 高レベルな抽象化能力と、低レベルな知覚・制御能力は異なるスキルであり、それぞれを独立して評価・改善する必要がある。
2. 知覚的グラウンディングの強化: 現在の最大の課題は「何を見るか（知覚）」と「どう動くか（制御）」のミスマッチである。より豊富な状態表現とフィードバック活用メカニズムの設計が不可欠。
3. 不確実性を考慮したアクション空間: 確実な UI 操作を強要するのではなく、不確実性を明示したり、再計画をトリガーするアクションを含めるべき。
4. プロセスベース評価の標準化: エンドツーエンドの成功率だけでなく、計画・実行・再計画の各段階でのプロセス評価が、エージェントの改善に向けた精密な診断に必要である。

結論

LLM ベースの Web エージェントの失敗は、主に「高レベルな推論」ではなく、「低レベルな実行（知覚と制御）」の限界に起因しています。構造化された計画言語（PDDL）の導入や、再計画メカニズムの活用は有効ですが、最終的にはエージェントが動的な Web 環境を正確に知覚し、適応的に制御する能力の向上が、人間レベルの信頼性を達成するための鍵となります。