ViPlan: A Benchmark for Visual Planning with Symbolic Predicates and Vision-Language Models

本論文は、視覚的計画における記号ベースのアプローチと直接 VLM を用いたアプローチを比較評価するための初のオープンソースベンチマーク「ViPlan」を提案し、ブロックワールドのような正確な画像接地が重要な領域では前者が優位である一方、家庭用ロボティクスのような言語的知識が活きる領域では後者が優位であることを実証しています。

要約

🍳 料理の例え：2 人のシェフと 1 つのキッチン

この研究では、AI に「キッチンで料理を作る（タスクを達成する）」ことをさせます。その際、2 つの全く異なるアプローチ（シェフのタイプ）を比べました。

1. 「直感のシェフ」 (VLM-as-planner)

• どんな人？ 目の前の食材（画像）を見て、「あ、これとこれを混ぜれば美味しそう！」と直感的に次の行動を決める人。
• 特徴: 言葉の知識（「卵は割る」「火を通す」といった一般的な知識）を駆使して、画像から直接「次に何をするか」を提案します。
• 弱点: 料理中に「あ、卵が割れて床にこぼれた！」という予期せぬ事態が起きると、混乱して同じ失敗を繰り返したり、何をすべきか見失ったりしやすいです。

2. 「厳格な監督と助手」 (VLM-as-grounder)

• どんな人？ まず**「助手（AI）」がキッチンの状況を詳しく観察し、「卵は割れたか？」「フライパンは熱いか？」といった事実（記号）を正確にメモします。そのメモを「監督（古典的な計画アルゴリズム）」**に渡し、監督が「では、次の手順はこれだ」と論理的に計画を立てます。
• 特徴: 状況を正確に把握し、論理的に正しい手順を踏みます。
• 弱点: 厨房が広すぎて（複雑すぎて）、助手が「どこに何があるか」を全部見逃したり、間違った情報をメモしたりすると、監督が間違った計画を立ててしまいます。

---

🧱 2 つのテスト会場

研究者たちは、この 2 つのシェフを 2 つの異なる場所でテストしました。

1. 積み木の世界 (Blocksworld)

   • 状況: 色とりどりの積み木を、ルールに従って積み上げる単純なゲーム。
   • 結果: 「厳格な監督と助手」の圧勝！
   • 理由: ここでは「積み木がどこにあるか」を正確に見極めることが全てです。直感よりも、事実を正確に読み取る能力が求められました。

2. 家事ロボットの世界 (Household)

   • 状況: 実際の家のような複雑な環境で、食器を洗ったり、本を棚に並べたりするタスク。
   • 結果: 「直感のシェフ」の圧勝！
   • 理由: 家は複雑で、見えない場所（引き出しの中など）もあります。ここでは「引き出しを開ければ中身が見える」といった**一般的な常識（言語知識）**が役立ちます。厳格な監督は「見えないものは分からない」というルールに縛られすぎて失敗しましたが、直感のシェフは「多分ここにあるだろう」と推測して成功しました。

---

💡 重要な発見：「考える時間」は必要？

最近の AI には**「思考の連鎖（Chain-of-Thought）」という、答えを出す前に「まずこう考えて、次にこうして…」と独り言のように reasoning（推論）させる**テクニックがあります。

• 実験結果: 残念ながら、この「独り言」をさせたからといって、必ずしも上手くなるわけではありませんでした。
• 理由: 複雑な視覚的なタスクでは、AI が独り言を言い始めると、**「同じことを繰り返して思考がループ」したり、「考えるだけで時間切れ（トークン制限）」**になって、肝心の行動ができなくなることが多かったのです。まるで、料理中に「まず卵を…」と独り言を言いすぎて、結局卵を割るのを忘れたような状態です。

---

🏁 まとめ：どっちが勝者？

この研究が伝えたかったことは、**「万能な AI 計画手法は存在しない」**ということです。

• **ルールが厳格で、視覚的な事実が全ての世界（積み木など）では、「事実を正確に読み取り、論理的に計画する」**方法が最強です。
• **複雑で、常識や推測が必要な世界（家事など）では、「画像を見て直感的に行動する」**方法の方が、柔軟に成功します。

この「ViPlan」という新しい実験ツールは、今後の AI 開発者が「自分の AI はどちらのタイプに向いているか」を判断し、より良いロボットや AI を作るための道しるべになるでしょう。

一言で言えば：
「積み木なら論理的な監督が、家事なら直感的なシェフが活躍する。AI にも得意不得意があるんだね！」というのがこの論文の結論です。

技術概要

ViPlan: 視覚的記号述語と視覚言語モデルを用いた視覚計画のためのベンチマーク

この論文は、ViPlan（Visual Planning）と名付けられた、初のオープンソースの視覚計画ベンチマークを提案するものです。この研究は、視覚言語モデル（VLM）を「記号プランナーの基盤（Grounding）」として利用するアプローチと、VLM を「直接プランナー」として利用するアプローチを、同一の環境とプロトコル下で厳密に比較評価することを目的としています。

以下に、論文の技術的な概要を問題定義、手法、主要な貢献、結果、および意義に分けて詳細にまとめます。

---

1. 問題定義と背景

従来の自動化計画（Automated Planning）は、環境の状態を記号論理（PDDL: Planning Domain Definition Language）で表現し、記号プランナーがアクションの列を生成する手法です。しかし、現実世界では状態を直接観測できないため、VLM を用いて画像から状態を推論する必要があります。

近年、VLM を計画に活用する手法として主に 2 つのアプローチが提案されていますが、これらを公平に比較するベンチマークが存在しませんでした。

1. VLM-as-Planner（VLM プランナー）: VLM が直接、視覚入力から次のアクションや計画全体を生成する。
2. VLM-as-Grounder（VLM 基盤化）: VLM を用いて、記号プランナー（PDDL）が使用する述語（Predicates）の真偽を画像から判定し、記号プランナーに状態を渡す。

既存のベンチマークは、直接的な VLM プランニングに特化していたり、非公開のデータセットやクローズドソースモデルを使用していたりするため、どちらのアプローチがどのような状況で優れているかを体系的に評価することが困難でした。

2. 手法と実験設定

2.1 ViPlan ベンチマークの構築

ViPlan は、2 つの異なる視覚ドメインで構成されています。これらは、それぞれ異なる推論要件と課題を提示するように設計されています。

• ViPlan-Blocksworld (ViPlan-BW):
  • 古典的なブロックスタッキング問題の視覚版。
  • 特徴: 完全に観測可能（Fully Observable）、抽象的な論理推論が中心。
  • 課題: ブロックの位置関係や「上に載っているか」などの述語を正確に視覚的に特定する必要がある。
• ViPlan-Household (ViPlan-HH):
  • iGibson 2.0 シミュレータ上の家庭用ロボットタスク（ナビゲーション、把持、配置など）。
  • 特徴: 部分的に観測可能（Partially Observable）、複雑な物理的相互作用と自然言語の文脈が重要。
  • 課題: 隠れた物体の存在、到達可能性、物体の識別など、視覚的曖昧さへの対応が必要。

各ドメインには、Simple、Medium、Hard の 3 つの難易度レベルがあり、それぞれ 25 タスク（計 150 タスク）が含まれます。

2.2 評価対象モデルと手法

• モデル: 21 種類のオープンソース VLM（InternVL, Qwen, LLaVA, Gemma など）と、比較のために 3 種類のクローズドソースモデル（GPT-4.1, GPT-5.2 など）を評価しました。
• 手法のバリエーション:
  • VLM-as-Planner: 計画全体を生成する（Plan）、次のアクションを生成する（Action）。それぞれに CoT（Chain-of-Thought）プロンプトを加えた変種を含む。
  • VLM-as-Grounder: 述語の列挙（Predicate Enumeration）を行い、アクションの前提条件と効果を検証する（Ground）。これに CoT や、失敗時の記憶（Memory）を追加した変種も評価しました。

3. 主要な貢献

1. 初のオープンソース比較ベンチマーク: VLM-as-Planner と VLM-as-Grounder を同一条件で比較可能な、最初のオープンソースベンチマーク ViPlan を公開しました。
2. ドメインごとの明確なトレードオフの発見:
   • ViPlan-BW（視覚的基盤化が重要）: VLM-as-Grounder が大幅に優位（タスク解決率 46% vs 9%）。
   • ViPlan-HH（言語的推測が重要）: VLM-as-Planner が大幅に優位（タスク解決率 34% vs 5%）。
3. CoT プロンプトの限界の示唆: 視覚計画タスクにおいて、CoT プロンプトは多くの場合、パフォーマンスを向上させず、むしろトークン制限の超過や論理の破綻を招き、性能を低下させることが示されました。
4. 失敗モードの定性的分析: 両アプローチ特有の失敗パターン（基盤化の幻覚、計画の一貫性の欠如、構文解析エラーなど）を詳細に分析し、今後の改善点を提示しました。

4. 結果と分析

4.1 ドメインごとの性能差

• ViPlan-BW（ブロックワールド）:
  • VLM-as-Grounder が圧倒的に優れています。このドメインでは、視覚情報が明確であり、VLM が「ブロックが動けるか」「積み重なっているか」といった述語を正確に判定（Yes/No 質問）できれば、強力な記号プランナーが最適な計画を生成できるためです。
  • 一方、VLM-as-Planner は、視覚的状態を内部で維持・推論する能力が不足しており、特に複雑なタスクで失敗しました。
• ViPlan-HH（家庭ロボット）:
  • VLM-as-Planner が優れています。このドメインでは、視覚情報が不完全（部分的観測）であり、VLM が事前知識（言語的プリア）を用いて「おそらくここにある」「おそらく開いている」と推測することで、記号プランナーが扱えない曖昧さを補完できるためです。
  • VLM-as-Grounder は、部分的観測による曖昧さや、多数の述語を検証する必要があるため、誤判定が蓄積（Compounding Errors）し、性能が著しく低下しました。

4.2 Chain-of-Thought (CoT) の影響

• 多くのモデルと手法において、CoT を追加しても一貫した性能向上は見られませんでした。
• 特に Plan + CoT 手法では、ViPlan-HH で性能が 39% から 23% へ低下しました。これは、モデルが思考プロセスに時間をかけすぎ、トークン制限に達して計画を完了できなくなる「過剰思考（Overthinking）」や、思考ループに陥る現象が原因であると分析されています。

4.3 失敗モードの分析

• VLM-as-Planner: 実行不可能なアクションの繰り返しや、出力形式（JSON）の破綻が主な失敗原因でした。
• VLM-as-Grounder: 前提条件の誤判定（例えば、動けるブロックを動けないと判断する、またはその逆）が致命的でした。特に ViPlan-HH では、視点による曖昧さや、複数の物体が類似している場合の識別ミスが性能を阻害しました。

5. 意義と結論

ViPlan は、VLM を用いた視覚計画における現在の技術的限界と可能性を浮き彫りにしました。

• アプローチの選択: 環境が明確で視覚的基盤化が容易なタスク（例：ブロック積み）では、VLM-as-Grounder（記号プランナーとの連携）が有効です。一方、視覚情報が不完全で、文脈や常識的推論が重要なタスク（例：家庭内ロボット）では、VLM-as-Planner（直接生成）の方が適していることが示されました。
• CoT の限界: 現在の VLM は、視覚的推論において CoT を効果的に活用できず、むしろ複雑な推論タスクではパフォーマンスを低下させる傾向があることが示されました。
• 今後の展望: 本研究は、視覚的曖昧さと記号的厳密さの両方を兼ね備えた、より頑健な計画手法の開発の必要性を訴えています。ViPlan はオープンソースとして公開されており、新しい VLM や計画手法の評価基盤として利用可能です。

この研究は、単にモデルの性能を比較するだけでなく、「視覚的知覚」と「論理的推論」をどのように統合すべきかという、自律エージェント開発における根本的な課題に対する重要な知見を提供しています。