コンピュータが写真を見て、そこに何があるかだけでなく、そこをどのように移動すべきかまで理解できる世界を想像してみてください。これは、読み書きと推論の能力に「見る」能力を組み合わせた新世代の人工知能、マルチモーダル大規模言語モデル（MLLM）が約束する未来です。これらのシステムは、すでに画像を説明したり、写真に関する質問に答えたり、視覚的なパズルを解いたりすることを学習しています。しかし、彼らの知識には空白があります。単純な経路を進むことはできても、刻一刻と変化する特定の指示によって経路が遮られたとき、彼らは苦戦します。現実の世界では、自動運転車やロボットの助手は、単に地点Aから地点Bへの道を見つけるだけでなく、「赤信号では左折しない」や「濡れた床を避ける」といった、絶えず変化する一連のルールに従わなければなりません。現在のモデルは、ルールを厳格な制約としてではなく単なる提案として扱ったり、次の動きを計画する際にルールを完全に忘れてしまったりすることが多く、ここで失敗することがよくあります。
なぜこれがこれほど難しいのかを理解するために、研究者のYu Chen氏と北京大学およびYinwang Intelligent Technologyのチームは、「RuleMaze」と呼ばれる新しいテスト環境を作成しました。彼らは迷路で満たされたデジタル環境を構築しましたが、これらは単なる壁と空きスペースのパズルではありませんでした。各迷路には、キャラクターがどのように動けるかを正確に規定する、平易な英語で書かれた独自の自然言語ルールが付随していました。ルールの中には、「ピンク色のマスを踏んではいけない」といった単純なものもあれば、「オレンジ色のマスの上に立っている場合は、次のステップは上方向に進まなければならない」のように、キャラクターがどこにいたかを記憶したり、現在の場所に基づいて行動を変えたりする必要がある複雑なものもありました。研究者たちは、人間が書いたルールを自動的に厳格で機械検証可能な論理へと変換する手法を用いて、数千ものシナリオを生成しました。これにより、人工知能が、以前見たパターンに基づいて正しい経路を推測しているのではなく、視覚的な空間をナビゲートしながら、真にルールを理解し遵守できるかどうかをテストすることが可能になりました。
チームは、強力なモデルに対して迷路を見て移動リストを書き出すよう単純に求めるだけでは、特にルールが新しい場合や複雑な場合には、うまくいかないことを発見しました。ルールが変わると、モデルは指示を忘れたり、気づかないうちにルールに違反したりすることがよくありました。これを解決するために、研究者たちは「分離型マルチモーダルプランニング（Disentangled Multimodal Planning）」と呼ばれる新しい考え方を提案しました。モデルに、画像を見ること、ルールについて考えること、そして次のステップを決定することを一度にすべて行わせるのではなく、タスクを3つの別々の明確な仕事に分解したのです。第一に、モデルはツールを使用して迷路を観察し、自分がどこにいるか、近くにどのような特殊な記号があるかを特定します。第二に、モデルはツールを使用して移動を試み、新しい画像がどのようになるかを確認します。そして第三に、最も重要なこととして、モデルは専用のツールを使用して、今行った移動がルールに従っているかどうかをチェックします。このチェック用ツールは厳格な審判のように機能し、モデルが次に進むことが許可される前に、あらゆるステップに対して即座に「イエス」または「ノー」を突きつけます。
このアプローチは結果を劇的に変えました。テストにおいて、この新手法により、モデルは未経験のタスクにおいても90パーセントの成功率でルールに従うことができました。これは、新しいルールに対して完全に失敗することもあった従来のメソッドと比較して、大幅な改善です。研究者たちは、モデルが毎ステップごとに自分の作業をチェックすることを強制されると、一連の行程を頭の中で計画しようとして各ステップの検証を怠ることで起こる種類のミスをしなくなることを発見しました。モデルは立ち止まり、ルールを確認し、動きをチェックし、それから進むことを学習したのです。これは、ルールが困難であったり、複数の条件を含んでいたり、あるいは途中で拾ったアイテムを記憶しておく必要があったりする場合でも機能しました。この研究は、人工知能が複雑でルールに基づいた環境において真に信頼できるものとなるためには、単なる賢い推測者であってはならず、ナビゲートしている世界の制約に対して自身の行動を検証させるシステムを備えていなければならないことを示唆しています。見る行為、動く行為、そしてチェックする行為を分離することで、研究者たちは、機械が以前では到達できなかったレベルの規律を持って指示に従うことができることを示したのです。
技術要約：マルチモーダル大規模言語モデルのためのルール準拠型視覚空間プランニング
1. 問題定義
マルチモーダル大規模言語モデル（MLLM）は、視覚的推論と言語理解において顕著な能力を示している。しかし、その**ルール準拠型の視覚空間プランニング（rule-compliant visual spatial planning）**を行う能力については、まだ十分に探求されていない。この特定の能力には、エージェントが以下の事項を同時に行うことが求められる：
- 複雑な視覚的空間レイアウトの知覚。
- 明示的な自然言語によるルール（動的、あるいは未学習のルールを含む）の解釈。
- これらの制約を厳格に遵守した多段階のアクションプランの生成。
現在のベンチマークや手法は、制約のないプランニングを想定しているか、あるいは外部のルール遵守を強制することなく単一の目的を最適化することに焦点を当てていることが多い。自動運転の新しい規制環境や、エンボディド・インテリジェンス（身体性を持つ知能）のような実世界のアプリケーションでは、固定されたグローバルな目的ではなく、変化するコンテキスト固有の制約の下でエージェントを動作させる必要がある。既存のアプローチは、以下の理由によりこれらに苦戦している：
- データの希少性： 実世界のシーンでは、動的に変化するルールセットに対する正解のアクションシーケンス（ground-truth action sequences）が提供されることは稀であり、教師あり学習はコストが高く、スケールさせることが困難である。
- 手法的な限界： エンドツーエンドの定式化では、知覚、実行、およびルール推論が絡み合っている。これにより、モデルが多段階の制約や未知のルールに遭遇した際に、脆弱な挙動を示すことになる。なぜなら、ルールが変わるたびに、モデルは安定した能力を再学習しなければならないからである。
2. 手法
本論文では、評価のための制御可能なベンチマークと、分離されたプランニングフレームワークという二段構えの解決策を提案している。
2.1 RuleMaze：制御可能なベンチマーク
体系的な評価の欠如に対処するため、著者らはプロシージャルに生成された迷路とルールのペアであるRuleMazeを導入する。
- 言語–論理–関数ハイブリッド化： 手動によるエンジニアリングなしでスケーラブルなルール構築を可能にするため、著者らは以下のパイプラインを提案している：
- ルールの着想（Rule Ideation）： LLMが、多様で言語的に豊かな自然言語のルール（例：「オレンジ色のゾーンにいる場合は、上に移動せよ」）を生成する。
- 論理的定式化（Logical Formalization）： ルールは、構造化された論理表現（例：Zone(t,orange)→Move(t,up)）へと翻訳される。
- バリデータ合成（Validator Synthesis）： LLMは、候補となる軌跡が論理的ルールを満たしているかどうかを検証する、実行可能なPython関数（バリデータ）を自動的に生成する。
- 制約ベースのヒューリスティック・マッチング： ルールが意味を持つ迷路とルールを組み合わせるための戦略が採用されている。迷路がルールに対して選択されるのは、以下の条件を満たす場合のみである：
- そのルールが有効な軌跡の集合を制限していること（限定性：Restrictiveness）。
_2. ルールに準拠した解が少なくとも1つ存在すること（存在性：Existence）。
- データセットのシナリオ：
- RegularMaze： 静的なゴールと局所的な制約（例：色の付いたゾーンの回避）に焦点を当てる。
- QuestMaze： セマンティックなオブジェクト（鍵、宝物）と状態依存のルールを導入し、メモリと動的なゴール条件の処理を要求する。
- 難易度レベル： ルールは、その定式化における論理結合子の数に基づき、Easy、Medium、またはHardに分類される。
2.2 分離されたマルチモーダル・プランニング（DMP）
汎用性とルール遵守を向上させるため、著者らはエンドツーエンドの学習に頼るのではなく、プランニングプロセスをモジュール化するDMPを提案する。
- ツールベースのアーキテクチャ： DMPは、以下の3つのカテゴリに整理された、解釈可能で呼び出し可能な一連のツールをMLLMに備えている：
- 知覚ツール（Perception Tools）： 迷路の画像から記号的な情報（例：現在のセルの種類、スタート/ゴールの位置）を抽出する。
- 実行ツール（Execution Tools）： 移動アクションを適用することで、視覚的状態を決定論的に更新する（例：
ExecuteMove）。
- 検証ツール（Verification Tools）： データセット構築時に合成されたバリデータを使い、ルール遵守とゴールの達成を評価する（例：
VerifyRule, VerifyEndpoint）。
- 反復的な意思決定プロセス： モデルは、内部的な推論と外部ツールの呼び出しを交互に行うコントローラーとして機能する。各ステップにおいて、モデルはツールを選択し、パラメータを設定するためのプログラムを生成する。
- 主な利点： 知覚、実行、検証といった安定したコンポーネントをツールとして外部化することで、コントローラーは「いつ」「どのように」それらをオーケストレートするかを学習するだけで済む。これにより、新しいルールが必要な場合でも、コアとなるコントローラーを再学習することなく、新しいバリデータを追加するだけで、新しいルールへの汎用が可能になる。
3. 主な貢献
- RuleMaze ベンチマーク： プロシージャルに生成された多様な迷路と、実行可能な検証ツールによって裏付けられた体系的に構築されたルールセットを備えた、原則に基づいたベンチマーク。
- 言語–論理–関数ハイブリッド化： 複雑さの制御されたルールセットを自動的かつスケーラブルに構築するためのパイプラインであり、手動のルールエンジニアリングを排除する。
- 分離されたマルチモーダル・プランニング（DMP）： 知覚、実行、検証を再利用可能なツールへと分離することで、制約下での解釈可能な多段階推論を強化するフレームワーク。
- 実証的検証： DMPが、Direct prompting、Chain-of-Thought (CoT)、教師あり微調整 (SFT)、および商用モデル（Gemini 2.5 Pro/Flash）を含むベースラインに対して、特に未知の複雑なルールへのゼロショット汎化において大幅に優れていることを示す広範な実験。
4. 実験結果
著者らは、Qwen2.5-VL-3BをバックボーンとするDMPを、Direct prompting、Chain-of-Thought (CoT)、教師あり微調整 (SFT)、および商用モデル（Gemini 2.5 Pro/Flash）を含むベースラインと比較評価した。
- RegularMaze の性能：
- 既知のルール（Seen Rules）： DMPは98.0%のExact Match (EM)を達成し、SFT（94.0%）を上回った。
- 未知のルール（Unseen Rules）： DMPは90.0%のEMを達成し、SFT（70.3%）よりも大幅に高く、プロンプティングベースの手法（オープンソースモデルでは0%近くまで落ち込む）よりも有意に高い数値を示した。
- 複雑性： DMPはEasy、Medium、Hardの各ルール複雑度において高い性能を維持したが、ベースラインの性能差は複雑さが増すにつれて拡大した。
- QuestMaze の性能：
- より複雑なセマンティック環境において、DMPは既知のルールで91.4% EM、未知のルールで88.0% EMを達成した。
- DMPは、未知のルールにおける性能をSFT（88.0% vs 56.3%）に対して+31.7%向上させた。
- Gemini 2.5 Proのような商用モデルはRegularMazeよりもQuestMazeで強い性能を示したが、DMPは依然としてそれらを凌駕しており、特に困難なルールシナリオにおいて顕著であった。
- 定性的分析： ベースラインモデルは、制約ゾーンに入った後にルールを違反したり、障害物に直面した際にヒューリスティックにルールを放棄したりすることで失敗することが多かった。一方、DMPはステップごとの検証ツールを効果的に活用し、実行前に潜在的な違反を検知して計画を修正することに成功した。
5. 重要性と主張
本論文は、RuleMazeが、グラウンデッド（接地された）かつ解釈可能なルールベースの空間プランニングを研究するための原則に基づいたフレームワークを確立すると主張している。本研究の重要性は以下の点にある：
- ギャップへの対処： 明示的かつ動的なルール制約の下での動作という、極めて重要でありながら研究が進んでいない能力を対象としている。これは、実世界のエンボディド・インテリジェンスにとって不可欠である。
- スケーラビリティ： 提案されたハイブリッド化パイプラインは、複雑なルールと迷路のペアを自動生成することで、データのボトルネックを解決する。
- 汎用性： DMPフレームワークは、安定した能力と調整ロジックを分離することで、モデルが再学習なしに未知のルールへと汎用できることを示しており、より堅牢で適応性の高いマルチモーダルエージェントへの道筋を提示している。
著者らは、現在のMLLMには有望な側面があるものの、複雑な環境において信頼性の高い、ルールに準拠した空間プランニングを実現するためには、DMPのような構造化されたアプローチが必要であると結論付けている。
毎週最高の AI 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録