技術的概要：記号的ワールドモデルにおけるビレベルポリシーの学習による長視野計画

問題定義

本論文は、連続的な状態・行動空間において、物体数が変動する環境で、長視野の計画問題を確実に解決できる具身化 AI エージェントの構築という課題に取り組んでいる。模倣学習（デモンストレーションからの学習）は、低レベル（LL）のモータ制御や操作においては有効であることが証明されているが、効率的な長視野の計画を生成することには苦戦している。一方、高レベル（HL）の記号的プランナーは長視野の推論には有効であるが、多様なセンサモダリティ、部分的観測性、複雑な低レベルダイナミクスを伴う設定への汎化にはしばしば失敗する。

著者らは、この問題を、高レベルの目標（$g_{hl}$）を達成するために低レベルの行動（$a_{ll}$）を選択する、目標条件付きポリシー $\pi(all | s_{ll}, g_{hl})$ を学習する問題として定式化する。学習の入力は以下の通りである：

1. LL デモンストレーション: HL 目標とペアになった状態と行動の軌道。
2. 抽象化言語（$D$）: 述語と行動スキーマを定義するドメイン理論。
3. ラベリング関数（$L$）: LL 観測から HL 記号状態への写像。

目的は、任意の物体数とオープンワールドの条件を処理し、ゼロショット方式で未見の状態と目標に対して汎化するポリシーを学習することである。

手法

著者らは、ニューラル模倣学習と記号的抽象化および帰納的汎化を組み合わせることで、ビレベルポリシー $(\pi_{hl}, \pi_{ll})$ を学習するシステムBISONを提案する。

1. ビレベルポリシーアーキテクチャ

システムは問題を 2 つの明確なポリシーに分解する：

• 高レベル（HL）ポリシー（$\pi_{hl}$）: 抽象状態（$s_{hl}$）と目標（$g_{hl}$）に基づいて動作し、HL 行動（$a_{hl}$）を提案する記号的ポリシー。
• 低レベル（LL）ポリシー（$\pi_{ll}$）: 現在の LL 状態（$s_{ll}$）、提案された HL 行動（$a_{hl}$）、および目標（$g_{hl}$）を入力として受け取り、連続的な LL 行動（$a_{ll}$）を出力するニューラルポリシー（グラフニューラルネットワーク）。

これらのポリシーは、$\pi(all | s_{ll}, g_{hl}) = \sum_{a_{hl}} \pi_{ll}(all | s_{ll}, a_{hl}, g_{hl}) \cdot \pi_{hl}(a_{hl} | L(s_{ll}), g_{hl})$ として構成される。

2. 高レベルポリシー（$\pi_{hl}$）の学習

HL ポリシーは、LL デモンストレーションから以下の 3 段階のプロセス（図 2 に示す）を通じて学習される：

1. HL 軌道の構築: ラベリング関数 $L$ を LL デモンストレーションに適用し、抽象的な HL 軌道（HL 状態と行動の系列）を抽出する。
2. 目標回帰: 著者らは、これらの軌道に対して目標回帰（前像書き換え技術）を適用する。これは、ある行動が目標を達成するための最小条件を計算するものである。軌道を通じて目標を後方へ回帰させることで、システムは具体的な条件 - 行動ルールを抽出する。
3. 帰納的汎化: 具体的なルールを、特定の物体を変数に置き換えることで、一階述語論理へ持ち上げる（リフトする）。これにより、目標の近接性に基づいた優先度を持つ、コンパクトな条件 $\mapsto$ 行動ルールの集合が得られる。これらのルールは解釈可能であり、任意の物体数に汎化する。

得られた HL ポリシーは、一階述語のルール集合である。実行においては、現在の状態と未達成の目標条件を満たす、優先度が最も低い（つまり優先度が最も高い）適用可能なルールを見つける。

3. 低レベルポリシー（$\pi_{ll}$）の学習

LL ポリシーは、33,000 未満のパラメータを持つ**グラフニューラルネットワーク（GNN）**として実装される。

• 入力符号化: GNN は、LL 状態（エージェント状態と物体状態）、HL 行動スキーマ、および HL 目標事実を符号化する。
• アーキテクチャ: 物体ノード、行動ノード、およびグローバルノード間のメッセージパッシングを利用して情報を集約する。
• トレーニング: GNN は、デモンストレーションから導出された $\langle s_{ll}, a_{hl}, g_{hl}, a_{ll} \rangle$ のタプルデータセット上で、模倣学習（行動クローニング）を通じてトレーニングされ、予測行動と真値行動間の平均二乗誤差（MSE）を最小化する。

4. 理論的保証

本論文は、HL 問題の任意の解が LL 問題の解へと洗練（リファイン）可能であることを保証する**非決定性下方洗練性質（NDRP）**を確立する。さらに、定理 1は、C 有界目標独立性（目標成分が、有界なポリシーサイズで任意の順序で独立して達成可能であるという条件）の下では、学習された HL ポリシーが、任意の物体数および視野を持つ問題に汎化することを証明する。

主要な貢献

1. BISON システム: ドメイン理論とラベリング関数を利用し、HL 目標とペアになった LL デモンストレーションからビレベルポリシー $(\pi_{hl}, \pi_{ll})$ を学習するアプローチ。
2. 記号的 HL 学習: 目標回帰と帰納的汎化を適用して、コンパクトで表現力のある HL ポリシーを学習する手法。これらのポリシーは、一階述語の条件 - 行動ルールとして表現され、オープンワールドおよび部分的観測環境での動作を可能にし、任意の物体数への汎化を実現する。
3. 効率的な LL 学習: HL 行動に条件付けられた、コンパクトな GNN（33k パラメータ未満）による LL ポリシーの実現。
4. 実証的検証: 拡張された MetaWorld ベンチマークにおける 21,600 エピソードにわたる広範な実験により、ビジョン・言語・行動（VLA）モデル、エンドツーエンド手法、および記号的プランニングベースラインと比較して、優れた効率性、汎化能力、および長視野計画能力を実証。

実験結果

著者らは、BISON を、8 つの環境（外因的、内因的、状態の不確実性など、変動する不確実性を持つ）において、8 つのベースライン（SmolVLA、PureNN、PddlNN、および各種再計画戦略を含む）と比較評価した。

• 汎化: BISON は、トレーニングで見たものよりも多くの物体（最大 10 個）および長い視野を持つ環境に成功裏に汎化し、6 個以上の物体を超えると性能が著しく低下するエンドツーエンド GNN ベースラインを上回った。
• ロバスト性: BISON は、特に再計画ベースラインが苦戦したり失敗したりする複雑なシナリオにおいて、ほとんどの環境で最高平均成功率を達成した。
• 効率性: BISON は、トレーニングおよび推論の両方において、エンドツーエンド手法および再計画手法と比較して、時間およびメモリ効率において優れていた。
• スケーラビリティ: LL 実行を無視した場合、BISON の記号的 HL ポリシーは、1 分未満で 10,000 個の物体を伴う計画問題を解決し、数百個の物体で苦戦する最先端の PDDL プランナー LAMA を大幅に上回った。
• VLA パフォーマンス: 事前学習済み VLA モデル（SmolVLA）は、ベンチマークのタスクを 1 つも解決できず、特定のアーキテクチャ適応なしに、長視野かつ多物体操作に直接適用することの難しさを浮き彫りにした。

意義と主張

本論文は、BISON が、ニューラル模倣学習と記号的推論の間のギャップを効果的に埋めることで、長視野計画という長年の課題に対する新たな解決策を提供すると主張している。

• 検索不要の計画: 記号的抽象化上で HL 計画を検索し、その後それを洗練する従来のビレベル計画システムとは異なり、BISON はデモンストレーションから直接 HL ポリシーを帰納的に汎化し、実行中の検索の必要性を排除する。
• オープンワールド能力: ポリシーを一階述語の条件 - 行動ルールとして符号化することは、オープンワールド環境での計画を促進し、部分的観測性を処理するものであり、純粋な記号的プランナーの限界に対処する。
• 効率性とスケーラビリティ: このアプローチは、計算的に効率的であり、純粋なニューラルおよび純粋な記号的アプローチの両方でしばしば欠如している、膨大な数の物体へのスケーリングが可能なコンパクトなポリシーを生成する。

著者らは、このアプローチが HL 抽象化の品質（学習されたものか与えられたものか）への依存性を引き継ぐこと、および LL ポリシーの最適性を保証しないという限界を認めている。しかし、彼らはこの手法が、変動する物体数を持つ複雑な長視野タスクを解決するための、具身化エージェントのための堅牢なフレームワークを提供すると主張している。