💻 computer science

Bilevel Planning with Learned Symbolic Abstractions from Interaction Data

本論文は、高速な高レベル計画のための学習済み確率的記号規則と、低レベル検証のための学習済み連続効果モデルを組み合わせる二階層神経記号フレームワークを提案し、離散抽象と連続ダイナミクスを効果的に橋渡しすることで、ロボットが複雑な環境において効率的に計画を生成・検証することを可能にする。

原著者： Fatih Dogangun, Burcu Kilic, Serdar Bahar, Emre Ugur

公開日 2026-03-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Fatih Dogangun, Burcu Kilic, Serdar Bahar, Emre Ugur

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが玩具でいっぱいの散らかった部屋を片付けるロボットを教えるところを想像してください。そのロボットには、**「大局観」（記号的）と「微細な詳細」（連続的）**という、2 つの思考方法があります。

この論文は、**「戦略的将軍」と「精密技術者」**というチームのように、これら 2 つの思考方法を組み合わせて使用する、ロボット用の新しい「脳」について説明しています。

問題：なぜロボットが立ち往生するのか

ロボットは、ミリメートル、角度、力といった連続的な動きの世界に住んでいます。もしロボットがこの複雑な世界で考えられるすべての動きを計算しようとしたら、圧倒されてしまいます。それは、どの道を進むかを決めるために、砂浜の砂粒をすべて数えようとするようなものです。

これを解決するために、科学者たちは通常、ロボットに記号（例えば「ブロック A はブロック B の上にある」など）を使用することを教えます。これは、都市名だけの地図を使うようなもので、速く簡単です。しかし、地図は不完全です。地図には「公園まで運転せよ」と書かれているかもしれませんが、道に巨大な穴や倒れた木が邪魔になっていることは知りません。ロボットが地図を盲目的に追うと、衝突してしまいます。

解決策：2 段階のチーム

著者たちは、「地図」と「現実世界」を必要に応じて切り替えて機能する、2 段階のシステムを構築しました。

レベル 1：戦略的将軍（記号的計画）

これは、速く、高次元で考える思考者です。

仕組み： ロボット自身の遊び時間から学びます。ロボットは物にぶつかり、それを拾い上げ、落とします。ロボットの脳はこの様子を観察し、単純なルールを学びます。「もし赤いブロックを拾えば、それは通常、青いブロックの上に着地する」といった具合です。
アップグレード： 以前のロボットは、最も可能性が高い結果（例：「赤いブロックは青いブロックの上に行く」）だけを学習していました。この新しいシステムは、確率を学習します。「90% の確率で赤いブロックは青いブロックの上に行くが、10% の確率で滑り落ちる可能性がある」ということを理解しています。
アナロジー： 将棋やチェスのプレイヤーが、単に最善の手を計画するだけでなく、相手が奇妙な手を打つような「もしも」のシナリオも考慮するところを想像してください。これにより、計画はより堅牢になります。

セーフティチェック：検査官

ロボットが実際に動く前に、システムはシミュレーションを実行します。

「将軍」の計画を取り、精密技術者（2 番目の、非常に高精度な AI モデル）を通じて実行します。
アナロジー： これはフライトシミュレーターのようなものです。パイロット（将軍）が「パリへ飛行する」と言います。シミュレーター（技術者）は、気象、燃料、エンジンの物理法則をチェックします。シミュレーターが「いいえ、山に衝突します」と言えば、ロボットが筋肉を動かす前に計画は却下されます。
このステップは、地図上では良く見えるが、現実では失敗する計画を捕捉します。

レベル 2：精密技術者（連続的探索）

将軍の計画がセーフティチェックに合格しない場合、または問題が単純な地図では複雑すぎる場合は、システムはレベル 2 に切り替わります。

仕組み： これは「力任せ」の方法です。単純な記号を使う代わりに、すべての動きの正確な物理をリアルタイムで計算します。
トレードオフ： これは非常に正確ですが、非常に遅く、計算コストがかかります。それは、風の中のすべての葉の軌跡を計算して道を見つけるようなものです。
戦略： ロボットは、高速な記号的な方法が失敗した場合にのみ、この重厚な方法を使用します。これは、一般医で問題が解決しない場合にのみ、専門の外科医を呼ぶようなものです。

発見した点

研究者たちは、このシステムを、さまざまなサイズのブロックを動かすロボットアームでテストしました。

単なる地図よりも優れている： 新しいシステムは、「将軍」（記号的）アプローチのみを使用するロボットよりも、より多くの問題を解決しました。
単なる技術者よりも優れている： それは、遅く重厚な「技術者」方法のみを使用するロボットとほぼ同等の性能を発揮しましたが、多くの問題を素早い「将軍」方法で解決したため、はるかに高速でした。
セーフティネットは機能する： 「検査官」は、失敗する計画をロボットが試そうとするのを成功裡に阻止し、時間を節約し、衝突を防ぎました。

結論

この論文は、単純なルールを使用するため高速であり、物事がうまくいかない可能性（確率）を理解するため賢明であり、行動する前に物理シミュレーターで計画を二重にチェックするため安全である、というロボットの脳を提示しています。これは、絶対に必要な場合にのみ重い数学計算を行うために速度を落とすものであり、ロボットが現実世界で学習し、行動するための非常に効率的な方法です。

技術的概要：相互作用データから学習された記号的抽象化を用いたバイレベル計画

問題定義

連続環境で動作するロボットエージェントは、根本的なトレードオフに直面している。高次元の連続状態空間で直接推論することは、無限または膨大な数の可能な解が存在するため計算的に非現実的である一方、純粋な記号的推論は、重要な幾何学的および動的な情報を捨象するため実行失敗を招き、しばしば失敗する。教師なしのロボット探索から記号的抽象化を学習する既存の方法は、通常決定論的ドメインに依存し、記号的計画が連続世界で成功するかどうかを検証するメカニズムが欠如しており、抽象化が不十分な場合のフォールバックも提供していない。本論文は、高レベルの記号的推論の効率性と、連続ダイナミクス検証の精度を組み合わせる計画フレームワークの必要性に取り組む。

手法

著者らは、教師なし相互作用データで訓練されたデュアルモデルアーキテクチャによって支えられ、2 つの明確なレベルで動作するバイレベル神経記号計画フレームワークを提案する。

1. デュアルモデルアーキテクチャ

このフレームワークは、行動の影響を予測するように訓練されたエンコーダ - デコーダアーキテクチャから導出された 2 つの専門的なニューラルネットワークモデルを利用する。

記号モデル ( $M_{sym}$ ): ボトルネック層でガムベル - シグモイド活性化関数を使用する。このモデルは、高レベル計画用の記号演算子を生成するために、離散的な単項オブジェクト記号と関係記号（例：「上にある」、「隣にある」）を発見するように設計されている。
ダイナミクスモデル ( $M_{dyn}$ ): ボトルネック層で標準的なシグモイド活性化関数を使用する。同じアーキテクチャを共有しているが、このモデルは正確な連続的な影響予測のために最適化されており、検証および低レベル探索のための前方ダイナミクスモデルとして機能する。

2. 学習プロセス

システムは、連続状態（オブジェクトの位置と種類）を表す $X$ と、パラメータ化されたピック - プレーススキルを表す $a$ からなる相互作用サンプルのデータセット $(X, a, X')$ から学習する。

記号発見: 記号モデルは連続状態を離散記号にマッピングする。関係記号は、離散記号の微分可能な学習を可能にするガムベル - シグモイドで適応された自己注意機構を用いて計算される。
演算子抽出: 連続遷移は記号的データセットに変換される。演算子は、データで観測された最も頻繁な行動後状態に基づいて、前提条件と影響のセットとして定義される。
確率的ドメイン構築: 決定論的演算子の代わりに、フレームワークは**PPDDL（確率的 PDDL）**ドメインを構築する。各演算子には、経験的頻度に基づく可能な記号的影響の確率分布が含まれており、現実世界の相互作用の確率的性質を捉える。

3. バイレベル計画アルゴリズム

計画プロセスは 2 つのレベルで進行する。

レベル 1: 検証付き確率的記号計画
- システムは、学習された確率分布から影響をサンプリングすることで、 $N$ 個の PDDL ドメインのアンサンブルを生成する。
- 古典的 AI プランナ（Fast-Downward）がこれらのドメイン内で計画を検索する。
- 連続検証: 候補となる記号的計画は確率によってランク付けされる。ダイナミクスモデル ( $M_{dyn}$ ) は、各候補計画の連続的な結果を予測する前方シミュレータとして使用される。予測された最終状態が目標から許容誤差閾値 ( $\tau_{verify}$ ) 以内にある場合、その計画は承認される。
レベル 2: 連続前方探索フォールバック
- 検証に合格する記号的計画がない場合、システムは連続状態空間で重み付き $A^*$ 探索を呼び出す。
- この探索は、状態遷移にダイナミクスモデルを使用し、目標へのユークリッド距離に基づくヒューリスティックを使用する。
- 計算の実行可能性を確保するため、探索はヒューリスティックな行動剪定を採用し、全行動空間を探索するのではなく、目標指向の行動（例：誤った位置にあるオブジェクトを目標位置へ移動させる）のみを生成する。

主要な貢献

バイレベルフレームワーク: 高レベルで確率的記号計画を統合し、フォールバックとして連続前方探索を組み合わせた新規アーキテクチャ。抽象推論と連続ダイナミクスの間のギャップを埋める。
デュアルモデル方式: 離散記号発見用と正確な連続影響予測用の 2 つの専門モデルを導入。単一のモデルでは両方の目的を最適に果たせないことを実証。
検証メカニズム: 実行前に記号的計画を検証するために連続ダイナミクスモデルを利用する手法。記号的には有効だが動的に実行不可能な計画を効果的にフィルタリングする。
確率的演算子学習: 決定論的ドメインを超えて、確率的影響を持つ演算子を学習。プランナが、確率は低いが成功する可能性のある経路を探索することを可能にする。

実験結果

このフレームワークは、2 つから 4 つのオブジェクトを有し、長さ 1 から 5 の行動シーケンスを含む模擬テーブルトップ環境における多オブジェクト操作タスクで評価された。

モデル検証: ダイナミクスモデルは、記号モデル（3.33 cm）と比較して、より低い平均影響予測誤差（1.96 cm）を達成し、連続予測のための別々のモデルの必要性を検証した。
確率的対決定論的: 確率的プランナは、決定論的ベースラインを大幅に上回った（例：1 ステップタスクにおける成功率は 73.0% 対 64.67%）。結果の全分布を考慮することが堅牢性を向上させることを示した。
検証性能: 連続計画検証器は、平均精度 0.91、F1 スコア 0.90 を達成した。検証された計画の成功率は 94.5% であり、未検証の計画の失敗率は 87.3% であり、失敗した計画をフィルタリングするメカニズムの信頼性を確認した。
全体的な性能: 提案されたバイレベルプランナは、完全な連続前方探索と統計的に同等の計画成功率を達成した（ $p=0.71$ ）。ただし、大部分の問題は効率的な記号的推論で解決し、必要な場合のみ計算コストの高い連続探索に頼った。

重要性

本論文は、このアプローチが、純粋な記号計画（幾何学的詳細の喪失）と純粋な連続計画（計算的非現実性）の両方の限界を成功裡に緩和すると主張している。記号的推論の効率性と学習された連続ダイナミクスの精度を組み合わせることで、このフレームワークはロボット操作に対する堅牢な解決策を提供する。学習された物理的ダイナミクスに対して記号的計画を検証できる限り、エージェントは網羅的な連続探索と同等の高レベル計画性能を達成しつつ、計算効率を維持できることを示している。この研究は、学習された記号的抽象化を実世界の実行に信頼性のあるものにする上で、確率的モデリングと検証の重要性を浮き彫りにしている。