🤖 AI

Differentiable Learning of Lifted Action Schemas for Classical Planning

本論文は、完全に観測された状態の軌跡からリフトされたアクションスキーマを頑健に学習し、未観測のアクション引数を推論する新たなニューラルネットワークアーキテクチャを提案するものであり、神経記号的計画モデルのための微分可能なコンポーネントとして機能する。

原著者： Jonas Reiter, Jakob Elias Gebler, Hector Geffner

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jonas Reiter, Jakob Elias Gebler, Hector Geffner

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットにソコバン（箱を押し込むゲーム）やハノイの塔（円盤を移動させるゲーム）のようなゲームの遊び方を教えることを想像してみてください。ただし、非常に具体的な制約があります。それは、すべての移動の前後で盤面が見えること、そして「ブロックを移動させる」といった「どのような移動が行われたか」は分かっているものの、ロボットが「どの」特定のブロックを選んだかという内部指示は見えないという点です。

これが、論文「Differentiable Learning of Lifted Action Schemas for Classical Planning（古典的計画のためのリフトされたアクションスキーマの微分可能学習）」が解決しようとする課題です。著者であるヨナス・ライター、ヤコブ・エリアス・ゲブラー、ヘクター・ゲフナーは、盤面の変化を見るだけでゲームの隠れたルールを解き明かすために、DIAS（Differentiable Induction of Action Schemas：アクションスキーマの微分可能帰納）と呼ばれる新しいタイプの AI を構築しました。

以下に、彼らがどのように行ったかを、日常的な比喩を用いて簡単に解説します。

1. 課題：「ブラックボックス」のシェフ

複雑な料理を作る名人シェフを想像してください。彼らが始める前のカウンターにある食材（状態 A）と、皿に盛られた完成した料理（状態 B）は見えるとします。また、シェフが「刻む」というアクションを使ったことも分かっています。

しかし、どの特定のニンジンを刻んだかは分かりません。大きなニンジンを刻んだのでしょうか？小さなものを？それとも既に皮をむいたものを？

従来の方法は、通常、AI にどのニンジンを刻んだかを正確に教えることを要求していました。
DIASは、ニンジンのかたまりの変化に基づいて、「シェフは必然的に大きなニンジンを刻んだに違いない」と推論する必要があります。

目標は、動画内の特定のニンジンだけでなく、あらゆるニンジンに適用される一般的なルール（「スキーマ」）を学習することです。これは、「この特定のニンジンを刻む」ではなく、「あらゆる野菜を刻む」というレシピを学ぶようなものです。

2. 解決策：「探偵」のようなニューラルネットワーク

著者たちは、探偵のように機能するニューラルネットワークを作成しました。これは主に 2 つの段階で動作します。

段階 1：「誰がやったか」を突き止める探偵（選択）

AI はゲーム盤面の「前」と「後」の画像を見ます。そして、グラフニューラルネットワーク（GNN）を使用します。これは、オブジェクト間の関係（例：「ブロック A はブロック B の上にあり」）を認識する超賢い目と考えることができます。

AI は盤面上のすべてのオブジェクトに「指紋」（埋め込み）を作成します。
次に、「これらの指紋のうち、どのものが『移動』というアクションの『スロット』に一致するか？」と問いかけます。
Sinkhorn（シンクホーン）と呼ばれる数学的なトリック（カードを非常に効率的に山分けする方法と想像してください）を使用して、アクションの役割に適切なオブジェクトを割り当てます。これは、AI が「ロボットが青いブロックではなく、赤いブロックを移動させた可能性が 90% あります」と言っているようなものです。

段階 2：「何が起こったか」を突き止める探偵（効果）

AI がどのオブジェクトが関与したかを推測すると、ゲームのルールを学習しようとします。

前提条件：移動する前に何が真でなければならなかったか？（例：「ブロックの上面は空でなければならない」）
効果：移動によって何が変化したか？（例：「ブロックは現在テーブルの上にある」）

AI はこれらのルールを PDDL というコンピュータコードのような記号形式で記述します。その後、これらの推測されたルールを使用して移動をシミュレーションし、それが「後」の画像を正しく予測できるか確認します。シミュレーションが実際の「後」の画像と一致すれば、AI は「よくやった」という信号を受け取ります。一致しなければ、推測を微調整して再度試みます。

3. 「魔法」の成分：微分可能学習

通常、「どのオブジェクトが移動したか」を特定することは二項選択（赤いブロックか青いブロックかのどちらか）であり、AI が学習するには困難です。なぜなら、答えを半分に「なだめる」ことが容易ではないからです。

この論文の画期的な点は、このプロセスを微分可能にすることです。

比喩：ラジオをクリアな局に合わせようとしていると想像してください。局 1 から局 2 へジャンプするのではなく、ダイヤルをゆっくりと滑らせることができます。
DIAS は単に「赤いブロック」と推測するのではなく、「80% 赤いブロック、20% 青いブロック」と推測します。これにより、AI は間違った推測のループに陥ることなく、答えにゆっくりと滑り込むために勾配降下法（標準的な機械学習技術）を使用できます。

4. 発見した結果（結果）

チームは、ブロックワールド、物流、ハノイなど、13 の異なる古典的計画ドメインで DIAS をテストしました。

完璧なスコア：AI にすべての引数のリスト（どのブロックが移動したかを正確に伝える）を与えた場合、ルールは毎回完全に学習されました。
ハードモード：引数を隠した場合（「移動」といったアクション名のみを与える場合）、13 のドメインのうち8 つでルールを完全に学習しました。他のドメインでも非常に近い結果でした。
ノイズ耐性：「ノイズのある」データ（盤面に関する事実がランダムに反転しているもの、例えばブロックが空であると言っているが実際は覆われているなど）でテストしました。DIAS は驚くほどよく対応しましたが、ノイズが多すぎると最終的に混乱しました。
比較：彼らはこの方法を従来の記号的方法（L1）と比較しました。DIAS は、特に旧来の方法がすべての必要な条件を見つけられなかった複雑なドメインにおいて、正しいルールを見つける能力がはるかに優れていました。

5. 重要性（過剰な期待を持たずに）

この論文は、このアプローチが、画像（ロボットアームがブロックを動かす様子の動画など）から直接計画ルールを学習するという、はるかに困難な問題の単純化であると主張しています。

現在の達成：彼らは「中間ステップ」を完全に解決しました。記号状態（事実のリスト）は見えるが引数は見えない場合でも、ニューラルネットワークを使用してルールを学習できることを証明しました。
将来の目標：著者たちは、最終的にこの「DIAS」モジュールを、画像を直接見て、人間が画像を事実のリストに変換する必要なくルールを学習するより大きなシステムに接続することを目指しています。

要約すると：この論文は、ゲームを観察し、どのピースが移動したかを推測し、ゲームの普遍的なルールを推論する新しい AI 探偵を提示しています。すべては、行き詰まりを回避する滑らかな数学ベースの学習プロセスによって行われます。

技術的概要：古典的計画のための微分可能なリフトされたアクションスキーマの学習

問題定式化

本論文は、観測トレースから古典的計画ドメインにおけるリフトされたアクションスキーマを学習するという課題に取り組んでいる。具体的には、著者らは状態が完全に観測される（グラウンドされた STRIPS 原子として表現される）がアクションの引数が観測されないという設定を扱う。入力は、 $s$ と $s'$ がグラウンドされた状態であり、 $a$ が完全なアクション名、いくつかの引数が観測された STRIPS+ アクション、またはアクション名のみのいずれかである、3 項組 $\langle s, a, s' \rangle$ で構成される。

核心的な難しさは、以下の 2 つを同時に推論する同型性困難な問題にある：

アクション引数：状態内のどのオブジェクトがアクションのパラメータに束縛されるかを特定すること。
リフトされたスキーマ：各アクションスキーマの前提条件と効果（追加/削除リスト）を、リフトされた記号形式で学習すること。

この問題は、画像シーケンスとアクションラベルからの学習というより現実的なタスクの簡略化として位置づけられており、より大規模なニューロ・シンボリックシステムへの統合を可能にするために、記号的抽象化のステップをほぼ完璧な精度で解決することを目的としている。

手法：DIAS アーキテクチャ

著者は、勾配降下法を通じてアクションスキーマを学習するニューラルアーキテクチャであるDIAS（Differentiable Induction of Action Schemas）を提案する。このアプローチは、エンドツーエンドの学習を可能にするソフトで微分可能な操作を利用し、主に 2 つの段階で動作する。

1. グラフニューラルネットワーク（GNN）によるオブジェクト選択

グラフ構築：状態 $s$ と $s'$ への遷移は、有向グラフ $G$ として符号化される。ノードはオブジェクトを表し、エッジは状態内で真であるか、遷移中に追加/削除された述語（原子）を表す。
埋め込み：関係性グラフ畳み込みネットワーク（R-GCN）がグラフを処理し、各オブジェクトに対して $d$ 次元の埋め込みベクトル（キー $K$ ）を生成する。
スロット割り当て：各アクション名 $a$ に対して、モデルは固定された数の「スロット」（アクションの最大アリティの上限）に対応する学習可能なクエリベクトル $Q_a$ を維持する。
ソフトマッチング：オブジェクトのキーとアクションのクエリとの間でスケーリングドットプロダクト注意を用いて対応行列が計算される。その後、長方形のシンクホーンアルゴリズムを適用して、オブジェクトをアクション引数スロットに確率的にマッピングするソフト割り当て行列 $\tilde{S}_a$ を生成する。学習可能なスロット重み $w_a$ が各スロットの活性化確率を決定し、モデルがアクションのアリティを推論することを可能にする。

2. 前提条件と効果の学習

リフトされたパラメータ：モデルは、各リフトされた原子 $p(x_i, x_j)$ に対して、それが正/負の前提条件、追加効果、または削除効果であるかを決定するための学習可能な確率テンソルを維持する。
グラウンディング：ソフト割り当て $\tilde{S}_a$ は、これらのリフトされた確率をグラウンドされた隣接行列空間に射影し、現在の状態における特定の原子が前提条件または効果である確率を導き出す。
状態予測：
- 前提条件チェック：モデルは、個々の原子確率の論理積を評価することで、すべての前提条件が満たされる確率 $p_{pre}$ を計算する。ランダムな初期化による勾配消失を避けるため、幾何平均スケジューリング戦略が用いられ、真の積へと徐々に遷移する。
- 効果適用：予測された後続状態 $\hat{A}'$ は、現在の状態隣接行列 $A$ にグラウンドされた追加/削除確率を適用し、 $p_{pre}$ でスケーリングすることで計算される。

3. 損失関数と最適化

訓練目的は、複合損失を最小化することである：

主要損失（ $L_{adj}$ ）：予測された後続状態 $\hat{A}'$ と真の後続状態 $A'$ の間の二値交差エントロピー。これにより、モデルは引数を正しく選択し、状態変化を予測するように導かれる。
補助損失（ $L_{aux}$ ）：最小限の効果と最大限の前提条件を促進する。これにより、モデルがすべての原子を効果と仮定したり、前提条件が存在しないと仮定したりするなどの自明な解を学習することを防ぎ、非活性な効果と非活性な前提条件に対してペナルティを課す。
勾配射影：補助目的が主要な状態予測の目標を損なわないようにするため、著者はPCGrad（Gradient Surgery）を採用する。補助勾配と主要勾配が競合する場合、補助勾配を主要勾配に直交する超平面に射影し、 $L_{main}$ の最適化を優先させる。

主要な結果

著者は、DIAS を 3 つの観測バリエーション（完全な STRIPS アクション、STRIPS+ アクション、アクション名のみの 3 つ）を用いて、13 の標準的な IPC 計画ドメイン（例：ブロック、物流、ハノイ、ソコバン）で評価した。

完全な回復：13 ドメイン中 8 ドメインにおいて、DIAS は 3 つの観測バリエーションすべてにおいて、10 回の訓練実行すべてで真のリフトされたアクションスキーマを完全に学習した。
ロバスト性：
- ノイズ：モデルは、ほとんどのドメインにおいて遷移あたり最大 2 回のランダムな原子の反転（観測ノイズ）に対してロバスト性を示した。8 回の反転になると性能は著しく低下した。
- 記号的手法との比較：SAT ベースのアプローチである L1 アルゴリズムと比較して、DIAS は同等または優れた性能を達成した。特に、L1 が効果に存在しない変数を含む前提条件を回復できなかったドメインにおいて顕著であった。
- 失敗分析：失敗は主に以下の要因に起因した：
  - 行き止まり：ランダムウォークが重要な状態領域を探索できないソコバンのようなドメイン。
  - 状態空間の構造：シエルピンスキー三角形構造を持つハノイドメインでは、ランダムウォークのカバレッジが制限される。
  - 冗長なアクション：take_image のようなアクションが状態変化をもたらさないことが多く、効果の学習を混乱させるサテライトドメイン。
MLP 除去実験：STRIPS 効果を多層パーセプトロン（MLP）に置き換える除去実験により、アーキテクチャは状態依存のダイナミクスを学習できるが、古典的計画に適した記号スキーマを生成できないことが示された。これは、一般化のためにリフトされた STRIPS 定式化が不可欠であることを浮き彫りにした。

意義と主張

本論文は、DIAS が中間的な記号的抽象化問題を高い忠実度で解決することにより、生観測（画像など）からの計画ドメインの学習に向けた重要な一歩であると主張している。

微分可能性：主な貢献は、明示的なアクション引数を必要とせずにリフトされたアクションスキーマを学習できる堅牢な微分可能コンポーネントであり、ニューラル観測処理と記号的計画の間のギャップを埋めるものである。
一般化：オブジェクト数の変動に苦しむスロットベースの動的モデル（例：RIMs）とは異なり、DIAS は任意の数のオブジェクトに一般化するリフトされた表現を学習する。これは STRIPS に固有の性質であるが、データから学習することは困難である。
限定的な範囲：著者は明示的に、この作業を画像からの学習というより広範な課題の簡略化として位置づけている。画像から計画への問題を直接解決するとは主張せず、そのようなシステムにとって「ほぼ完璧な」性能を達成することが、記号的抽象化のステップにおいて必要かつ困難な前提条件であると論じている。
限界：このアプローチは、純粋な STRIPS ドメイン（条件付き効果や数値的特徴なし）を仮定しており、アクション引数がオブジェクトに単射的に束縛されるという仮定に依存している。また、ランダムウォークサンプリングが状態空間の十分なカバレッジを提供しないドメインでは、この手法は困難に直面する。