技術要約: SkillWrapper: タスクレベルのロボットプランニングのための生成的な述語発明

問題提起

自律的な長期的タスクプランニングが可能なロボットを構築するには、低レベルの感覚・運動制御と、高レベルの抽象的な推論との間の溝を埋める必要があります。人間は複雑なタスク（例：料理）について考える際、筋肉レベルの制御をモデル化することなく推論できますが、ロボットは通常、ドメインエキスパートによって定義された手動指定のタスクレベルモデル（前提条件と効果）に依存しています。現実世界の環境では、複雑なスキル間の制約や特定の環境への適合性により、これらのモデルを取得することは容易ではありません。

これらの抽象化を学習するための既存のアプローチには、以下の二極化が見られます：

1. ボトムアップ手法: 理論的な保証（健全性と完全性）を提供しますが、多くの場合、制限された構造化された状態空間（例：構成空間）に依存するか、基盤モデル（Foundation Models）なしではピクセルレベルの入力からスケールすることに苦慮します。
2. 基盤モデル（FM）駆動型手法: 基盤モデルを活用して、生の感覚入力から意味のある述語を生成します（これは「生成的述語発明」と呼ばれます）。しかし、これらの手法は通常、ヒューリスティックまたはアドホックな手順に依存しており、学習された抽象化が満たすべき特性や、結果として得られるモデルの正当性をどのように確保するかについての形式的な保証を欠いています。

本論文が取り組む核心的な課題は、「いかにして、基盤モデルを用いて生のRGB観測からブラックボックスのロボットスキルの健全かつ完全な記号表現を自律的に学習し、同時にタスクレベルのプランニングのための形式的な保証を提供できるか？」 という点です。

手法: SkillWrapper

著者らは、ブラックボックススキルに対する健全かつ完全な記法モデルを自律的に取得する能動学習フレームワークである SkillWrapper を提案しています。このシステムは、オブジェクト中心のスキル集合 ($\Omega$) によって定義されるドメイン上で動作し、抽象的な遷移モデル $M = \langle P, A \rangle$ を学習します。ここで、$P$ は述語の集合、$A$ はオペレータの集合です。

本手法は、主に以下の3つのステップを反復します。

1. 能動的データ収集

ランダムな探索を行う代わりに、SkillWrapperは実行すべきスキルインスタンスのシーケンスを能動的に選択します。基盤モデル（FM）に対して候補となるスキルシーケンスを生成するようにプロンプトを出し、それらは以下の2つの軸に基づいてスコアリングされます：

• バランス ($b$): 成功と失敗の実行比率が目標値（例：0.5）に近くなるようなシーケンスを優先します。これにより、コントラスティブ学習において極めて重要となる、正例と負例の両方の収集を確実にします。
• カバレッジ ($c$): 連続するスキルペアの観察におけるエントロピーを最大化するシーケンスを優先します。これにより、システムが多様なスキル間の依存関係を観察することを確実にします。
  システムは、パレート最適（Pareto-optimal）なシーケスのサブセットを選択して実行し、実行可能性と結果を捉える遷移 $\langle s, \omega, s' \rangle$ を記録します。

2. 生成的述語発明

SkillWrapperは、空の述語集合 ($P = \emptyset$) から開始します。新しい述語は、現在のモデルが観測された遷移を説明できない場合にのみ発明されます。発明は、以下の2つの形式的な条件によってトリガーされます：

• 条件1（前提条件の不一致）: モデルがスキルインスタンスの成功を予測したが失敗した（あるいはその逆）、かつ、現在の述語では成功した状態と失敗した状態を区別できない場合。
• 条件2（効果の不一致）: モデルが、同一スキルの成功した実行と失敗した実行の間の効果を区別できない場合（リフティング関数によって異なるオブジェクト引数を考慮した場合でも同様）。

トリガーされた際、システムはFM（具体的には視覚言語モデル）に対して、競合するケースを意味的に区別する候補述語を生成するようにプロンプトを出します。候補は、それがデータセットを説明する能力を向上させるかどうか（すなわち、成功した遷移と失敗した遷移を正しく分離するオペレータの構築を可能にするかどうか）をチェックすることで評価されます。

3. オペレータ学習

蓄積されたデータと現在の述語セットを使用して、SkillWrapperはオペレータ（前提条件と効果を持つアクション）を学習します。

• クラスタリング: 遷移は、「リフトされた抽象的な変化」（抽象的な状態の差）に基づいてクラスタリングされます。
• 前提条件の導出: 各クラスターについて、前提条件は、そのクラスター内の遷移の抽象的な初期状態の共通部分として導出されます。
• 型の扱い: 重複するオブジェクトカテゴリが存在するドメインでの過剰な汎化を防ぐため、システムはデータと矛盾しない最も低いレベルの型階層を使用して、保守的にオペレータのパラメータを割り当てます。

理論的枠組み

本論文は、生成的述当発明に関する形式的な理論を確立し、このクラスの手法に対して初の証明可能な保証を提供しています：

• 健全性 (Soundness): 学習されたモデルはプランの効果を正しく予測します。つまり、プランナーがある状態に到達すると予測した場合、その実行は実際にそこに到達します。
• 完全性 (Completeness): モデルは真の解を省略しません。環境内に解が存在する場合、プランナーはその抽象的なプランを見つけることができます。
• 正当性 (Correctness): 著者らは、SkillWrapperの学習されたモデルが、観測されたデータに対して経験的に正しいこと（定理1）、および定常的な $\beta$-mixing プロセス下で正しいモデルに漸近的に収束すること（定理2）を証明しています。

実験結果

著者らは、シミュレーションおよび実機ロボットの両方でSkillWrapperを評価しました。

シミュレーション (Robotouille)

6つのオブジェクトと5つのスキルを持つ模擬キッチン環境において、SkillWrapperを以下と比較しました：

• エキスパート・オペレータ: 手動で定義されたPDDLモデル。
• システム述語: グラウンドトゥルース（正解）のシミュレータ述語（オラクル）。
• ViLa: アクション選択のために直接FMプロンプティングを使用するベースライン。
• アブレーション研究: 能動的データ収集のヒューリスティック、または特定の述当発明アルゴリズムを用いないバリアント。

知見:

• SkillWrapperは、すべての非特権ベースライン（ViLaおよびランダム探索を含む）を上回りました。
• 「困難な」問題（最大15ステップ）において、SkillWrapperはシステム述語のベースラインさえも凌駕しました。これは、学習された抽象化が、複雑なプランニングシナリオにおいてはグラウンドトゥルースのシミュレータ述語よりも効果的であることを示しています。
• 不可能なタスクを100%正しく特定しました。これは健全性の要件です。

実機ロボット実験

Franka Emika Panda（テーブルトップ）および双腕Kuka iiwaマニピュレータを用いて実験が行われました。

• 汎化性能: 限定された訓練環境（オブジェクトのサブセット）で学習されたモデルは、すべてのオブジェクトを含むテスト環境に正常に汎化し、未知の長期的タスクを解決しました。
• データ効率: デッドエンド（行き止まり）が存在する双腕設定において、SkillWrapperは反復を通じて性能を向上させ、5回の反復以内にすべてのベースラインを上回りました。このシステムは、不可逆的なアクションが存在する環境での学習において、誘導された能動的データ収集が極めて重要であることを示しました。

意義と主張

本論文は、生成的述当発明において、タスクレベルのプランニングに対して健全性と完全性を証明可能な保証を与える最初の研究であると主張しています。

主な貢献は以下の通りです：

1. 形式理論: 学習されたモデルが、健全かつ完全であることを証明するための条件を特徴付け、従来のFM駆動型アプローチにおける理論的厳密さの欠如に対処しました。
2. SkillWrapperシステム: 基盤モデルを活用して、データの収集、述当の生成、および解釈可能な記号表現の学習をインタラクティブに行う、原理に基づいたシステムを提供しました。
3. 実証的検証: 学習された表現が、市販の古典的なプランナーを用いて、未知の長期的タスクを解決するためにブラックボックスのスキルを構成できることを、広範な証拠によって示しました。

著者らは、SkillWrapperがスケーラブルな記号モデル学習への有望な道筋を提供し、手動の抽象化や環境のダイナミクスに関する特権的知識を必要とせずに、ロボットが高レベルの目的について推論することを可能にすると結論付けています。本研究は、決定論的なダイナミクスの仮定や、FMの出力を直接制御できないことなどの限界を認めており、確率的な設定やノイズ処理に関する今後の課題を示唆しています。