技術要約：ReSYNC – 関係的概念の回復駆動型合成

1. 問題提起

複雑な「大きな世界（big worlds）」で動作する知的なロボットは、必然的に失敗（例：氷の上での滑走、泥へのスタック、遮蔽による把持の失敗など）に遭遇します。既存の手法は、特定の失敗状態から脱出するための反応的な回復スキルを学習することはできますが、スケーラビリティに乏しいという課題があります。あらゆる異なる失敗モードに対して個別のポリシーを学習することは非効率であり、純粋に反応的な手法は、失敗を共通の構造的パターンを活用すべき事象としてではなく、孤立したイベントとして扱ってしまいます。

本研究が取り組む核心的な課題は、ロボットがいかにして失敗から回復するだけでなく、将来的にそれらを回避するために必要な抽象的な知識（概念とスキル）を自律的に獲得できるようにするかです。具体的には、手設計された抽象化や明示的な監督を必要とせずに、失敗からの回復経験から関係的概念（述語）とスキルを共同で学習することで、局所的な反応的回復とグローバルなプロアクティブ・プランニングの間のギャップを埋めることを目指しています。

2. メソドロジー：ReSYNC

著者らは、失敗からの回復経験から状態の抽象化を漸進的に発見・洗練させるフレームワークである**ReSYNC（Recovery-Driven Synthesis of Relational Concepts）**を提案します。ReSYNCは、失敗を誘発するように設計された段階的なトレーニング・カリキュラムを通じて、漸進的なデュアル学習プロセスによって動作します。

2.1 コア・コンポーネント

• 関係的ファクター化MDP（Relational Factored MDP）: 環境は、連続的な特徴量を持つ型付きオブジェクトによってファクター化された関係的ファクター化マルコフ決定過程としてモデル化されます。
• デュアル学習ループ: ReSYNCは、カリキュラムの各ステージにおいて、以下の2つのフェーズを交互に実行します。
  1. スキル学習（回復）: ロボットは強化学習（RL）を用いて、システムを失敗状態から元のプランナーが再開できる状態へと遷移させる回復スキル（$\pi_{C_N}$）を学習します。
  2. 概念学習（抽象化）: ロボットは新しい関係的述語（$\Psi$）を発見し、学習された回復行動を説明するための抽象的なプランニングモデル（オペレータ）を洗練させ、プランナーが新しい文脈でもそのスキルを再利用できるようにします。

2.2 主要な技術的メカニズム

A. 失敗マイニングとスキル学習

• マイニング: 失敗が発生した際、ReSYNCは失敗オブジェクト（$o_F$）と関連オブジェクト（$o_R$）を特定します。それらの相対的な状態に対してペアワイズのガウス分布を適合させることで、失敗シナリオをリサンプリングし、観察された少数の失敗をより大きなデータセット（$D_F$）へと拡張します。
• RLトレーニング: 回復MDPが構築され、そこでの目標は、シンボリック・プランナーが成功できる状態に到達することです。PPOを用いて、ロボットは関係的回復ポリシーと終端関数を学習します。この新しいスキルはライブラリに追加されますが、初期段階ではシンボリックな記述を欠いています。

B. 「ドリーミング（夢想）」による概念学習

新しいスキルをシンボリック・プランナーで使用可能にするために、ReSYNCはスキルを接地（grounding）する述語（例：IsOpen）とオペレータを発見する必要があります。

• データのギャップ: 標準的な回復軌跡は、元の失敗の文脈（例：ハンマーを掴むために引き出しを引く）でのみスキルが使用される様子しか示しません。これらは、異なる文脈（例：対象物を置くために引き出しを引く）でスキルが再利用される例を欠いています。
• ドリーミング（Dreaming）: ReSYNCは、「ドリーミング」と呼ばれる自己教師ありデータ生成プロセスを採用しています。これは、失敗オブジェクトを新しい参照オブジェクトに対してリサンプリングすることで、反事実的なタスクを作成します。ロボットはこれらの反事実的タスクにおいてプランニングを行い、失敗時に学習した回復スキルを呼び出し、成功した遷移を記録します。これにより、多様なデータ（例：ターゲットオブジェクトの近くで引き出しを引く）が生成され、システムは一般的な概念（IsOpenのような）と、特定の偶発的な状態（HammerInOpenDrawerのような）を区別できるようになります。
• IVNTRの統合: システムは、述語記号を共同で発見し、ドリーミングされたデータを用いてそれらのニューラル分類器を訓練する、バイレベル学習アプローチであるIVNTRフレームワークを使用します。

C. 漸進的な学習と洗練

• 構成的なドリーミング（Compositional Dreaming）: トレーニングが進むにつれ、ドリーミングプロセスは構成的になり、以前のステージの失敗オブジェクトと状態分布を組み合わせることで、ますます多様な軌跡を生成します。
• 概念のファインチューニング: すべての概念を一から再学習するのではなく、ReSYNCは既知の述語を保持し、漸進的にライブラリを拡張します。重要な点は、新しいスキルが状態分布を変化させて古い述語を不正確にする「セマンティック・ドリフト（意味論的漂流）」を防ぐために、既存の概念の分類器を新しいデータを用いてファインチューニングすることです。

3. 主な貢献

1. スキルと概念の初の共同学習: ReSYNCは、明示的な監督なしに、タスク駆動型の相互作用からスキルと関係的概念を直接共同合成する初めてのアプローチであり、固定されたスキルライブラリや手設計された概念を必要とする先行研究の仮定を緩和しています。
2. 回復駆動型の抽象化: 回復スキルを一般化する抽象的な述語を発見することで、局所的な反応的回復経験を、グローバルでプロアクティブなプランニング能力へと変換するメカニズムを導入しました。
3. 自己教師ありの「ドリーミング」: オンライン・スキル学習に固有のデータ不足に対処するため、再利用可能な概念の発見を可能にする反事実的シナリオを作成する、新しいデータ生成手法（「ドリーミング」）を提案しました。
4. Sim-to-Real転送: 本フレームワークは実世界のハードウェア上で実証されており、学習された非把持操作スキルと抽象的なプランニング能力を物理的なロボットへ正常に転送することに成功しています。

4. 実験結果

著者らは、4つのシミュレーション・ドメイン（Icy Transport, Blocked Stacking, Cluttered Drawer, Rearrange）と2つの実世界ドメイン（Cornered Insertion-SおよびL）にわたってReSYNCを評価しました。

• 汎化性能: 構成的な未知のタスク（未学習のテスト分布）において、ReSYNCは平均成功率**70%を達成し、強力なベースライン（Recovery Chaining, Deep Skill Graphs, VLM planners, および階層型RL）を20〜70%**大幅に上回りました。
• サンプル効率: ReSYNCは、学習された概念をシンボリック推論に再利用することで、TTRL（Test-Time Recovery Learning）ベースラインと比較して、約22倍少ないエピソードでトレーニングタスクを解決しました。
• 漸進的学習: システムは、複数のカリキュラムステージから、以前のタスクに対する高い性能を維持しながら新しい複雑さに適応することで、破滅的忘却を起こすことなく学習することに成功しました。
• 実世界での性能: 実世界の実験において、ReSYNCは非把持の回復スキル（詰まったブロックの再配置）を学習し、発見された述語を介して新しいシナリオへ一般化することができ、反応的なベースラインよりも優れた性能を示しました。

5. 重要性と主張

本論文は、ReSYNCが物理的世界におけるスケーラブルで失敗を考慮したプランニングのための、自律的な抽象化獲得に向けた重要な一歩であると主張しています。

• 反応的からプロアクティブへ: 失敗を発見の機会として扱うことで、ロボットが反応的な回復を超えて、抽象的なプランニングを通じたプロアクティブな失敗回避へと移行できることを本研究は示唆しています。
• スケーラビリティ: 個々の失敗に対して特定のポリシーを学習するのではなく、関係的概念を学習することで、失敗の構成が組合せ爆発を起こす「大きな世界」におけるロボットの知能のスケーリングへの道を提供します。
• 自律性: システムは、スキルの手動エンジニアリングや概念設計の必要性を減らし、ロボット自身の相互作用の履歴に基づいてプランニングモデルを構築することに依存しています。

著者らは、失敗を誘発するためのユーザー指定のカリキュラムへの依存や、状態サンプリングにおけるガウス分布の使用といった限界も認めており、カリキュラム設計の自動化や、状態サンプリングのための高度な生成モデルの活用が今後の課題であることを示唆しています。