技術要約：結合されたロボット・ポリシー学習のための逐次非対称模倣 (Sequential Asymmetric Imitation)

問題提起

共有オブジェクト（剛体または変形体）を通じて物理的に結合された2台のロボットによる協調モバイル・マニピュレーションは、個々のローカルなスキルを超越した調整の課題を提示する。成功には、タスクフェーズの精密な整合、パートナーの遅延への適応、および相互作用の衝突時における譲歩が必要となる。

既存のアプローチには、以下のような重大なボトルネックが存在する：

• モデルベースのプランニングは、変形体、断続的な接触、およびモデル化されていないダイナミクスに苦慮する。
• マルチエージェント強化学習は、報酬の疎性と、シミュレーションから実機への転移の困難さに直面する。
• デュアルロボット・タスクのための標準的な模倣学習は、通常、2人のオペレーターが両方のロボットを同時に制御し、精密な時間的整合性を保つ同期された共同デモンストレーションを必要とする。このデータ収集は、複数のテレオペレーション・チャネルと校正されたインターフェースを必要とするため、コストが高い。

核心となる問いは次の通りである：結合されたデュアルロボット・ポリシーは、同期されたデュアルオペレーターのデータや、強化学習、あるいは明示的なロボット間通信を用いることなく、単一のテレオペレーターによるデモンストレーションから学習できるか？

手法：逐次非錯対称模倣 (Sequential Asymmetric Imitation: SAI)

著者らは、単一のテレオペレーターを用いて物理的に結合された行動を学習する段階的なカリキュラムである逐次非対称模倣 (SAI) を提案する。この手法は、ロボットが見る「パートナーの分布」を、従順なサポートから自律的な相互作用へと変化させることで、協調学習を3つの非対称なステージに分解する。

3段階のカリキュラム

データ収集のシーケンスは、$D^{solo}_A \rightarrow D^{demo}_{B|A} \rightarrow D^{int}_A$ と定義される。

1. ステージ1：ロボットAのブートストラップ（人間によるサポートを伴うソロ）

   • セットアップ： ロボットAがタスクを実行し、従順な人間または受動的なパートナーが共有オブジェクトの反対側をサポートする。
   • 技術： ロボットAは、行動クローニングを通じて基本的なタスク能力（把握、牽引、整列）を学習する。
   • 拡張： パートナーの視覚的外見への過学習を防ぐため、パートナー・マスキング拡張が適用される。フレーム内のサポートするパートナーの領域は、ランダムな摂動（カラージッター、ブラー、ノイズ）で置き換えられ、ポリシーがパートナーの識別ではなくオブジェクトの状態に集中するように強制される。
   • 結果： 自律的なロボットとの協調能力は欠けているが、外部サポート下でのタスク実行が可能な初期ポリシー $\pi^{(1)}_A$。

2. ステージ2：展開されたロボットAに対するロボットBのトレーニング

   • セットアップ： $\pi^{(1)}_A$ を固定してロボットAに展開する。単一のオペレーターが、展開されたロボットAと相互作用しながらロボットBをテレオペレートする。
   • 技術： ロボットAを、現実的な偏差（速度スケーリング、アクションノイズ、タイミングのオフセット）にさらされるように有界なバリエーションを伴って実行する。
   • 結果： ロボットBは、行動クローニングを通じて、ロボットAのタイミング、運動プロファイル、および残留誤差を補償することを学習し、$\pi^{(2)}_B$ を生成する。このステージは非対称である。なぜなら、ロボットBは理想化された、あるいは同期された人間のパートナーに対してではなく、実際の学習されたロボットAの挙動に対して学習を行うからである。

3. ステージ3：DAggerスタイルの介入による微調整

   • セットアップ： $\pi^{(1)}_A$ と $\pi^{(2)}_B$ の両方を同時に展開する。
   • 技術： 単一のオペレーターが、協調の失敗（例：早すぎる牽引、譲歩の失敗、フェーズの不一致）が発生したときにのみ、ロボットAに対して疎な介入を行う。これは、学習器が状態を誘発し、失敗の境界付近で修正が行われるDAgger形式に従う。
   • 洗練： 介入データセット $D^{int}_A$ は、元のソロ・デモンストレーションと統合される。介入は、元のタスクスキルを維持しつつ、パートナーに依存した行動（待機、譲歩、減速）を教えるために、重み付けが強化される。オプションとして、アクション次元のマスキングにより、他の要素を変更せずに特定のコンポーネント（例：ベースの動き）を修正することが可能である。
   • 結果： ロボットBの自律的な挙動に適応した、洗練されたポリシー $\pi^{(3)}_A$。

ポリシーの実装

SAIはカリキュラムに依存しないフレームワークである。実験では、分散型の ACT型 (Action Chunking Transformer) ポリシーを用いて実装されている：

• 入力： ローカルRGB観測（トップビューおよびリストカメラ）、固有感覚、および過去のアクション。
• アーキテクチャ： 特徴量は凍結されたDINOv3バックボーンを介して抽出され、状態特徴量と融合され、GRU履歴ウィンドウ（$H=30$ ステップ）によってエンコードされる。
• 出力： カスケードされたアクションヘッドが、ベースコマンド（$v_x, v_y, \omega$）を予測し、続いてベースの予測に条件付けられたアームコマンドを予測する。これにより、ベースとアームの一貫性が確保される。
• 制約： 明示的なロボット間通信、特権的なパートナーの状態、または中央集権的な協調信号は使用されない。

主な貢献

1. 逐次非対称模倣 (SAI)： 同期されたマルチオペレーターのデータ、強化学習、または明示的な通信を必要とせずに、物理的に結合されたデュアルロボット・ポリシーを学習するための、単一テレオペレーターによるカリキュラム。
2. パートナー分布カリキュラム： トレーニングパートナーを「従順なサポート $\to$ 固定された学習済みポリシー $\to$ クローズドループのロボット間実行」へと移行させることが、フェーズの整合とパートナーに依存した譲歩を誘発することを実証。
3. 実世界での検証： SAIが、剛体および変形体を含む接触の多いタスクにおいて、独立した模倣およびカリキュラム・アブレーション・ベースラインを上回り、タスク成功率、フェーズ同期、および譲歩行動を向上させるという実証的証拠。

実験結果

本手法は、4つの実世界のデュアルロボット・タスク（ベッドの布広げ、テーブルクロス広げ、洗濯物回収、塗装輸送）で評価された。

• タスク成功率と協調： SAIは、独立模倣（ロボットを個別にトレーニング）およびパートナー条件付き模倣（BをAに対してトレーニングするが、ステージ3の介入を行わない）を大幅に上回った。
  • 例（洗濯物回収）： SAIは、独立模倣の50.0%、パートナー条件付き模像の63.3%に対し、70.0% の成功率を達成した。
  • 譲歩/待機指標： SAIは、パートナーに依存した譲歩（例：洗濯物回収における71.7% 対 独立模倣の31.7%）において顕著な改善を示し、パートナーが遅延した際にロボットが減速または停止することを学習したことを示した。
• パートナー遅延への堅牢性： テーブルクロス広げの制御された遅延実験において、独立模倣はパートナーが停止しているにもかかわらず牽引を続け、オブジェクトの不整合を引き起こした。一方、SAIはパートナーが回復するのを待つために、正常に減速および待機を行った。
• ポリシー・コンポーネント： アブレーション研究により、時間的履歴トークンとカスケードされたベース・アームヘッドが実行の信頼性を向上させる（早期のリリースや下降を減少させる）ことが確認されたが、協調的な利得は主にSAIのデータ・カリキュラムによって駆動されている。
• バックボーンの互換性： SAIは異なる模倣バックボーン（ACTおよびDiffusion Policy）の両方で性能を向上させ、これが特定のデコーダーの産物ではなく、データ・カリキュラムによる貢献であることを裏付けている。

意義と主張

本論文は、物理的に結合された協調は、同期されたマルチオペレーターのデモンストレーションや明示的な協調メカニズムを用いるのではなく、模倣カリキュラムの構造を通じて学習できると主張している。

• 暗黙的なポリシー結合： 結果は、「パートナーに応答する協調」が、トレーニング分布が現実的なパートナーの挙動（遅延、不一致）を含むように構造化されている場合、ローカルな観測と共有された物理的相互作用から創発し得ることを示唆している。
• 実用性： 単一のテレオペレーターを必要とし、複雑な同期ハードウェアや強化学習を回避することで、SAIは協調型モバイル・マニピュレータを配備するためのよりスケーラブルな経路を提供する。
• 限界： 著者らは、SAIはロボットが有用なスタンドアロンのプリミティブを学習できることを前提としており、失敗は単一エージェントの介入を通じて修正可能であると述べている。現在の介入データセットはベースラインの約30%と比較的小さいため、リカバリ行動はまだ飽和しておらず、より稀な失敗モードに焦点を当てたターゲット・データ収集の余地があることを示唆している。