技術要約：ロボット・ポリシーの三肢（Tri-Manual）視覚運動模倣学習

問題提起

標準的な二肢（bimanual）テレオペレーションは、オペレーターの2つの手とロボットの2つのエンドエフェクタとの間に一対一の対応関係があることを前提としています。この仮定は、ロボットが3本の腕を持ち、かつ単一の人間オペレーターが同時に連続的に制御できるチャンネルが2つしかない三肢（tri-manual）システムにおいては成立しません。3本の腕によるタスクをデモンストレーションするために、オペレーターは**ペアワイズ・モード切り替え（pairwise mode switching）**を用い、本来であれば同時並行で行えるはずの独立した動作を直列化しなければなりません。

このようなデータを用いて模倣学習（行動クローニングなど）のポリシーを訓練する場合、ポリシーはタスク固有の要求事項ではなく、インターフェースによって課された遅延を学習してしまうことがよくあります。例えば、ある腕が別のペアへ制御を切り替えるために待機している間、タスクの幾何学的構造上は同時実行が可能であるにもかかわらず、ロボットが不必要な待機時間を再現してしまうといった現象です。核心となる課題は、デモンストレーションされた局所的な動作（これは有効なもの）と、インターフェースの制約による収集タイミング（これは最適ではないもの）をいかに分離し、同期的な三肢制御を実現するかという点にあります。

手法：TriManPolicy と DATS

著者らは、動作の内容とグローバルなタイミングを切り離すことで、単一のオペレーターが三肢の振る舞いをデモンストレーションすることを可能にするシステム、TriManPolicyを提案しています。本システムのパイプラインは、主に以下の3つのステージで構成されています。

1. モード切り替えによるデモンストレーション収集

オペレーターは、任意の時点で3本の腕のうち2本（左、右、またはその他）を制御し、必要に応じてペア（{LR, LO, RO}）を切り替えます。すべてのロボットの状態、観測、およびコマンドは統一されたクロックの下で記録され、各タイムステップにおけるアクティブなテレオペレーションのペアが記録されます。

2. サブタスクのアノテーションとグラフ構築

記録された各エピソードについて、視覚言語モデル（VLM）がセグメントの境界、必要な腕、および先行関係を提案します。その後、人間のアノテーターがこれらをレビューおよび精査し、以下の要素を持つタスクグラフ $G_n = (V_n, E_n)$ を作成します。

• ノード ($V_n$): 固定された持続時間、必要な腕のセット、およびオプションのセマンティックラベルを持つ、時間的に局所化されたサブタスクを表します。
• エッジ ($E_n$): 終了・開始の依存関係（タスクの前提条件）およびリソース制約（例：一つの腕を同時に二つのセグメントで使用することはできない）をエンコードします。
• 重要な相違点: このグラフは、タスクに要求される順序（維持されるべきもの）と、インターフェースに起因する直列化（緩和可能なもの）を区別します。

3. 依存関係を考慮した三肢スケジューリング (DATS)

中核となるイノベーションであるDATSは、デモンストレーションの再タイミング（retiming）を制約付きスケジューリング問題として扱います。これは、固定持続時間のセンサモータ・セグメントを受け取り、以下の条件を満たしながら、エピソードの**メイクスパン（完了時間）**を最小化するように新しいグローバル・タイムライン上にセグメントを再配置します。

• 先行制約: セグメントAがBに先行しなければならない場合、AはBが始まる前に終了しなければなりません。
• リソースの排他性: 単一の腕は、二つのセグメントを同時に実行することはできません。
• 目標: 依存関係のパスを持たない、異なる腕のセグメントの並行性を最大化すること。これにより、デモンストレーションを実質的に「並列化」します。

再タイミングのプロセス:
DATSは、CP-SAT (Google OR-Tools) を用いて最適なスケジュールを計算します。各セグメント内の全メッセージのタイムスタンプを一定のオフセットによってシフトさせる「フォワード・タイムマップ」を適用します。これにより、各セグメント内の局所的なセンサモータ・タイミングを保持したまま、腕同士の**グローバルな整列（アライメント）**を変更します。得られたリタイム（再タイミング）されたデータは、3つの腕すべてを共同で制御する単一の同期ポリシーを訓練するために使用されます。

4. ポリシー学習

システムはアクション・チャンクト・トランスフォーマー（action-chunked transformer）ポリシーを訓練します。観測 $o_t$ が与えられると、ポリシーはホライゾン $H$ の同期された全腕のアクション・シーケンスを予測します。極めて重要な点は、訓練の目的関数は生のデータとDATSデータの両方に対して同じ損失関数を最小化しますが、**結合監視ウィンドウ（joint supervision windows）**が異なることです。DATSは、互いに適合するクロスアームのターゲットを同じ訓練ウィンドウ内に配置しますが、生のデータでは、一方の腕の進行が他方の腕のアイドル保持とペアになることがよくあります。

主な貢献

1. 問題の定式化: テレオペレーションによる模倣学習を、ロボットの操作チャンネルがオペレーターの同時制御能力を超える設定（具体的には、協力する3本の腕を用いた設定）へと拡張しました。
2. DATSアルゴリズム: デモンストレーションの再タイミングを行うための、スケジューリングに基づくアプローチを導入しました。これは、タスクの依存関係と腕のリソース制約を保持しつつ、インターフェースによる直列化を緩和することで、独立した腕の動作をオーバーラップ（重複）させることが可能です。
3. システムの評価: 6つの困難な実世界のタスクにおいて、同期的な三肢ポリシーを訓練・評価し、リタイムされたデータが成功率を損なうことなく、より高速な実行を可能にすることを実証しました。

実験結果

システムは、237個の処理済みデモンストレーションと300回の実機ロボット試行（タスクおよび条件ごとに25試行）を用い、6つの実世界のタスク（例：TowelHang, BinTowel, BagTape）で評価されました。

• 成功率: DATSで訓練されたポリシーは、6つの全タスクにおいて、ベースライン（Raw）のポリシーと比較して同等または高い成功数を達成しました。
• 完了時間: DATSポリシーは、すべてのタスクにおいて、成功した試行の平均完了時間を大幅に短縮しました。短縮率は31.3%から49.9%の範囲に及びました。集計されたマクロ平均時間は、83.1秒（ベースライン）から47.8秒（DATS）へと減少しました。
• オフライン分析:
  • 持続時間: 一部のタスク（例：TowelHang, BinTowel）では、DATSはアイドル間隔を除去することでエピソードのタイムラインを短縮しました。
  • 共窓被覆率（Co-Window Coverage）: すべてのタスクにおいて、DATSは共窓被覆率（適合するクロスアーム・セグメントのペアが同じ訓練ウィンドウ内に現れる割合）を大幅に増加させました。例えば、TrayWipe では、総持続時間にほとんど変化がない状態で、被覆率が約9.5%（Raw）から~71.2%（DATS）へと跳ね上がりました。これは、DATSが単に「どれだけ速く行うか」だけでなく、「何を同時に行うか」をポリシーに学習させていることを示しています。

意義と主張

本論文は、監視のタイミング（supervision timing）が、三肢の模倣学習における決定的な要因であると主張しています。モード切り替えのステージングを、展開されるポリシーが継承すべき制約ではなく、訓練のタイムラインの特性として扱うことで、TriManPolicyは単一のオペレーターが複雑で並行的な三肢の振る舞いをデモンストレーションすることを可能にします。

著者らは以下を強調しています。

• デモンストレーションの局所的なセンサモータ・コンテンツは、そのグローバルなタイミングが最適でなくても、有効かつ有用であり続ける。
• DATSは、タスクの依存関係と利用可能なリソースに合わせてグローバルなタイミングを効果的に再構築し、不必要な遅延を学習することを防ぐ。
• この手法は、展開時（デプロイ時）に依存関係グラフやスケジューラを必要としません。学習されたポリシーは、訓練中に並行実行のパターンを内面化した上で、ライブの同期的な観測に対して直接作用します。

これらの結果は、デモンストレーションの内容と収集時のタイミングを分離することが、標準的なペアワイズ・テレオペレーションを通じて収集されたデータを用いて、効率的な同期型三肢制御を実現できることを示しています。