技術要約: CoStream

問題提起

長期間かつ接触の多い操作タスク（例：数ミリメートルのクリアランスがあるPCIeスロットへのGPUの挿入）は、二重の課題を提示します。これらは、ジャミング（嵌まり込み）を避けるための高精度な制御と、再学習なしで新しいタスクを扱うためのアウトオブボックスな汎用性の両方を必要とします。現在のロボット工学のパラダイムは、これらを同時に満たすことに苦慮しています。

• 古典的なモジュール型パイプライン: これらは知覚、状態推定、計画、制御を分離しています。これらは高い精度を実現できますが、脆弱であり、新しいタスクに適応するには、コストのかかる専用のエンジニアリングやモジュールの手動設計変更が必要です。
• モノリシックなエンドツーエンド・ポリシー: VLA（Vision-Language-Action）ネットワークのようなモデルは、より優れた汎用性を提供しますが、広範な新規データによる再学習を行わない限り、複雑な分布外（out-of-distribution）の接触タスクに必要な精度を欠いています。

両方のパラダイムは、複雑な操作には硬直した不可分な制御システムが必要であるという暗黙の仮定を共有しています。本論文はこの仮定に異を唱え、複雑な能力は、単純で独立した振る舞いを合成することによって創発し得ると提案します。

手法: CoStream フレームワーク

CoStreamは、基盤モデルと多様なセンシングモダリティを、複数の構成可能なコア振る舞いへとオーケストレーションするフレームワークです。従来のパイプラインが完了した計画を固定されたインターフェースを通じて渡すのに対し、CoStreamは、振る舞いを独立した並列ストリームとして維持し、それらが自然なレートで動作し、動的に構成されるようにします。

1. アーキテクチャの概要

システムは、共有された SE(3) タスク空間インターフェース上で動作します。各制御ステップにおいて、3つの異なる振る舞いがコンポーネントを生成し、それらが右乗算されることで、コンプライアントなコントローラによって実行される単一のエンドエフェクタ・ポーズコマンド ($W T_{cmd}$) が形成されます。

• セマンティック振る舞い (タスクフレーム・アンカー):

  • 機能: 空間的制約を抽出し、ワールドに対するタスクフレーム ($W T^k_I$) を定義します。
  • メカニズム: LLM（大規模言語モデル）およびVLM（視覚言語モデル）を使用して、指示とシーンの要約（オブジェクト、アフォーダンス、述語）を解析します。SE(3) アライメント目的関数を最小化することで、タスクフレームを接地（グラウンディング）します。
  • 出力: 軌跡ではなく、静的または低速に更新されるアンカーフレームです。これにより、軸の所有権と剛性が対角成分として維持されます。

• 予測的振る舞い (ノミナル・モーション):

  • 機能: タスクフレーム内での連続的なノミナル・モーション軌跡 ($I T^k_{traj}(t)$) を生成します。
  • メカニズム: 観測とステップ指示に基づいたビデオ・ワールドモデルを利用して、ロールアウトをサンプリングします。VLMクリティックが最適なロールアウトを選択し、それが3Dキーポイント・トラッカーへとリフトアップされ、オブジェクト中心のリファレンス軌跡を形成します。
  • 出力: 精密で硬直した計画ではなく、モーション・プライア（ノミナルパス）です。

• リアクティブ振る舞い (触覚残差および力ループ):

  • 機能: 手内での滑りや接触力に対して、高周波（25 Hz）の補正を提供します。
  • メカニズム: GelSight触覚センサを使用して、グリッパーに対するオブジェクトのポーズ（NormalFlow経由）を追跡し、エンドエフェクタの力（wrench）を推定します。これは、滑りをキャンセルするための触覚残差 ($\Delta T^k_{tac}(t)$) を生成し、接触イベント（滑り、過剰な力）をフラグ立てします。
  • 出力: ノミナル・モーションを補正する剛体変換、およびコントローラへの力ループ信号です。

2. 構成と制御

• アクションの合成: コントローラの各ティックにおいて、システムは最終的なコマンドを計算します：
  $$W T^k_{cmd}(t) = (W T^k_I \cdot I T^k_{traj}(t)) \cdot \Delta T^k_{tac}(t)$$
  この右乗算により、各振る舞いの独立性が保たれます。ストリームが欠落しているか、あるいはデータが古い場合でも、フォールバック振る舞い ($H_k$) が、停止することなく段階的な劣化（graceful degradation）を保証します。
• コントローラのコンパイル: 決定論的なコンパイラが、ステージ仕様をロボットレベルのパラメータ（デカルト座標系の剛性、減衰、インピーダンス/アドミッタンス軸、力制限）にマッピングします。
  • 自由空間では、コントローラは高い剛性を持ってノミナル・モーションを追従します。
  • 接触時、状況に応じて、デカルト・インピーダンス（力維持のための仮想バネ）または位置ベースのアドミッタンス（力を制限するため）へと切り替わります。

主な貢献

1. 振る舞い構成インターフェース: セマンティックな接地、予測的なモーション生成、および触覚・力の反応を、独立した振る舞いへと分離する、接触の多い操作のための新しいインターフェース。
2. 共有SE(3)表現: 各振る舞いがそれぞれの自然なレートで動作し、自身が信頼できるコンポーネント（タスクフレーム、モーション・プライア、または接触補正）のみを寄与できるようにする、タスク空間表現。
3. 実証的検証: 8つの実世界のタスクを用いたフレームワークの実証。高精度な組み立て、手動による摂動からの堅牢な回復、および再学習なしでの日常的な操作へのゼロショット転移を示しました。

実験結果

著者らは、2台のFranka Emika Pandaロボット（一方はGelSight Mini触覚センサを装着）を用い、2つのグループのタスクについてCoStreamを評価しました。

• ベースライン: VoxPoser（モジュール式視覚言語プランニング）および $\pi_0.5$（モノリシックなVLAポリシー）と比較しました。
• 高精度組み立てタスク:
  • タスク: ドリル挿入（クリアランス0.5 mm）、RAM挿入、CPU配置、GPU挿入。
  • 結果: CoStreamは14/15から15/15の成功率を達成しました。対照的に、VoxPoserと$\pi_0.5$はこれらのタスクにおいて完全に失敗しました（0/15）。
  • 失敗分析: VoxPoserは、接触前に幾何学的な偏差を補正できないオープンループの計画のために失敗しました。$\pi_0.5$は接触中に失敗し、接触イベントと知覚的な曖昧さを区別できず、不安定な高周波運動を引き起こしました。
• 日常的な操作タスク:
  • タスク: ランプのスイッチを入れる、ホワイトボードを拭く、コップから皿への移動、服から箱への移動。
  • 結果: CoStreamはすべての設定において$\pi_0.5$を上回り、特に物体移動タスク（例：コップから皿へ、4/15に対し13/15）において顕著な向上を見せました。
• アブレーション研究:
  • ドリル挿入タスクにおいてリアクティブ振る舞いを除去すると、成功率が15/15から3/15へと急落し、触覚フィードバックがサブミリメートル精度のために不可欠であることを裏付けました。
  • 堅牢性: システムは、保持している物体をグリッパー内で回転させるなどの手動の摂動から、触覚フィードバックに基づいてエンドエフェクタを再配向することで、正常に回復しました。

意義と主張

本論文は、CoStreamが、単一の複雑なコントローラによってではなく、単純で独立した振る舞いの合成によって複雑な操作が達成される領域を示していると主張しています。

• 再学習なしの汎用性: 同一の振る舞いセットが、多様な物理的制約（繊細なCPUの装着から高負荷のRAMロックまで）を扱い、ポリシーの再学習やモジュールの再設計なしに日常的なタスクへと転移しました。
• 構成による精度: 「何を（セマンティック）」、「どこへ（予測的）」、「どのように（リアクティブ）」を分離することで、モノリシックなポリシーが失敗する接触の多いシナリオにおいても、ミリメートルレベルの精度を実現しています。
• 限定的な範囲: 著者らは、システムが上流の知覚（ポーズ推定）に依存しており、現在は構造化された剛体操作に限定されていることを認め、限界についても述べています。現時点では、変形物体、器用な手内操作、または曖昧な目標には対応していません。また、リアクティブな振る舞いは、触覚の範囲と力（wrench）推定の精度に制約されています。

要約すると、CoStreamは、操作をセマンティック、予測的、およびリアクティブなストリームに分解し、共有SE(3)インターフェースを介して構成することが、汎用性の高い高精度なロボット操作への堅牢な道筋となることを提案しています。