技術要約：PanoVine – 軟質成長型バイネ・ロボットのための全身視覚運動制御

問題提起

バイネ・ロボット（vine robot）は、空気圧式の軟質成長型連続体ロボットの一種であり、その柔軟な本体と自己支持型の成長メカニズムにより、閉鎖的で複雑、かつ非定型な環境（例：配管、地下インフラ）をナビゲートする上で独自の利点を提供します。しかし、このロボットを自律的にナビゲーションおよび操作させることは、主に以下の2つの要因により大きな課題となっています。

1. 予測不可能なダイナミクス: ロボットの挙動は、材料のコンプライアンス、ヒステリシス、座屈、本体と環境の相互作用、および未展開のテイル（尾部）の張力によって支配されています。これらの要因により、物理的なモデリングが困難です。その結果、アクション・トラジェトリのオープンループ再生では、試行ごとにロボットの構成が劇的に異なる結果となります。
2. 限定的なオンボードセンシング: ロボットは広いワークスペースにわたって複雑な全身の変形を起こします。従来の限定的なセンシング手法（例：単一のカメラやIMU）では、信頼性の高いクローズドループ制御に必要な状態情報を捉えるには不十分です。これは、先端に取り付けられたセンサーが機械的な複雑さを増大させる場合や、ロボットの本体が自身の視界を遮蔽する場合において特に顕著です。

既存のモデルベースのアプローチは、幾何学的な仮定（例：区分的に一定の曲率）や障害物の形状に関する事前知識に依存しており、これらは混雑した未知の環境では機能しません。同様に、先行する学習ベースの手法は、主にシミュレーションや短尺の非成長型ソフトアームに限定されており、高自由度を持つ長尺かつ連続的に成長するバイネ・ロボットへのスケールアップには至っていません。

手法

著者らは、オンボードセンシングのみを使用してクローズドループ制御が可能な、初の自律型バイネ・ロボットシステムであるPanoVineを提案します。このアプローチは、カスタムハードウェアプラットフォームと、データ駆動型の視覚運動制御フレームワークを統合したものです。

1. システムハードウェア：分散型全身ビジョン

PanoVineプラットフォームは、長さ6メートル、直径0.16メートルの軟質成長型本体を備え、7つの制御可能な自由度（1つの伸長、6つの回転曲げ関節）を有しています。

• センサー・スイート: システムには、ロボットの本体に沿って配置された19台のRGBカメラが搭載されています。
• 配置戦略: カメラは、ロボットのセグメントに対して本体軸に対し60度の角度で、TPUコーティングされた側面に設置されています。カメラは遠位または近位のいずれかを向いています。ロボットがエバージョン（反転展開）によって成長するにつれ、カメラが段階的に露出され、ロボットの変形と周囲の環境の両方に関する多角的なフィードバックを提供します。
• アクチュエーション: ロボットは、ジョイスティック・インターフェースを介して制御され、関節空間のステアリングと軸方向の成長を指令し、剛性制御のための圧力調整を行います。

2. 制御フレームワーク：全身視覚運動ポリシー

システムの核となるのは、テレオペレーションによるデモンストレーションから模倣学習によって訓練された、エンドツーエンドの視覚運動ポリシーです。

• 入力: ポリシーは、観測履歴 $o = (I, q)$ を受け取ります。ここで、$I$ は全19台のカメラからのRGBストリームを表し、$q$ はプロプリオセプション（関節角およびベースの長さ）を表します。
• アーキテクチャ: システムはDiffusion Transformerバックボーンを利用しています。
  • ビジョン・エンコーディング: 画像は $224 \times 224 \times 3$ にリサイズされ、学習済みCLIP Vision Transformerを通じて処理されます。各カメラビューのクラス・トークンが、コンパクトな埋め込みとして機能します。
  • クロスアテンション: クロスアテンション機構により、ポリシーは分散された視覚入力、プロプリオセプション、およびアクション間の、明示的な外部キャリブレーションを必要としない、暗黙的なマルチビュー対応関係とタスク固有のセマンティックな関係を学習できます。
  • アクション出力: ポリシーは、次のタイムステップのためのアクション・チャンク $a \in \mathbb{R}^{\tau \times d}$ （ここで $\tau=8$）を予測し、ベースの長さと関節角度を指定します。
• 堅牢性のための主要な設計選択:
  1. 相対表現: ヒステリシスや駆動の不確実性に対する滑らかな遷移と堅牢性を確保するため、プロプリオセプションとアクションは最新の観測フレームに対して相対的に表現されます。
  2. データの再バランシング: テレオペレーションによるデータにおいて、ステアリング動作（純粋な成長が支配的）が疎であることを考慮し、学習データセットを再バランシングすることで、ポリシーが成長に過学習することなく、重要な反応的ステアリング挙キ（旋回、登攀）を学習できるようにしました。

主な貢献

1. ハードウェアプラットフォーム: 分散型全身ビジョン（19台のカメラ）を備えたバイネ・ロボットシステムであり、成長プロセス全体を通じてロボットの状態と環境に関する包括的かつ多角的なフィードバックを提供します。
2. 制御フレームワーク: 長尺で変形しやすいロボットのために特別に設計された学習ベースの視覚運動ポリシー。これは、分散されたセンシングを集約し、信頼性の低い状態推定に対する堅牢性を維持し、疎なステアリング動作を伴う長期的な振る舞いを処理することに長けています。
3. 自律的デモンストレーション: 外部センシング（GPS、モーションキャプチャなど）やモデルベースのプランニングを使用せずに、複雑な現実世界のシナリオにおいて、バイネ・ロボットが自律的なクローズドループ制御を達成することを初めて実証しました。

実験結果

システムは、以下の2つの困難な現実世界のタスクで評価されました。

1. 複雑なコースナビゲーション

• タスク: 分岐の選択、45°の斜面登攀、支えのない隙間の横断、障害物回避、急旋回を含む6メートルのコースのナビゲーション。
• 性能: PanoVineポリシーは80%の成功率を達成しました。
• ベースライン:
  • 軌跡再生（オープンループ）: 成功率0%。衝突や、座屈による長さの不一致による目標到達失敗が発生しました。
  • 再バランシングなし: 成功率10%。ポリシーが分岐点で十分にステアリングできず、データ再バランシング戦略の必要性が浮き彫りになりました。

2. オブジェクトへの到達

• タスク: 2メートルまで伸長し、未知の場所や向きに配置されたオブジェクトに正確にステアリングして、接触または叩き落とす。
• 性能: ポリシーは85%の成功率を達成し、マルチビューの視覚フィードバックに基づいてステアリング指令を接地することで、未知のオブジェクトや場所に対する汎化性能を示しました。
• ベースライン:
  • 単一カメラ・ポリシー: 成功率0%。単一のカメラでは、伸長中やステアリング中にオブジェクトの視界を維持できず、ターゲットを見失いました。

重要性と主張

本論文は、PanoVineが、オンボードセンシングのみを使用してバイネ・ロボットの自律的なクローズドループ制御が可能であることを実証することにより、ソフトロボティクスにおける重要な進歩を遂げたことを主張しています。

著者らは、従来型のモデルベースのパイプラインが、軟質成長型ロボットに特有の非線形、ヒステリシス、および不連続な変形に苦慮していることを強調しています。分散型全身ビジョンからエンドツーエンドの視覚運動ポリシーを学習することで、システムは接触、変形、および周囲の幾何学的形状を直接観察することができ、ロボットの状態とダイナミクスの不確実性を補完することができます。本研究は、複雑で非定型な環境で作動するソフトロボットのための学習ベース制御の研究に向けた基礎を築くものです。