A New Quaternion-Joint Cable-Driven Redundant Manipulator Configuration and its Control Through FABRIK and Residual Reinforcement Learning

技術要約：クォータニオン・ジョイントを用いた新しいケーブル駆動型冗長マニピュレータの構成、およびFABRIKと残留強化学習によるその制御

問題提起
高度に障害物が存在するワークスペースにおいて、任意の空間経路をナビゲートできるロボットアームは、人工衛星の修理から手術に至るまで、幅広い産業において極めて重要である。ケーブル駆動型冗長マニピュレータ（CDRM）は、軽量化と柔軟性の面で利点があるものの、従来の設計では2N自由度（DOF）を実現するために3N個のモータを必要とすることが多い。クォータニオン・ジョイントを利用した最近の進展は、これを2N自由度に対して2N個のモータへと削減し、よりコンパクトな構造を可能にした。しかし、これらのシステムの制御は依然として困難である。クォータニオン・ジョイントの複雑な運動学モデルは高い計算負荷を強いるだけでなく、これらのシステムに固有の非線形性が、設計と実際の製作（製造の不完全さ、ケーブルのヒステリシスなど）の間の乖離を増幅させる。FABRIK（Forward and Backward Reaching Inverse Kinematics）アルゴリズムなどの既存の制御手法は、製作精度がほぼ完璧でない限り、非構造化環境における収束の堅牢性に課題を抱えることが多い。

手法
著者らは、これらの課題に対処するために、新しい機械設計とハイブリッド制御戦略を提案している。

1. 機械設計:

   • チームは、4セグメント、8ジョイントのマニピュレータを開発した。3つのジョイントを1セグメントあたりに持つ従来の構成（Huangらによる12ジョイント構成など）とは異なり、この設計では1セグメントあたりのジョイント数を2つに削減している。
   • ジョイント数を減らしつつワークスペースを維持するために、この設計ではジョイントあたりの最大屈曲角を$\pm 40^\circ$から$\pm 70^\circ$へと増加させている。
   • クォータニオン・ジョイントは、ユニバーサル・ジョイント機構に適応させたデナビット・ハルテンバーグ（DH）パラメータを用いてモデル化されており、屈曲方向（$\phi$）と角度（$\theta$）の多項式近似を用いている。

2. 制御戦略:

   • FABRIKの実装: ベースラインとなるモデルベース・コントローラを実装した。マニピュレータの状態は、位置ベクトルと方向ベクトルを用いた仮想的な等価モデルに変換される。このアルゴリズムは、内側イテレーション（前方および後方への到達による5自由度の解決）と、外側イテレーション（最終的なロール自由度の解決）を実行し、目標ポーズに収束させる。
   • 残留強化学習（RRL）: 非線形性とモデリング誤差に対処するため、残留強化学習（Residual Reinforcement Learning）アプローチを開発した。
     • ベース・コントローラ: 深層フォワードモデル（ニューラルネットワーク）と逆運動学（IK）ソルバを組み合わせ、公称のケーブル長コマンドを生成する。
     • 残留ポリシー: 強化学習エージェント（BraxフレームワークにおけるProximal Policy Optimizationを用いて学習）が、ベース・コマンドに加えるべき補正的な「残留（residual）」アクションを学習する。
     • 学習アーキテクチャ: システムは非対称アクター・クリティック構成を使用している。アクターは、実際に利用可能なデータ（センサー履歴、目標ポーズ、ベース・コマンド）のみを観測する。一方、クリティック（シミュレーション内でのみ使用）は、特権情報（真のテンドン長、速度、およびグラウンドトゥルースの誤差）にアクセスできる。
     • Sim-to-Real（シミュレーションから実機へ）: シミュレーションと実機の乖離を埋めるために、ケーブルのダンピング、摩擦、慣性に対して広範なドメイン・ランダム化（DR）を適用した。

主な貢献

• 新しい構成: 12ジョイント設計と同等のワークスペースを実現しつつ、ハードウェアの複雑さとコストを低減した、4セグメント・8ジョイントのクォータニオン・マニピュレータの設計と実装。
• 数学的モデリング: クォータニオン・ジョイントおよびマルチセグメント・マニピュレータの完全な運動学モデル、およびFABRIKのための等価ベクトルモデルの導出。
• 制御フレームワーク: この特定のハードウェアのための、FABRIK制御と残留強化学習の実装に関する包括的な記述。
• 実験的検証: シミュレーション（MuJoCo）および物理プロトタイプの両方を用いた、2つの制御手法の比較評価。

結果

• ワークスペース: ジョイントの屈曲角を$70^\circ$に増やすことで、8ジョイント設計が12ジョイントのベースラインと同等のワークスペースを達成したことを実証し、ジョイント数と角度範囲のトレードオフを検証した。
• FABRIKの性能: FABRIKアルゴリズムは、70.4%の成功率と0.0221秒の平均計算時間を達成した。高速ではあるものの、学習ベースの手法と比較して堅牢性に限界があることが示された。
• RRLの性能: 本論文では、残留強化学習アプローチが、位置および方位の精度においてFABRIKを3桁分（1000倍）上回ることを報告している。
  • 注記に関する収束性: 著者らは、RRLアーキテクチャは機能しており単調に学習を進めているものの、本研究で学習された特定のポリシー（5000万ステップ）は、実験予算内で完全に展開可能な状態まで収束しなかったことを明示している。学習された残留ポリシーは、ランダムポリシーに対して平均位置誤差を32%減少させたが、静止状態から評価されたスタンドアロンのベース・コントローラよりは劣る結果となった。著者らは、この原因を、硬いケーブル力学における連続アクションPPOの高いサンプル複雑性と、要求の厳しい評価分布にあるとしている。
• 運動学的偏差: 解析により、ジョイントモデルは低角度では理想的であるが、$\pm 70^\circ$での動作は、理想的な円形経路からの楕円形の偏差という、系統的かつ予測可能な運動学的誤差を生じさせることが明らかになった。これはRRLフレームワークが補償するように設計されているものである。

意義と主張
本論文は、提案された4セグメント・8ジョイント構成が、従来の設計よりもワークスペース効率が高く、コスト効率の高いソリューションを提供することを主張している。また、残留強化学習がこのようなマニピュレータを制御するための実行可能かつ優れた手法であり、FABRIKのようなモデルベースのコントローラを悩ませる非線形性や製作上の不一致を補償できることを示している。

著者らは、提案された機械設計とベース・コントローラの制御は堅牢である一方で、RRLコンポーネントの全潜在能力を引き出すには、さらなる計算リソースと報酬チューニングが必要であることを強調している。本研究は、残留学習インフラストラクチャが正しく動作していること、および高精度なケーブル駆動システムにおける実世界の機械的非線形性を補償するためには学習ベースの手法が必要であることを示す、概念実証としての役割を果たしている。