Rapid Learning of Dexterous In-Hand Pen Writing through Real-Time Jacobian Estimation

技術的要約：リアルタイム・ヤコビアン推定による器用な手内ペン筆記の高速学習

問題提起

器用な手内操作（把持した物体を指の動きのみで再配置または動かすこと）は、ロボット工学における重要な課題である。現在の学習ベースのアプローチには、明確なボトルネックが存在する：

• 強化学習 (RL): シミュレーション内では効果的であるが、シミュレーションから実機への移行（sim-to-real）のギャップを埋めるために大規模なドメインランダム化に依存しており、複雑で動的な接触を伴う相互作用においては困難を極める。
• 模倣学習 (IL): この手法は膨大なデモンストレーションデータを必要とする。しかし、指が物体や互いの視界を遮るため、高品質な手内デモンストレーションを記録することは困難であり、純粋な視覚的記録（エゴセントリックな視点であっても）ではすべての接触点を捉えることが不可能である。さらに、人間によるデータを異なるキネマティクスを持つロボットへリターゲティングすることも困難である。

どちらのアプローチも、器用さを実現するために膨大なモデリング、シミュレーション、またはデータ収集の努力を必要とすることが多い。著者らは代替案として、事前に収集されたデータや解析的な接触モデルを用いず、物理的なロボット上で指の駆動と物体の運動の関係を直接学習する、軽量でデータ効率の高い手法を提案している。

手法

提案されたシステムは、オンラインのタスク・ヤコビアン推定を用いて、17自由度の人間型ロボットハンド（ORCAハンド）を制御し、手内でのペン筆記を行います。このシステムは、解析的な手と物体のキネマティクスモデル、シミュレーション学習、または事前のデモンストレーションなしで動作します。

1. システム構成と知覚

• ハードウェア: 腱駆動型のORCAハンドが、安全なグリップのために直径を大きくしたカスタム製のソフトTPUスリーブに入ったペンを把持している。手首、薬指、小指は固定されており、制御は親指、人差し指、中指の10個の関節に限定される。
• 知覚: 標準的なウェブカメラを使用して、ペンの上のArUcoマーカーとデスク上のマーカーを追跡し、紙のフレームを定義する。ペン先の位置は、固定オフセットを介して復元され、外れ値除去機能付きのカルマンフィルタによって平滑化される。
• 制御ループ: システムは知覚に制限された約15 Hzのレートで動作する。「知覚・推定・実行」のループで動作し、ペン先の軌跡をリファレンスと比較し、推定されたヤコビアンに基づいて関節コマンドを生成する。

2. オンライン・ヤコビアン推定
本手法の核となるのは、コマンド空間のタスク・ヤコビアン（$J$）を学習する再帰最小二乗法（RLS）エスティメータであり、これは関節速度（$\dot{q}$）とペン先の速度（$\dot{x}$）をマッピングする。

• 更新メカニズム: エスティメータは、測定された速度ではなく、指令された関節増分（$\Delta q_{cmd}$）を用いて$J$を更新する。これは、コマンドから運動へのマッピングの方が運用上重要であり、ノイズが少ないためである。
• 適応性: 忘却係数（$\lambda$）により、エスティメータは緩やかなダイナミクスの変化（例：グリップの滑り）を追跡できる。計算負荷を軽減するために、共分散行列は対角化される。
• 励起フェーズ: 推定をブートストラップするために、システムは6つの定義されたグリップポーズを通じて手を動かす18秒間の初期化フェーズを実行する。これにより、追跡が始まる前に、エスティメータが良好な条件を備えた$(\dot{q}, \dot{x})$のペアを観察することを保証する。

3. 制御則
コントローラは、推定されたヤコビアンの減衰付き右擬似逆行列（$J^+$）を使用して、関節コマンドを計算する：
$$\Delta q = (J^+ v_{cmd} + k_{pb} N^\perp (q_0 - q)) \Delta t$$

• タスク追従: 第1項（$J^+ v_{cmd}$）は、フィードフォワード付きのPIDコントローラを用いて、ペン先を所望の軌跡に沿って駆動させる。
• グリップ安定化: 第2項は、ヤコビアンの近似的な零空間（$N^\perp$）を通じて姿勢安定化力を投影する。これにより、主要な筆記タスクを妨げることなく、手を手始めの安定したグリップポーズ（$q_0$）へと引き戻し、把握が不安定になるのを防ぐ。

主な貢献

1. 身体化された手内筆記: 人間型のハンドが、純粋に手内の指の動きのみを通じて、紙の上に任意の単一ストロークの軌跡（文字や図形）を、サブミリメートル精度の精度で書き込むことを初めて実証した。
2. 軽量でモデルフリーな制御: 解析的な接触モデル、シミュレーション学習、または事前収集されたデモンストレーションを必要としない制御アーキテクチャを実現した。これは、リアルタイムの相互作用とオンライン推定のみに依存している。
3. 汎用性: 同一のエスティメータ/コントローラ構成が、3つの異なるロボットハンドシステム（物理的なORCAハンド1基と、シミュレーション上のShadow HandおよびWuji Hand 2の2基）に適用可能であることを実証し、身体化に依存しないことを示した。
4. オープンソース: コードおよびシミュレーション実装はオープンソースとして公開されている。

結果

• 追従精度: 38回の試行（空中での22回、紙の上での16回）において、システムは平均的な面内追従誤差 0.64 ± 0.10 mm を達成した。最良の試行では、空中（air）で約0.39 mm、紙の上（paper）で約0.57 mmに達した。95パーセンタイル誤差は約1.4 mmであった。
• 堅牢性: システムは、性能の低下なしに、長いホライゾン（例：アルファベット全体を連続して書く31分間の実行）にわたって精度を維持した。また、大きな一時的なエラー（例：約20 mmのスパイク）から再初期化なしに回復することができた。
• アブレーション研究:
  • ヤコビアンの凍結: 初期化後にヤコビアンの推定を凍結すると、急速な発散または精度の低下が生じた。グリップの滑りなどの摂動に対する堅牢性を確保するためには、継続的なオンライン更新が不可欠であった。
  • グリップ正則化: 零空間の姿勢安定化項を無効にすると、把握の不安定化と失敗が60%の試行で発生し、安全なグリップを維持するための必要性が証明された。
  • 速度: 筆記速度は、基本レートである $8 \times 10^{-4}$ m/s (0.8 mm/s) に意図的に低く設定された。速度を2倍、3倍、4倍に上げると、精度と堅牢性が非線形に低下し、スループットと安定性のトレードオフがあることが示された。
• シミュレーション: 手法はMuJoCoに移植され、Shadow HandおよびWuji Hand 2に適用された。物理的な制御（2D）とは異なり、3D座標を制御し、コンプライアントなスリーブも存在しない状況であったが、Shadow Handは0.17 mmのRMSEを、Wuji Hand 2は1.48 mmのRMSEを達成し、異なるキネマティクスに対する本手法の適用可能性を確認した。

意義と主張

著者らは、本研究がオンラインのリアルタイム学習が、器用な手内操作を実現するための実行可能なルートであることを示していると主張している。特に、軽量で適応的なコントローラが必要とされる場合に有効である。

• 重厚な手法への代替案: 本論文は、膨大なモデリングやデータ収集を必要とする強化学習や模倣学習に対し、計算量的に単純でデータ効率の高い代替案として本手法を位置づけている。
• 精密なモデルは不要: 精密な解析モデルや大規模なデータセットの欠如が、高度な器用さを達成するための根本的な障壁ではないことを、結果は示唆している。むしろ、迅速な身体化された学習が十分であり得る。
• 実用性: システムは標準的なノートPCのCPUと標準的なウェブカメラで動作し、義肢の制御など、計算リソースが限られた環境での応用が期待される。

著者らが認めている限界事項:

• 現在のシステムは2Dの面内運動のみを制御しており、面外（z方向）のドリフトは制御されておらず、コンプライアントな紙のマウントによって吸収されている。そのため、硬い表面への筆記や、腕の補助なしでのマルチストローク・タスク（「i」の点など）を行うことはまだできない。
• 接触が不連続なタスク（例：ペンの再把持）には対応できない。
• 筆記速度は現在、人間の筆記と比較して遅く、精度は視覚システムのジッターによって制限されている。