論文要約：ロボティクスマニピュレータのビジョンベース制御のためのインペインティングを用いたキーポイント検出

1. 背景と課題 (Problem)

従来の画像ベース視覚サーボイング（IBVS）では、ロボットの制御を安定させるために、アームやエンドエフェクタに人工的なマーカー（ArUco マーカーや AprilTags など）を装着し、それを視覚特徴として利用することが一般的でした。しかし、マーカーを使用することには以下の重大な課題があります。

• 実用性の欠如: 動的な環境や自己遮蔽（self-occlusion）が発生する状況では、マーカーが隠れて検出不能になり、制御が失敗するリスクがあります。
• モデル依存性: 従来の自然特徴（マーカーなし）を用いた手法では、高精度なカメラ較正やロボットの運動学モデル（キネマティクス）が必須であり、ソフトロボットや安価なハードウェア、複雑な構造を持つロボットへの適用が困難でした。
• データ収集の難易度: 自然特徴のキーポイントを自動的にラベル付けするためのデータ収集パイプラインが確立されておらず、シミュレーションと実世界のギャップ（Sim-to-Real）が問題となっていました。

本研究は、外部マーカーに依存せず、ロボットの自然な特徴（ボディ上のキーポイント）のみを用いて、カメラ較正やロボットモデルなしで、かつ部分的な遮蔽（オクルージョン）下でも安定して動作するビジョンベース制御フレームワークの実現を目指しています。

2. 提案手法 (Methodology)

提案するパイプラインは、データ収集、キーポイント検出モデルの学習、リアルタイム制御の 3 つの主要フェーズで構成され、特に「インペインティング（画像修復）」技術を中核に据えています。

2.1 データ収集と自動ラベル付けパイプライン

1. マーカーの装着と撮影: 学習用データ収集のために、ロボットアームの所定位置に ArUco マーカーを装着し、様々な姿勢で画像を撮影します。
2. インペインティングによるマーカー除去: 撮影した画像とマーカーの位置情報（バイナリマスク）を入力として、LaMa (Large Mask Inpainting) モデルを用いて、マーカー部分をロボット本体の自然なテクスチャで修復（インペインティング）します。
3. 自動ラベル生成: マーカーの中心座標を「キーポイント」としてラベル付けし、修復された「マーカーなし」の画像とペアにしてトレーニングデータセットを生成します。これにより、手動ラベル付けや精密なカメラ較正・ロボットモデルなしで、大規模な自然特徴データセットを構築できます。

2.2 キーポイント検出モデルの学習

生成されたデータセットを用いて、Keypoint R-CNN (ResNet50 FPN) を微調整（ファインチューニング）します。このモデルは、ロボットのボディ上の自然な特徴（関節やリンクの特定の点）をリアルタイムで検出するように訓練されます。

2.3 遮蔽（オクルージョン）対応：マスクフリー・インペインティング

制御実行中（ランタイム）にロボットが遮蔽された場合、従来のマスク生成が必要ないアプローチを採用します。

• Attention U-Net 生成器 + WGAN-GP: 遮蔽されたロボットの部分を、明示的な遮蔽マスクを必要とせずに直接復元する生成モデル（GAN）を設計しました。生成器には Attention U-Net を、識別器にはスペクトラル正規化を用いた CNN を採用し、Wasserstein GAN with Gradient Penalty (WGAN-GP) で学習します。
• これにより、複雑な形状やテクスチャの遮蔽物に対しても、ロボットの構造を自然に復元し、その上でキーポイント検出モデルを適用できます。

2.4 安定化と制御

• Unscented Kalman Filter (UKF): 検出ノイズや一時的な検出失敗に対処するため、各キーポイントの軌跡を平滑化・予測する UKF を統合しました。これにより、検出が不安定な場合でも制御ループの連続性を保ちます。
• 適応的視覚サーボイング: 検出されたキーポイントを視覚特徴として用い、ロボットモデルやカメラモデルに依存せず、オンラインでジャコビアン行列を推定する適応制御則（Least Squares 最適化）を用いて制御を行います。

3. 主要な貢献 (Key Contributions)

1. マーカー不要かつモデルフリーな制御: 外部マーカー、カメラ較正、ロボットの運動学モデルを一切必要とせず、自然特徴のみで 3 次元（平面外）運動を含む制御を実現しました。
2. 自動データ収集パイプラインの提案: インペインティング技術を活用し、マーカー付き画像から自動的に自然特徴のラベル付きデータセットを生成する手法を確立しました。
3. 遮蔽耐性の向上: 遮蔽検出用のマスク生成を不要とした、リアルタイム動作可能なマスクフリー・インペインティングモデル（Attention U-Net + WGAN-GP）を開発し、部分的な遮蔽下でもキーポイント検出を維持しました。
4. 3D 運動制御の実証: 単一カメラ（モノキュラー）と 2D 画像特徴のみを用いて、深度センサーやステレオ視、ロボットモデルなしで、平面外（3D）の運動制御に成功しました。これは Eye-to-Hand 構成における初の事例の一つです。

4. 実験結果 (Results)

Franka Emika Panda ロボットを用いた実験で以下の結果が得られました。

• 完全視認下: 平面運動（2D）および平面外運動（3D）において、キーポイント検出精度は非常に高く（10 ピクセル以内で 100% 検出）、制御も安定して収束しました。
• 遮蔽下:
  • 小さな遮蔽では、インペインティングと UKF の組み合わせにより、検出精度の低下は最小限に抑えられ、制御性能も良好でした。
  • 大きな遮蔽では、軌道のノイズやオーバーシュートが増加しましたが、システムは目標位置に到達し、部分的な視覚障害に対する強靭性を示しました。
• 比較: 従来のモデル依存手法と比較し、同程度の制御性能（立ち上がり時間、整定時間）を達成しつつ、モデル構築の負担を排除しました。
• 実証実験: 遮蔽下でのカップ積み上げタスクにおいて、ロボットが自然特徴のみで連続的に制御され、タスクを成功させました。

5. 意義と将来展望 (Significance & Future Work)

本研究は、ロボティクス制御において「モデルフリー」と「マーカーフリー」を両立させ、さらに実世界の不確実性（遮蔽）に対処できる新しいパラダイムを示しました。特に、安価なハードウェアやモデル化が困難なソフトロボット、あるいは環境変化が激しい現場での応用可能性を大きく広げました。

今後の課題と展望:

• 極端な遮蔽への対応: 遮蔽物がロボットと色調が似ている場合や、極端に明るい物体による反射がある場合、インペインティングの精度が低下し、制御が不安定になるケースが確認されました。
• 直接キーポイント推定の検討: 画像全体の復元ではなく、空間的な文脈を用いてキーポイント自体を直接推定する（Siamese 構造やグラフニューラルネットワークの活用など）手法への移行を検討しています。
• 多様なロボットへの適用: 本フレームワークをソフトロボットや連続体ロボットなど、より複雑な構造を持つマニピュレータへ拡張することを目指します。

総じて、この研究は視覚ベース制御の適用範囲を、構造化された環境から、より動的で不確実な実世界へと大きく拡張する重要な一歩です。