Bi-Manual Joint Camera Calibration and Scene Representation

技術要約：双腕関節カメラキャリブレーションおよびシーン表現 (Bi-JCR)

問題提起
双腕ロボットの操作には、通常、ロボットの末端効果器（エンドエフェクタ）に剛体的に取り付けられた複数のカメラが必要です。これらのシステムが動作を生成したり環境表現を構築したりする前に、カメラをキャリブレーションして、エンドエフェクタに対するカメラの外的な変換関係と、マニピュレータ基底間の相対的なポーズを決定する必要があります。従来の「ハンド・アイ」キャリブレーションは、外部マーカー（チェッカーボードやAprilTagなど）を用いたオフラインの手順に依存していますが、これは煩雑であり、動的なラボ環境ではしばしば成立しなくなります。これらの手法をデュアルアームシステムに拡張することは容易ではありません。なぜなら、2つの異なる座標系を融合させる必要があり、多くの場合、マーカーを保持するための二次的なマニピュレータが必要になるからです。本論文は、外部のキャリブレーションマーカーを使用することなく、手首に取り付けられたカメラを備えたデュアルマニピュレータをキャリブレーションし、同時に共有ワークスペースのメトリックスケールな3D表現を復元するという課題に対処します。

手法
提案されたフレームワークである**Bi-Manual Joint Calibration and Representation (Bi-JCR)**は、3D基盤モデルを活用して、マーカーレスのキャリブレーションとシーン再構成を行います。プロセスは以下の主要なステップで構成されます。

1. データ収集: 2つのマニピュレータ（プライマリおよびセカンダリ）に対し、$N$個の異なるエンドエフェクタポーズのシーケンスを通じてコマンドを実行し、各ポーズでRGB画像をキャプチャします。順運動学（ベースからエンドエフェクタへの変換）は既知ですが、カメラからエンドエフェクタへの変換（$T^E_C$）、2つのロボットベース間の相対ポーズ（$P^{b_1}_{b_2}$）、およびグローバルスケールは未知です。
2. 3D基盤モデルの推論: 両方の腕から収集されたRGB画像セットを、学習済み3D基盤モデル（例：DUSt3R）に入力します。このモデルは以下を出力します：
   • 任意かつスケールされていない座標系における相対的なカメラポーズ。
   • シーンの幾何構造に対応する高密度な3D点集合。
   • 再構成された点に対する信頼度マップ。
3. 結合最適化定式化: Bi-JCRは、未知の変換とスケール因子（$\lambda$）を復元するための結合最適化問題を定式化します。
   • 初期解: 問題を、線形代数を用いて$SO(3)$多様体上で回転成分（スケールに依存しない）を解くプロセスと、問題を相似スケール復元問題（SRP）として扱い、並進およびスケール因子のための最小二乗解を求めるプロセスに分解します。
   • 精緻化: 初期推定値は、変換行列（$SE(3)$）の多様体上での勾配降下法によって精緻化されます。コスト関数は、古典的なハンド・アイ・キャリブレーション方程式$AX = XB$ に従い、観測されたエンドエフェクタの動きと、基盤モデルのカメラポーズから推論された動きとの間の不一致を最小化します。
4. メトリックスケール再構成: スケール因子$\lambda$と、基盤モデルのフレームからロボットベースフレームへの変換が復元されると、スケールされていない点群は、単一のメトリックスケール座標系（プライマリ・マニピュレータのベースフレーム）へとスケーリングおよび変換されます。これにより、衝突判定やセマンティックセグメンテーションなどのダウンストリームタスクに適した高密度な3D表現が得られます。

主な貢献

• Bi-JCRフレームワーク: デュアルマニピュレータ上の手首取り付けカメラをキャリブレーションし、外部マーカーを使用せずに統一された3D環境表現を同時に構築する新しい手法。
• 結合最適化問題: 単一のRGB画像セットから、カメラ・エンドエフェクタ間の変換、アーム間の相対ポーズ、およびメトリックスケール因子を復元し、すべての変換を統一された最適化プロセスの中で解く定式化。
• 実証的検証: 実世界のテーブルトップ環境における厳格な評価により、本手法が正確なキャリブレーションとメトリック精度の3D再構成を生成できることを実証し、グラウンドトゥルースおよびベースライン手法に対して検証を行いました。

実験結果
著者らは、様々な照明条件や物体密度を持つ環境下で、2台のAgileX PiperマニピュレータとUSBウェブカメラを用いてBi-JCRを評価しました。

• キャリブレーション精度: Bi-JCRは、COLMAP（混雑したシーンでの対応付けに苦戦）やRay Diffusion（一貫性のないポーズ回帰に悩まされる）といったベースラインと比較して、回転および並進において一貫して低い残留誤差を達成しました。本手法は、入力画像が少ない（各アームあたりわずか4枚）場合でも堅牢性を示しました。
• スケール復元: 復元されたメトリックスケールは非常に正確でした。マニピュレータあたり8枚の画像を用いた場合、再構成された物体の寸法誤差は最大で2.98%（中央値1.48%）であり、本システムが現実世界のメトリック単位を復元できる能力を確認しました。
• 基盤モデルの選択: アブレーション研究により、異なる3D基盤モデル（DUSt3R, MASt3R, VGGT）を比較しました。DUSt3Rは、すべてのビュー数においてMASt3RやVGGTを上回り、一貫して最高のキャリブレーション残留誤差を示しました。
• 勾配降下法による精緻化: 勾配降下法による精緻化ステップは、特に疎なビュー（画像数が少ない）のシナリオにおいて回転精度を大幅に向上させましたが、ビュー数が増えるにつれてその限界的なメリットは減少しました。
• ダウンストリームタスク: 本フレームワークは、重い物体（例：ツールボックス）の協調把握や、小さな物体（例：スプーン、レンチ）の二腕間での受け渡しを含む複雑な双腕タスクを正常に実行でき、統一された座標系と高密度3D表現の有用性を実証しました。

意義および主張
本論文は、Bi-JCRが、煩雑なマーカーベースのオフラインキャリブレーション手順を不要とする統一的なソリューションを提供すると主張しています。3D基盤モデルを活用することで、本フレームワークは2つの視点間での視覚データの即時融合を可能にし、把握や物体の受け渡しといった双腕の協調タスクを促進します。著者らは、本手法が、外部の深度センサーやマーカーに依存することなく、衝突判定やセマンティックセグメンテーションを直接サポートする、サイズが正確な高密度3D表現を生成することを強調しています。今後の課題として、基盤モデルの信頼度マスクを活用して、画像収集を能動的にガイドし、シーン再構成とキャリブレーションを継続的に精緻化することが示唆されています。