技術概要：不確実性の保証を備えた視覚ベースの安全な人間・ロボット協調

問題定義

自律型ロボットが人間中心の環境（産業、医療、家庭）でますます運用されるにつれ、安全性を確保するには、人間の姿勢の正確な知覚、信頼性の高い運動予測、および衝突に対する証明可能な安全性保証が必要です。現在の安全な人間・ロボット協調（HRC）のアプローチは、以下の 3 つの決定的な限界に直面しています：

1. マーカーベースシステムへの依存性：証明可能な安全な手法は、しばしばマーカーベースの追跡に依存しており、展開の柔軟性を制限します。
2. 不確実性処理の不十分さ：RGB-D カメラを用いた視覚ベースの手法は、しばしば固定された最大推定誤差を仮定するか、または形式的な保証を欠く不確実性推定を提供します。さらに、これらは Out-of-Distribution（OOD）入力において頻繁に致命的な失敗を起こしますが、このリスクは標準的なアレイタロリック不確実性によって捉えられていません。
3. 保守的な運動モデル：従来の安全性フレームワークは、到達可能領域を定義するために、単純でデータ駆動型ではない運動モデル（例：ISO 13855:2010 に基づき、あらゆる方向で最大速度 1.6 m/s と仮定する）を使用しています。これらのモデルは極めて保守的であり、ロボット運用の非効率化を招きます。一方、最先端の運動予測器は、ヘテロスケダスティックな不確実性推定、エンドツーエンドの不確実性伝播、およびコンフォマル予測保証を欠いています。

手法

著者らは、不確実性推定をコンフォマル予測と統合して証明可能な安全性保証を提供する、視覚ベースの人間姿勢推定および運動予測のための統一フレームワークを提案します。このパイプラインは、以下の 4 つの主要な段階で構成されます：

1. 不確実性認識型 3D 姿勢推定

• 2D 推定：システムは YOLO26 を適応させ、各カメラフレームにおける 2D 平均関節位置だけでなく、各関節の共分散行列も出力するようにします。この共分散は、フローベース回帰モデルにおけるガウス分布のスケールから導出されます。
• 三角測量：3D 関節位置は、標準的な線形三角測量によって計算されます。
• 3D 共分散の伝播：クロス共分散は、較正セット上の残差相関から推定されます。最終的な 3D 共分散は、一次伝播を通じて得られ、較正の不完全さなどの体系的再構成誤差を考慮して、小さな等方性項が付加されます。

2. 不確実性認識型 3D 運動予測

• アーキテクチャ：このモデルは、離散コサイン変換（DCT）トランスフォーマーアーキテクチャを拡張したものです。これは、時間軸に沿って姿勢入力と共分散入力を処理します。
• 周波数分離：低周波成分（滑らかな大域的傾向）と高周波成分（急速で微細な変動）は、アテンションモジュールの後に専用の多層パーセプトロン（MLP）パスで処理され、その後、逆 DCT によって再結合されます。
• 不確実性の統合：不確実性入力は、学習可能な係数によってスケーリングされ、姿勢特徴量に加算されます。
• 共分散予測：安定性と有効性を確保するため、モデルはコレスキー分解を用いて共分散行列を予測します。
• トレーニング戦略：安定した多段階最適化が採用されます：(i) 決定論的ベース予測器のトレーニング、(ii) 固定されたバックボーンを用いた不確実性ヘッドの非結合学習、(iii) 精度と較正のバランスを取るために徐々に重み付け係数（$\lambda$）を減少させたエンドツーエンドの微調整。損失関数は、多変量ガウス負対数尤度（NLL）と $L_1$ 姿勢損失を組み合わせます。

3. コンフォマル予測集合

不確実性推定を証明可能な安全性境界に変換するために、フレームワークはコンフォマル予測集合を構築します：

• 非適合性尺度：予測位置と真の位置との間のユークリッド距離を、予測共分散の最大固有値の平方根で正規化したスコアを定義します。
• 集合の構築：較正セットを用いて、真の関節位置が予測された球体内に確率 $1-\epsilon$ で含まれるような閾値を決定します。
• 時間的拡張：連続時間をカバーするために、予測球の半径は、離散的な予測間の時間ステップに対して $\Delta t \cdot v_{max}$（ここで $v_{max} = 1.6$ m/s）だけ拡張されます。
• 到達可能占有領域：SARA ツールを使用して、これらの関節レベルの球を、安全性シールディングのための全身到達可能占有領域に拡張します。

4. OOD 検出と処理

未見データにおけるモデルの失敗に対処するために：

• 検出：Sketching Lanczos 不確実性（SLU）法を、2D 姿勢推定ネットワークおよび運動予測ネットワークの両方に適用して、OOD 入力を検出します。効率化のため、頭部と手の位置のみを予測する縮小モデルが使用されます。
• 優雅な劣化：入力 OOD とフラグ付けされた場合、パイプラインは停止しません。代わりに、姿勢バッファを埋めるために、以前の有効な運動予測を再利用します。システムは、$N_{req}$ 個の連続した有効な観測が得られた後にのみ、新しい画像ベースの予測の受け入れを再開し、無効なデータのフィードバックループを防止します。

主要な貢献

本論文は、以下の機能を備えた安全な HRC のためのフレームワークを提示します：

1. エンドツーエンドの不確実性伝播：2D 推定から三角測量を経て運動予測まで伝播するヘテロスケダスティックなアレイタロリック不確実性を用いて、3D 人間運動を推定するパイプライン。
2. コンフォマル予測集合：$1-\epsilon$ の有効な高信頼性保証を提供する人間姿勢の予測集合の生成。これは SARA などの安全性シールドと直接統合可能です。
3. 連続的な OOD 処理：過去の有効な予測を再利用することで、連続的な予測設定における Out-of-Distribution 入力を処理する手法。これにより、致命的な失敗なしにパイプラインの連続性が確保されます。

実験結果

このフレームワークは、Human3.6M データセットおよび Franka Emika ロボットを用いた実世界の HRC 環境で評価されました。

• 予測精度：Human3.6M ベンチマークにおいて、モデルの段階 1（決定論的）のパフォーマンスは、最先端のベースライン（HisRep、ST-DGCN など）を上回りました。ただし、最終モデル（不確実性予測を含む）は、段階 1 に比べて平均関節位置誤差（MPJPE）がわずかに増加しました。これは、不確実性推定を提供するためのトレードオフです。
• コンフォマル集合の効率性：標準的な ISO 13855:2010 の一定速度モデルと比較して、提案されたコンフォマル予測集合は、予測された到達可能領域の体積を11 倍削減しながら、より高いカバレッジ（98.25% 対 97.93%）を達成しました。
• OOD 処理の有効性：完全なパイプライン評価において、提案された OOD 処理メカニズムは、無効な姿勢バッファの率を**36.0%**削減し（有効な運動予測の増加）、MPJPE の増加はわずか 2.6% に留まりました。
• 実世界での展開：SARA シールドと統合されたシステムは、Franka Emika ロボット上で正常に動作しました。速度・分離監視モードにおいて、ロボットは常に人間の作業者が到達する前に停止し、証明可能な安全性保証の実用性を示しました。

意義と主張

著者らは、この研究が高精度なデータ駆動型運動予測と厳密な安全性要件の間のギャップを埋めると主張しています。コンフォマル予測と OOD 検出を組み合わせることで、このフレームワークは、従来の運動モデルの過度に保守的な仮定に依存することなく、ロボットが未見の状況で証明可能な安全性保証を持って運用することを可能にします。予測体積が 11 倍削減されたことは、このアプローチが安全性を維持しつつ、協調タスクにおけるロボットの効率性と流動性を大幅に向上させ得ることを示唆しています。優雅な劣化戦略は、センサーデータが時としてトレーニング分布の範囲外になる可能性のある実世界での展開における堅牢性を保証します。