技術的サマリー：StableHand

問題定義

一人称視点（egocentric）の動画から、相互作用する2つの手の世界座標系における4次元運動を復元することは、ロボットの方策学習を監督する上で重要な能力である。ここで、手首の軌道はエンドエフェクタを誘導し、指の関節運動は把持姿勢を定義する。しかし、このタスクは一人称視点の設定において2つの主要な課題に直面している：

1. 長期の視野外区間：頭部と手の連動した運動により、片手または両手がカメラの視野（frustum）から長時間退出することが頻繁に起こる。
2. 持続的な遮蔽：器用な両手操作や手と物体の相互作用により、手が重度かつしばしば非対称的に遮蔽される。

既存の手法は、これらのシナリオにおいて重大な限界を有している。SLAMベースのパイプラインは、時間的事前知識なしにフレームごとのカメラ座標系での姿勢を世界座標系に変換するため、手が欠落している区間において破滅的なドリフトを引き起こす。世界座標系にネイティブな手法は、シーケンスレベルの運動事前知識を学習するが、通常は視覚的特徴に対して均一に条件付けを行うため、観測の信頼性の不均一性を考慮できていない。具体的には、彼らは手首のグローバルなドリフト誤差が指の関節運動誤差よりも著しく大きいこと、および遮蔽が両手を非対称的に劣化させることを無視している。

手法

著者らは、観測のコンポーネントごとの品質を明示的に活用することで世界座標系における両手の軌道を合成するように設計された、品質感知型のフローマッチングフレームワーク「StableHand」を提案する。このフレームワークは、順次訓練される2つの学習モジュールから構成される：

1. 適応的品質シグナルとネットワーク

核心的な洞察は、観測の品質がコンポーネント間（手首対指）および手間（左対右）で不均一であることである。

• 品質の定義：システムは手の運動品質を4つのチャネルに分解する：左手首（$L_W$）、左手の指（$L_F$）、右手首（$R_W$）、および右手の指（$R_F$）。品質 $q \in [0, 1]$ は、観測された関節と真の関節（ground-truth）間の誤差を用いて、ラジアル基底関数（RBF）カーネル $q = \exp(-e/\sigma)$ によって導出される。
• 品質ネットワーク（QN）：推論時には真の誤差が利用できないため、学習された品質ネットワークがコンポーネントごとの誤差 $\hat{e}$（ミリメートル単位）を直接予測する。ネットワークの入力は以下の通りである：
  • 凍結された市販の推定器からの世界座標系MANO観測（$\bar{y}$）。
  • 二値の手信頼度フラグ（$\delta$）。
  • フレームごとのカメラ姿勢（$g$）。
  • 時間的自己注意を介して集約された学習可能な軌道レベルのコンテキストトークン。
• 訓練：QNは8つの一人称視点両手コーパス（約1000万フレーム）で事前訓練される。これは、誤差の大きさを一致させるための対数空間MSE損失と、予測誤差の実証分布を真値と整合させるための補助的な1次元Wasserstein-1距離損失によって監督され、これにより展開時の帯域幅 $\hat{\sigma}$ が訓練時の $\sigma$ と一致することが保証される。

2. 品質感知フローマッチング生成モデル

生成モデルは、予測された品質シグナル $\hat{q}$ に条件付けられた拡散トランスフォーマ（DiT）である。これは、高品質チャネルと低品質チャネルを異なって扱う4つの結合メカニズムを採用している：

• チャネルごとの前方スケジュール：スカラースケジュールを使用する標準的なフローマッチングとは異なり、StableHandはチャネル固有のスケジュール $\alpha(\tau, \tilde{q})$ を使用する。高品質チャネル（$q \approx 1$）の場合、スケジュールは観測を固定し（$\alpha \equiv 1$）、軌道をアンカーする。低品質チャネル（$q \approx 0$）の場合、スケジュールはそれらをノイズとして扱い（$\alpha \approx 0$）、事前分布からの再生成を必要とする。
• 品質調整された速度ターゲット：訓練目的関数は、速度ターゲット $u_\tau = (1 - \tilde{q}) \odot (x_1 - \varepsilon)$ を回帰する。これにより、モデルは高品質チャネルをそのまま残しつつ、低品質チャネルを再構築することを学習する。
• AdaLN変調：DiTのノイズ除去器は、品質シグナルによって駆動される適応的レイヤー正規化（AdaLN）を使用し、手首トークンと指トークンの更新をそれぞれスケーリングして、チャネルごとの品質構造に一致させる。
• 品質感知初期化：推論時、逆ODEは $\tau=0$ において $x_0 = \tilde{q} \odot \bar{y} + (1 - \tilde{q}) \odot \varepsilon$ で初期化される。これにより、高品質チャネルは観測の近くから、低品質チャネルは純粋なノイズの近くから開始され、切り捨てられた逆プロセス（例：SDEdit）に見られる訓練・テストの不一致が排除される。

主要な貢献

1. コンポーネントごとの品質定式化：本論文は、一人称視点の世界座標系における両手復元を、コンポーネントごとの品質感知生成問題として定式化し、観測品質の2軸（コンポーネント、手）の不均一性を、以前は暗黙的であった構造事前知識として明示的に特定する。
2. 品質感知フローマッチング経路：4値の品質シグナルによって駆動される新規の生成経路であり、チャネルごとの前方スケジュール、品質調整された速度ターゲット、AdaLN変調、および品質感知ODE初期化を統合している。
3. 較正された品質シグナル：視覚ストリームから推論時に予測されるコーパス適応型の品質シグナルの導入。これにより、手首のグローバルなドリフトを指の関節運動誤差から分離し、非対称な遮蔽に対処する。
4. 最先端のパフォーマンス：本手法は、長い手の欠落区間と持続的な遮蔽を特徴とするベンチマークにおいて、優れた結果を達成する。

実験結果

著者らは、StableHandをHOT3D（長い手の欠落区間を特徴とする）およびARCTIC（持続的な手 - 物体遮蔽と非対称な品質を特徴とする）で評価した。

• HOT3D：StableHandは、最強のベースライン（HaWoR）と比較してW-MPJPE（世界座標系平均関節位置誤差）を20–25%削減し、71.89 mm に対して57.83 mmを達成した。改善は、手の欠落割合が高いクリップで最も顕著であった。
• ARCTIC：StableHandは、最強のベースラインに対してW-MPJPEを約25%削減し、171.61 mm に対して124.59 mmを達成した。また、MRRPE（平均相対ルート位置誤差）においても顕著な向上を示し、2つの手の相対的な空間的一貫性に関するより優れた関節推論を示している。
• アブレーション研究：チャネルごとの品質スケジュールを除去すると、W-MPJPEは1.6倍悪化する。手ごとの手首/指の4トークン分割を単一のトークンに置き換えると、パフォーマンスは2.1倍悪化し、チャネルごとの変調の必要性が確認された。予測された段階的シグナルの代わりに定数または二値の品質シグナルを使用すると、ベースラインと同程度かそれ以下の性能となる。

意義と主張

本論文は、正確な世界座標系の手運動推定が、フレームごとの観測の品質と密接に結合していると主張する。この品質の不均一性を明示的にモデル化することにより、StableHandは、学習された両手運動事前知識を用いて信頼できる観測を「アンカー」し、信頼性の低い観測を「再生成」することができる。

著者らは、この研究を、ドリフトや遮蔽のために既存の手法が失敗する器用な両手操作タスクを含む、大規模な一人称視点動画からのロボット方策学習を監督するための基本的なステップとして位置づけている。このフレームワークは、品質ネットワークが再較正または再訓練される限り、異なるアップストリーム姿勢推定器（例：WiLoR対HaMeR）間でも堅牢であることが指摘されている。

本論文は、謙虚に限界を認めている：品質シグナルは特定のアップストリーム推定器に較正されており、手が観測されない極めて長い低品質の地平線の場合、モデルは妥当だが忠実に根ざしていない構成へとドリフトする可能性がある。今後の課題として、物体と手の結合モデリングおよびエンドツーエンド訓練の導入が提案されている。