Enhancing Monocular 3D Hand Reconstruction with Learned Texture Priors

技術要約：学習されたテクスチャ・プライアによる単眼3D手部再構成の強化

問題提起
単眼による3D手部再構成は、依然として困難で制約の多い問題である。高性能なモデルは存在するものの、それらは幾何学的な予測が観測された画像の見た目と完全に一致しないことが多い。著者らは、現在の学習信号は効果的ではあるものの、利用可能な外観情報を十分に活用できていないことを指摘している。さらに、高密度なテクスチャ監督を伴う既存のデータセットは、通常、マルチビューのスタジオ環境に限定されており、「in-the-wild（自然環境下）」の単眼データのような多様性やスケーラビリティに欠けている。核心となる課題は、グラウンドトゥルース（正解）のテクスチャやマルチビューの入力を必要とせずに、単一の画像から得られる疎で部分的かつノイズの多いテクスチャ観測を利用して、3D手部再構成の幾何学的精度とリアリズムの両方を向上させることである。

手法
提案手法は、軽量で学習可能なテクスチャ・モジュールを、既存の幾何学駆動型再構成パイプライン（具体的にはHaMeRトランスフォーマー・アーキテクチャの拡張）に統合するものである。この手法は、主に3つのコンポーネントを通じて動作する。

1. 疎な観測の抽出: 入力画像と予測された3D手部メッシュ（HaMeRのようなベースモデルから取得）が与えられると、システムは可視表面の点をもとにバックプロジェクションを行い、疎なUV-RGBペアを抽出する。これらのペアは、部分的でビュー固有のテクスチャ観測を表す。
2. 学習されたテクスチャ・モジュール: トランスフォーマーベースのアーキテクチャが、可変長で疎な観測を処理する。
   • エンコーダ: RGB値は1×1畳み込みによって埋め込まれ、UV座標は空間的コンテキストを注入するためにランダムフーリエ特徴量を用いてエンコードされる。これらは結合され、学習されたクエリ・トークンを用いてグローバルな特徴を集約するトランスフォーマー・デコーダによって処理される。
   • デコーダ: ピクセル・シャッフルリングを利用した畳み込みアップスケーリング・デコーダが、潜在表現を密でフル解像度のUVテクスチャマップ（224×224）に変換する。
   • 学習戦略: モジュールは弱教師あり学習の形式で訓練される。これは、対応するUV位置における観測色と一致するフルテクスチャマップを再構成するように機能する。損失関数は、局所的な正確さとグローバルな周波数の一貫性の両方を確保するために、マスク付きL1項とフーリエ領域の一貫性損失を組み合わせている。
3. 高密度なアライメント監督: 再構成されたテクスチャは予測されたメッシュに適用され、微分可能なレンダラー（PyTorch3D）を用いて画像空間へとレンダリングされる。フォトメトリック一貫性損失が、このレンダリングされた画像と元の入力画像との間で計算される。この高密度なアライメント信号が、ベースモデルの幾何学的推定の洗練を導く。

決定的な点として、テクスチャ・モジュールは訓練中の「サイドカー」として機能する。提案された構成では、ベースモデルのバックボーンは凍結され、ヘッドのみがテクスチャ・モジュール（事前学習または「ウォームアップ」済み）と共に微調整される。推論時にはテクスチャ・モジュールは必要なく、その改善は再構成モデルの更新された重みを通じてのみ現れる。

主な貢献

• 疎から密への統一テクスチャ・モデル: 著者らは、完全なテクスチャ再構成のために、疎で部分的な手部のテクスチャ観測を統一モデルに組み込む最初の手法を導入した。これは、グラウンドトゥルースのテクスチャやマルチビュー・データを必要としない弱教師あり学習によって実現される。
• トランスフォーマーベースのアーキテクチャ: 不完全なUV-RGB入力から密で一貫性のあるテクスチャを再構成するために、ピクセルレベルのアテンションとランダムフーリエ特徴量を採用した新しいアーキテクチャを設計した。
• スケーラブルな学習手順: 合成データと実世界のデータを混合してモデルを初期化するウォームアップ手順を提案し、手動によるアノテーションを不要にした。
• エンドツーエンドのフォトメトリック監督: 微分可能なレンダリング・フレームワークとフォトメトリック一貫性損失の統合により、手動介入なしに幾何学的アライメントを改善するテクスチャ誘導型の監督が可能となった。

結果
本手法は、HaMeL [46] を拡張して評価され、HIntデータセット（NEWDAYS、VISOR、Ego4Dで構成）およびFreiHANDやHO3Dのような標準的なベンチマークでテストされた。

• 定量的改善: 本手法は、特に「遮蔽（Occluded）」キーポイントのカテゴリにおいて、ベースラインであるHaMeRを一貫して上回った。例えば、VISORデータセットの@0.10閾値において、本手法は遮蔽されたキーポイントに対して64.2%のPCKを達成し、HaMeRの61.8%を上回った。NEWDAYSおよびEgo4Dでも改善が見られた。
• ベンチマーク性能: FreiHANDおよびHO3Dにおいて、本手法はベースラインと同等の性能を達成しており、テクスチャ誘導型の監督が、クリーンなスタジオ撮影データセットにおける性能を低下させないことを示している。一方で、困難な状況、遮蔽されたシナリオ、またはエゴセントリック（一人称視点）なシナリオでは利点を提供している。
• 疎性に対する堅牢性: 実験により、テクスチャ・モデルはわずか1,000個の可視UVピクセルであっても高い再構成忠実度を維持できることが示され、単眼データに特有の疎な監督に対する堅牢性が示された。
• 効率性: テクスチャ・モジュールは訓練の1イテレーションあたり約70msの負荷を追加するが、最終的なモデルはベースネットワークの更新された重みのみに依存するため、テスト時の計算コストはゼロである。

意義と主張
本論文は、外観誘導型のアライメントが、幾何学的キューが曖昧なシナリオ（例：深刻な遮蔽やエゴセントリックな視点）において、幾何学駆動型の学習を補完する有意義な要素であることを主張している。著者らは、自らのソリューションが実用的かつモジュール式であることを強調している。すなわち、追加の手動アノテーションを必要とせず、整理されていない単眼データにもスケールし、幾何学的精度と視覚的リアリズムの両方を向上させるものである。本研究は、学習されたテクスチャ・プライアが、既存の再構成パイプラインに効果的に統合され、3Dの手のポーズおよび形状推定における曖昧さを解消できることを示すことで、将来の改善に向けた基礎を築いている。