技術要約: GIRAF

問題提起

、関節を持つ物体との現実的な全身の人間による相互作用を合成することは、エンボディドAI（Embodied AI）やコンピュータグラフィックスにおいて極めて重要な課題であり、ロボットのトレーニングやバーチャルエージェントへの応用が期待されています。既存のアプローチには、以下のような重大な限界があります：

• 限定的な範囲: 現在のモデルは、単純な全身活動（座るなど）といった静的な物体を伴うものか、あるいは器を掴むような器用な手のみの操作のいずれかに焦点を当てることが多く、これらの領域を統一できていません。
• 移行の欠如: ほとんどの手法は、人間がすでに物体に接触しているか、あるいは近くにいることを前提としており、移動（接近）から相互作用（操作）へのシームレスな移行を軽視しています。
• 汎化の問題: 物体固有の接触定義に依存していたり、堅牢な学習データが不足していたりするため、未知の物体の構成、形状、位置に対して汎化することに苦慮しています。
• データの希少性: 多様な関節を持つ物体に関する大規模でペアとなったモーション・シーン・データセットを取得することはコストがかかり困難であり、汎用的なモデルを訓練するためのボトルネックとなっています。

核心的な困難は、多様な幾何学的形状に対して物理的な妥当性と一貫性を確保しながら、移動、きめ細かな手と物体の接触、および物体の関節運動を共同で推論することにあります。

手法

著者らは、関節を持つ物体との相互作用への移行を捉えた、長時間の全身モーションシーケンスを合成するために設計された、テキスト条件付き拡散モデルである GIRAF を提案しています。このフレームワークは、4つのコアコンポーネントに基づいています。

1. 物体中心の表現のための動的基点集合 (Dynamic Basis Point Sets: BPS)

異なる物体の幾何学的形状に対して接触を汎化するという課題に対処するため、著者らは統一された物体中心の表現を導入しています。

• 概念: 固定された物体の表面上に接触をエンコードする（これは新しい形状では失敗します）あるいは手のみのキーポイントに依存する（これは物体との対応関係を欠きます）のではなく、物体の原点を中心とした単位球内にサンプリングされた固定の点集合 ($P$) を定義します。
• 統合: この表現は、以下の3つの特徴を共有空間内で統一します：
  1. 基点から物体表面までの距離 ($od$)。
  2. 基点から手の端部（エンドエフェクタ）までの距離 ($\tilde{J}_{hand}$)。
  3. 基点の対応する表面点が手の関節と接触しているかを示すバイナリ接触ラベル。
• 利点: この共有基点を用いた「投票スキーム」は形状に依存しないため、精密な手と物体の対応関係を維持しながら、未知の物体の構成への汎化を促進します。

2. 混合ドメイン学習戦略

移動と相互作用の間のシームレスな移行を可能にするために、モデルは特化した学習レジメンを採用しています。

• FiLM 条件付け: 特徴量線形変調 (Feature-wise Linear Modulation: FiLM) 層を介した学習可能な埋め込みがトランスフォーマー・ブロックに統合されています。これにより、相互作用に特有の特徴を保持しつつ、モデルが自然に移動を表現することを可能にします。
• マスキングとアニーリング: 移動マスク ($M_{loco}$) は、人間が物体から0.5m以上離れているフレームを特定します。学習スケジュールではアニーリング手法を使用しており、初期のバッチでは移動と相互作用のバランスを取り、後半のバッチでは相互作用を重視するようにしています。これにより、移動の忠実度を損なうことなく、スムーズな移行を学習できます。
• 同質なバッチ: 著者らは、パフォーマンスのために、単一のバッチ内で混合するのではなく、同質なバッチで学習することが不可欠であると述べています。

3. 接触ベースのデータ拡張

データの希少性を軽減し、汎化性能を向上させるために以下の手法を用います：

• 再配置と再スケーリング: 物体を3Dグリッド上に再配置し、ランダムに再スケーリングします。
• 接触の保存: 元のシーケンスにおける手と物体の接触点を、変換された物体上の対応する点にマッピングすることで、相互作用の関係を保持します。
• IKソルバー: 自然な関節運動と物理的な妥当性を確保するため、回転制限を備えたCCDベースの逆運動学（IK）ソルバーを使用して、人間の動きを再計算します。

4. シーン認識型拡散ノイズ最適化

学習後、物理的な妥当性を高めるための精緻化ステージが行われます。

• プロセス: DDIMサンプリングを用いて、勾配降下法により拡散ノイズを最適化します。
• 損失関数:
  • 接触損失 (Contact Loss): 物体の動きを予測された手の接触に合わせます。
  • 衝突損失 (Collision Loss): 符号付き距離関数 (SDF) を使用して、手と物体の貫入を減少させます。
  • 滑らかさ損失 (Smoothness Loss): 時間経過に伴うグローバルな関節位置のジッターを抑制します。

主な貢献

1. 統一されたフレームワーク: 関節を持つ物体との、統一された全身の移動および相互作用を生成できる、テキスト条件付き拡散モデルの導入。
2. 物体中心の接触表現: 接触、手、および物体の表面を共有空間で統一することにより、きめ細かく汎用的な手と物体の相互作用を可能にする、新しい動的BPSアプローチ。
3. 堅牢な学習戦略: 複雑な3D環境における長時間のモーション合成をサポートする、混合ドメイン学習、FiLMベースの条件付け、および接触駆動型のデータ拡張の組み合わせ。

実験結果

本手法は、4つの相互作用カテゴリ（引き出し、電子レンジ、冷蔵庫、洗濯機）をカバーする ParaHome データセット（移動用に Babel を追加）を用いて評価されました。

• 定量的パフォーマンス: GIRAFは、すべての指標において強力なベースライン（LINGOおよびCHOIS）を上回りました。
  • 接触と貫入: 最も低い接触距離 (1.869 cm) と貫入誤差 (1.044 cm) を達成し、精度と再現率の両方が向上しました。
  • ポーズの正確性: 平均関節位置誤差 (MPJPE) を 0.1143 に、手の誤差を 0.1328 に低減しました。
  • テキストとモーションの整合性: 最良の R-precision (0.3812) と最低の Fréchet Inception Distance (FID) (0.0634) を達成し、強い意味的整合性と多様性を示しました。
• 定性的評価および汎化:
  • モデルは、再学習することなく、未知の物体の構成（例：異なるタイプのクローゼットの扉、異なる高さの引き出し）に対して、現実的な相互作用を合成することに成功しました。
  • 制御可能性も示されており、ユーザーはテキストプロンプトを通じて、物理的な妥当性を維持しながら、接触戦略（例：左手、右手、または両手）を指定できます。
  • 視覚的な比較では、GIRAFはきめ細かな手と物体の接触を解決し、貫入を最小限に抑えているのに対し、ベースラインでは手が浮いていたり、深い相互貫入が発生したりすることが多いことが示されました。

意義と限界

本論文は、GIRAFが、移動と操作を単一のモデル内で統一することにより、物理的に妥当で長時間の人間と物体の相互作用を生成する上で、大きな進歩を遂げたものであると主張しています。未知の物体の配置や形状に対して汎化できる能力は、現在のエンボディドAI研究における重要なギャップを埋めるものです。

しかし、著者らは現在のスコープについて以下のように謙虚な姿勢を維持しています：

• 限界: モデルは、学習中に観察された関節メカニズムに限定されています（例：ParaHomeで見ていない回転関節のような新しいメカニズムには苦慮します）。
• アーティファクト: 移動から相互作用への移行時などに、一時的な足の滑りや関節のジッターといったモーションアーティファクトが依然として発生することがあります。これは、限られたペアデータを用いて混合レジームを共同でモデリングすることの難しさによるものと考えられます。
• スコープ: 現在のフレームワークは単純な地形と近距離の操作に焦限于されており、相互作用を伴う階段の昇降のような複雑なナビゲーションシナリオはまだサポートしていません。

今後の課題として、表現をより広範な関節を持つ物体のカテゴリに拡張し、より多様な移動行動を統合することが提案されています。