JointHOI: Jointly Generating Contact Maps Enhances Hand Object Interaction Generation

技術要約：JointHOI

問題提起
テキスト駆動型の手と物体の相互作用（HOI）生成は、ロボティクスや没入型アプリケーション（AR/VR）において極めて重要であるが、物理的に妥当な相互作用を生成することは依然として大きな課題である。近年の手法は自然な動きを生成できる一方で、接触の一貫性を正確に維持することには失敗することが多い。接触のタイミングや近接性のわずかな誤差は、指が物体の上に浮いていたり、物体にめり込んでいたりするといった、目立つアーティファクトとして現れる。既存のアプローチは通常、マルチステージのパイプライン（例：把握を予測した後に動きを洗練させるなど）や、暗黙的な潜在的事前分布に依存している。これらの手法は、静的なバイナリ（二値）の接触キューを利用することが多く、手が物体に近づき、把握し、操作し、そして離していく過程で連続的に変化する、時空間的に構造化された接触の性質を捉えることができない。その結果、これらのパイプラインは時変的な接触の進化をモデル化することに苦慮し、エラーの伝播や物理的な接地性の欠如を招いている。

手法：JointHOI
著者らは、テキストプロンプトから3Dの手と物体の動きおよび動的な接触マップを同時に生成するために設計された、シングルステージの結合拡散フレームワークであるJointHOIを提案する。核心となる革新は、接触を独立した条件付け信号としてではなく、動きそのものの「内部モダリティ（inner modality）」として扱うことにある。

1. 動的接触マップ表現:
   バイナリまたは静的な接触マップの代わりに、JointHOIは接触を連続的な距離ベースの場として表現する。物体の表面は、最遠点サンプリング（Farthest Point Sampling）を用いて固定された$N_c=1024$個のアンカーポイントによって離散化される。各フレームにおいて、モデルは各アンカーから左右の手の表面までの最小ユークリッド距離を予測する。これにより、フレームごとに近接性を追跡する高密度で時系列的に進化する信号（$C \in \mathbb{R}^{L_{max} \times N_c}$）が得られ、閾値への敏感さを回避し、勾配ベースのガイダンスのための滑らかな信号を提供する。

2. 結合拡散モデル:
   本フレームワークは、統一されたシーケンス・トークン$y_l$上で動作するTransformerベースの拡散モデルを採用している。このトークンは、左手、右手、および物体の運動学的状態に、両手の動的な接触マップを結合したものである。

• アーキテクチャ: モデルはテキスト埋め込み（CLIP）および物体の幾何学的特徴（PointNet）によって条件付けられる。これらの信号をシーケンスに注入するために、プレフィックス条件付け（prefix conditioning）を使用する。
• 学習: デノイザーは、標準的な$L_2$再構成損失を用いて、ノイズを含む入力からクリーンな結合シーケンス（動き＋接触）を再構成するように学習される。両方のモダリティを同時に生成することで、モデルは共有された潜在空間内の自己注意（self-attention）メカニズムを通じて、動きと接触の結合（例：接近による距離の減少、解放による距離の増加）を直接学習する。

3. 接触内部ガイダンス（Contact Inner Guidance: CIG）:
   推論時における物理的な妥当性を確保するために、著者らは訓練不要の分類器ベースのサンプリング戦略である**接触内部ガイダンス（CIG）**を導入している。

• メカニズム: デノイジング・プロセス中に、CIGはモデルによって明示的に生成された接触マップ（$\hat{C}$）と、合成された幾何学形状から暗黙的に導出された接触マップ（$\bar{C}$）の間の整合性を強制する。
• エネルギー関数: 接触一貫性エネルギー$\mathcal{L}_{cig}$は、生成された接触距離と導出された接触距離の対数スケール間の$L_1$距離として計算される。対数スケールは、物理的な違反が最も深刻となる微細な近接領域を強調する。
• ガイダンス: このエネルギーのノイズ変数に対する勾配がデノイジングの軌道を制御するために使用され、二次的な学習段階や後処理の洗練を必要とせずに、めり込みや浮遊といったアーティファクトを低減する。

主な貢献

• シングルステージ結合フレームワーク: JointHOIは、3Dモーションと動的な距離ベースの接触マップを単一の拡散ステップで共同生成する初のテキスト駆動型HOI手法であり、マルチステージ・パイプラインの複雑さとエラーの蓄積を排除している。
• 動的接触表現: 手と物体の近接性の連続的な進化を捉える、時系列的に高密度な距離ベースの接触マップを導入した。これは、静的なバイナリ・キューよりも情報量の多い信号として機能する。
• 接触内部ガイダンス（CIG）: 生成された接触マップを利用してモーション生成をガイドする、新しい推論時のサンプリング戦略。外部のニューラルネットワークや後処理を必要とせずに幾何学的一貫性を強制し、物理的なアーティファクトを大幅に減少させる。
• 包括的な評価: 結合モデリングと接触ガイダンスの有効性を検証する広範な実験とアブレーション研究。

実験結果
本手法は、GRAB（剛体）およびARCTIC（関節を持つ物体）のデータセットを用いて評価された。

• 物理的妥当性: JointHOIは、合成された手法の中で最も低い貫通体積（IV）および貫通深さ（ID）を達成した。ARCTICにおいて、強力なベースラインであるText2HOIと比較して、貫通体積を約半分に減少させた。
• 意味的忠実度: 本モデルは優れたテキスト忠実度を示し、両方のデータセットにおいて最高のTop-3アクション精度と最低のFréchet Inception Distance（FID）を達成した。これは、高いモーションのリアリズムと意味的な整合性を示している。
• 効率性: JointHOIは、CIGステップを追加しているにもかかわらず、マルチステージのベースライン（DiffH2O, LatentHOIなど）よりも大幅に効率的であり、MDMのようなシングルステージのベースラインと同等の推論時間を実現している。
• アブレーション研究: 段階的なアブレーションにより、二ステージから一ステージの結合モデルへの移行、動的接触マップの組み込み、およびCIGの適用が、それぞれ意味的な忠実度と物理的な一貫性に明確な改善をもたらしたことが確認された。

意義と主張
論文は、JointHOIがHOI生成におけるモーション合成と物理的接触の根本的な断絶に対処していると主張している。接触を内部モダリティとして扱うことで、本フレームワークは手と物体の近接性の時空間的な進化を明示的にモデル化し、モデルが物理的に接地した共変動パターンを内面化することを可能にする。著者らは、このアプローチがより自然で安定した、物理的に妥当な相互作用をもたらし、従来のメソッドを悩ませてきた浮遊やめり込みといった一般的なアーティファクトを効果的に軽減すると断言している。本研究は、共同生成と推論時の整合性ガイダンスの組み合わせが、ロボティクスや没入型アプリケーションのための高精度なテキスト駆動型相互作用合成への堅牢な道筋を提供することを実証している。