技術要約：上半身の人間と物体の相互作用に向けたリアルタイム・ヒューマンセントリック・ワールドモデリング

問題提起

近年のヒューマンビデオ生成技術の進歩により、テレプレゼンスやインタラクティブなエージェントへの応用を目的とした上半身合成の品質は向上している。しかし、既存の手法は主に人間中心のモーション駆動型生成（例：リアンナクトメントやアバターアニメーション）に焦点を当てており、人間と物体の相互作用（human-object interaction）や、それが周囲の局所的なシーンに及ぼす影響を明示的にモデル化していない。テキスト条件付き生成モデルは相互作用を描写できる場合があるが、モーションと相互作用のセマンティクスが絡み合った自由形式のプロンプトに依存することが多く、その結果、モーション制御が弱まり、接触の結果が不安定になる。さらに、現在の手法の多くは計算コストが高く、オフライン生成に限定されており、人物の動きと特定の物体との接触状態を同時に、かつ低レイテンシで制御する必要があるリアルタイムかつインタラクティブな展開に必要な統一フレームワークを欠いている。

手法

著者らは、上半身のインタラクティブな生成のためのリアルタイム・ヒューマンセントリック・ワールドモデルを提案する。このフレームワークは、協調的な身体、手、および顔の動きが、制御可能な人間の物体との離散的な相互作用とともに進化する、人物を中心とした一貫した局所的世界ダイナミクスを合成する。本手法の核となるのは、2つの補完的なコンポーネントからなる連続・離散結合制御スキームである。

1. 連続的な人間状態制御

協調的な上半身、手、および顔のダイナミクスをモデル化するために、著者らはマルチスケール・モーションエンコーディングに基づく統一された潜在表現を導入する。

• マルチスケール分解: ドリビング入力は、上半身、左手、右手、および顔の4つの領域に分解される。
• 潜在表現エンコーディング: リージョン固有のモーション入力は、ViTベースのエンコーダーを使用して潜在ベクトルへとエンコードされ、これらの潜在変数は共有潜在空間へと融合される。
• 潜在的リターゲティング: 融合されたモーション潜在変数は、線形投影された参照画像パッチと結合され、デコーダーへと入力される。この設計により、明示的な骨格リターゲティングを行うことなく、アイデンティティを保持しながら微細なモーションの詳細を捉え、表現力豊かで精緻な身体・手・顔のダイナミクス制御を可能にする。

2. 離散的な相互作用状態制御

人間と周囲の物体との接触関係をモデル化するために、著者らは、自由形式のセマンティックプロンプトではなく、言語でエンコードされた離散的な相互作用状態コマンドを用いて相互作用を表現する。

• 離散状態: 相互作用状態（$s_o$）は、「非接触（no contact）」および「把握（grasp）」という、小さな離散変数セットとして定義される。
• 明示的制御: テキストは、これらの状態を切り替えるための明示的なコマンドとして機能し、連続的な人間状態制御を補完する。この分離により、同様の人間モーション条件下であっても、異なる局所的な視覚的結果（例：把握している状態 vs 非接触の状態）を生成することが可能になる。
• データパイプライン: 高品質なデータセットを生成するために専用のレンダリングパイプラインが構築された。このパイプラインは、参照生成のためのZ-Image、物体検出のためのQwen-VL、およびビデオ合成のためのWan2.2-14B-I2Vを使用し、相互作用の妥当性を確保するためにQwen-VLによるフィルタリングと目視検査を行っている。

3. リアルタイム最適化

ストリーミングによるリアルタイム推論を実現するために、モデルは効率化のために最適化されている。

• 蒸留: モデルはCausVidを用いて蒸留されており、サンプリングステップを20から4へと削減すると同時に、自己回帰生成のための因果的およびスライディングウィンドウ・アテンションを導入している。
• セルフフォーシング（Self-Forcing）: 反復生成中の時間的誤差の蓄積を軽減するために、Self-Forcing技術が採用されている。
• パフォーマンス: これらの最適化により、2基のH100 GPU上で25 FPSのストリーミング生成が可能となり、エンドツーエンドのレイテンシは約1000 msである。

4. 学習戦略

モデルは2段階の学習戦略を経る。

• ステージI（人間状態の事前学習）: モデルは、Flow Matchingを用い、一般的な上半身のモーションビデオ（物体参照なし）から統一された潜在的な人間表現を学習する。これは、表現アライメント損失（DINOv3特徴量）とキーポイント監督損失によって拡張される。
• ステージII（相互作用状態の学習）: モデルはステージIから初期化され、モーションエンコーダーは凍結され、残りのモジュールは、離散的な相互作用制御を学習するために、合成された相互作用データセットを用いてFlow Matching目的関数のみを用いて学習される。

主な貢献

1. ヒューマンセントリック・ワールドモデル: 連続的な人間状態と離散的な相互作用状態の結合モデリングを通じて、人物を中心としたシーンの進化を定式化したフレームワークであり、単なるモーションの再現を超えた、インタラクティブな局所的世界モデリングを実現した。
2. 統一制御スキーム: 人間状態制御のための統一された潜在的なマルチスケール表現と、言語条件付きの離散的な相互作用状態コマンドを組み合わせ、精密で制御可能な人間と物体の相互作用生成を可能にした。
3. リアルタイムシステム: H100 GPU上で25 FPSの推論をサポートし、低レイテンシでのオンラインな相互作用状態の切り替えを可能にするストリーミングシステムを開発した。

結果

本論文では、提案手法を最先端のベースライン（Wan2.2, Humo, VACE, MAI, および Wan-Animate）と比較した定性的および定量的な評価を提示している。

• 定性的評価: 提案手法は、ベースラインと比較して、優れたアイデンティティ保持、より安定した手と物体の相互作用、および正確なモーション追従性を示している。複雑な手の動きをうまく処理し、同様のドライビングモーションの下で「非接触」と「把握」の状態を明示的に切り替えることができる。
• 定量的評価: 提案手法は、低いFVD (154.1) と tLPIPS (0.178)、高い CLIP-I (0.851)、および向上した物体品質 (OQ: 0.151) を含む、良好な客観的指標を達成している。また、HandSIM および FaceSIM の誤差も低くなっており、より微細な局所モーションの精度が高いことを示している。ユーザー調査においても、テキスト追従性、アクション追従性、モーションの一貫性、および視覚的品質の向上が確認された。

意義

著者らは、本研究がモーション模倣から、リアルタイム・ヒューマンセントリック・ワールドモデリングへの実用的な一歩を象徴すると主張している。連続的な人間の動きと離散的な相互作用状態を分離し、リアルタイム性能のために最適化することで、本フレームワークは、明示的な相互作用制御を欠いているか、あるいはインタラクティブなアプリケーションには遅すぎる既存の手法の限界に対処している。このシステムは、人物を中心とした一貫性があり、制御可能で、インタラクティブな局所的世界状態の合成を可能にし、人物が単に動くだけでなく、周囲の環境と相互作用し、それを変化させるテレプレゼンスやインタラクティブなエージェントへの応用を促進する。