技術要約: SAMoR – あらゆるスケルトンとトポロジーを持つ関節構造オブジェクトのためのモーションモデリング

1. 問題提起

任意のスケルトン・トポロジー（例：人間、四足歩行動物、鳥類、昆虫、およびメカニカルなリグ）を持つ関節構造オブジェクトのモーションモデリングは、依然として大きな課題である。既存の最先端のモーション生成器、特にテキストからのモーション生成システムは、通常、特定の関節数、順序、および接続性を持つ固定された人間のスケルトン（例：SMPL）に紐付けられている。動物カテゴリーへの拡張も存在するが、一般的には定義済みのトポロジーを前提としている。

クロス・トポロジー（異なるトポロジー間）のアプローチも登場しているが、以下の制限に直面している：

• 単一トークン・アプローチ (K=1): 異なるモーションの詳細をグローバルな表現へと崩壊させ、肢や付属器官のダイナミクスを失わせる。
• 関節ごとのアプローチ (K=J): 各関節を独立して扱うため、異なる関節数を持つリグ間で離散的なモーション語彙を共有することを妨げる。
• 共有語彙の欠如: モーション転送やトークンベースの生成といったタスクにおいて、再利用可能な固定サイズの離散的モーション・コードブックが存在しない。

核心となる困難は、関節レベルのモーションは（関節数や接続性の違いにより）種間で明確に対応しない一方で、機能的な関節グループ（例：人間の腕、オオカミの前脚、鳥の翼）は、意味論的なモーション構造を共有しているという点にある。

2. 手法: SAMoR

著者らは、任意のスケルトン間で共有される少数の固定された K=8 個のパート・トークンにモーション・セグメントをエンコードする、クロス・トポロジー・モーション表現である SAMoR (Skeleton-Aware Motion Representation for Articulated Objects) を提案する。

アーキテクチャの概要

SAMoRは、以下のコンポーネントを持つ Skeleton-Aware Part VQ-VAE (Vector Quantized Variational Autoencoder) として実装されている。

1. 入力表現:

   • モーション特徴量: 各関節の位置と速度 ($x_t^j \in \mathbb{R}^6$)。クロス・トポロジーの設定では、ヘテロジニアスなアセット間でレストポーズ（静止ポーズ）が一致しないため、局所的な回転は省略される。
   • スケルトン・コンディショニング: エンコーダとデコーダは、以下の3つの信号によってターゲットとなるスケルトンに条件付けられる：
     • ポーズ・アンカー: 各関節の3D位置（クロス・トポロジー設定では第1フレーム、HumanML3Dでは標準的なレストポーズ）。
     • 関節名埋め込み: 関節名（例：「前腕」、「翼_L1」）のCLIP埋め込み。
     • グラフ構造: キネマティック・ツリーのホップ距離、チェーン・メンバーシップ、およびエッジ・タイプに基づく、学習されたバイアスを空間的アテンション・ロジットに注入する。

2. エンコーダ (Graph-Transformer):

   • モーション・チャンクを、時間軸方向 ($T$) のテンポラル自己アテンションと、関節方向 ($J$) の空間的自己アテンションを交互に繰り返すスタック・オブ・トランスフォーマー・ブロックを用いて処理する。
   • 空間的アテンションは、上述のグラフ構造バイアスを利用する。
   • ストライド付きの1D畳み込みにより、時間軸を 4$\times$ ダウンサンプリングする。

3. パート・プーリング (関節からトークンへ):

   • クロスアテンション・プーリング: $K=8$ 個の学習可能なクエリ・ベクトルが、$J$ 個のエンコードされた関節を $K$ 個の固定サイズ・パート・トークンへと圧縮する。
   • 特化メカニズム: 教師なしでは、これらのクエリは同一の分布に崩壊（実質的に $K=1$ となる）する傾向がある。これを防ぐため、著者らは Attention Supervision (アテンション監督) を導入した。
   • Attention Supervision Loss ($L_{attn}$): 学習中、標準的な機能グループ・ラベル（関節名から派生）がクロスアテンション・マップをガイドする。各クエリは、それぞれ異なる機能グループ（例：左脚、尾、頭部）に注目するように促される。ラベルが一致しない関節 ($y_j = -1$) は、損失への寄与はゼロとなるが、学習されたアテンションによってルーティングは行われる。
   • 関節名ドロップアウト: リグに欠落や非意味的な名前がある場合でも堅牢性を確保するため、学習中に関節名埋め込みをランダムにドロップアウトさせる。これにより、モデルはテキストラベルのみに依存せず、モーションパターンとスケルトン・トポロジーに依存するように強制される。

4. 量子化:

   • $K$ 個のパート・トークンは、共有コードブックを用いた Residual Vector Quantization (RVQ) によって量子化される。これにより、すべてのリグで共有される離散的モーション語彙 ($Z \in \{1, \dots, V\}$) が生成される。

5. デコーダ:

   • エンコーダと対照的な構造を持ち、逆クロスアテンションを介して $K$ 個の量子化されたパート・トークンを $J$ 個のターゲット関節へと展開する。
   • デコーダは、ターゲット・スケルトンのポーズ・アンカー、関節名、およびグラフ・バイアスによって条件付けられる。これにより、同じソース・トークンを、再学習なしに全く異なるリグへとデコードすることが可能になる（クロス・トポロジー転送）。

下流タスク

• テキスト条件付き生成: $(T/4) \times K$ のトークン・グリッドに対して、テキストとターゲット・スケルトンを条件とした MaskGIT トランスフォーマーを学習させる。
• パート単位の編集: 特定のパート・トークンをマスクおよびインフィリングすることで、局所的な編集（例：脚の動きを変更しつつ、腕の動きを保持する）が可能になる。

3. 主な貢献

1. Graph-Transformerベースのモーション・トークナイゼーション: 任意のスケルトンのモーションを $K=8$ 個の共有パート・トークンに圧縮する VQ-VAE を提供し、ヘテロジニアスなスケルトン間で単一の離散的モーション語彙を実現した。
2. クエリ特化のための Attention Supervision: 各クエリを異なる機能的関節グループにアンカーすることで、クエリの対称性を打破し、クエリの崩壊を防ぐ新しい損失関数を導入した。これは関節名ドロップアウトと組み合わせることで、未知のスケルトンへの汎化を可能にする。
3. 統一されたヘテロジニアス・モーション・コーパス: HumanML3D（人間）、Truebones Zoo（65種の動物）、およびアニメーション化された Objaverse-XL アセットからなる、約7.1万体のキャラクターと約10万のモーションを含む精選されたデータセット。これには、自動化された標準的な関節マッチングと機能グループの注釈が含まれる。
4. 実証された下流能力: 共有パート・トークン空間は、クロス・トポロジーのモーション転送、テキスト条件付き生成、および局所的なパート単位の編集をサポートする。

4. 実験結果

著者らは、未知のスケルトロンを持つ保持（held-out）キャラクターを用いて SAMoR を評価した。

• クロス・トポロジー再構成:

  • SAMoR は正規化 MPJPE で 2.75 $\times 10^{-2}$ を達成した。
  • これは、最も強力な適応型可変-$J$ トークナイザー・ベースライン（MoGenTS, 16.14 $\times 10^{-2}$）よりも 5.8倍低く（良好） なっている。
  • また、単一トークンのグローバル表現 ($K=1$) や、関節ごとのトークナイゼーション ($K=J$) よりも大幅に優れている。
  • アブレーション研究により、Attention Supervision ($L_{attn}$) を除去すると誤差がほぼ倍増し、RVQ を除去すると誤差が 44% 増加することが確認された。

• HumanML3D ベンチマーク:

  • HumanML3D 互換の設定で実装した場合、SAMoR は固定スケルトン特化型モデルと同等の性能を維持した。
  • テキストからのモーション生成: FID は 0.039 であり、MoGenTS (0.033) に匹敵し、MoMask (0.045) よりも優れている。
  • VQ-VAE 再構成: SAMoR-H3D は 17.3 mm の MPJPE を達成し、MoMask (29.5 mm) や T2M-GPT (58.0 mm) を上回った。

• クロス・トポロジー転送:

  • 定性的な結果（図3）によれば、SAMoR はトポロジーの変化に対しても肢（脚、尾、翼）のダイナミクスを保持するが、$K=1$ のベースラインは粗い身体のリズムしか保持できない。
  • ラウンドトリップの一貫性（Source $\to$ SMPL $\to$ Source）は SAMoR が最も高く、パート・トークン表現が中間的なトポロジーを経由してもモーション構造を保持していることを示している。

5. 意義と主張

本論文は、SAMoR が現在のモーションモデルの根本的な限界である「固定されたトポロジーへの依存」に対処していると主張している。機能的な関節グループこそが、クロス・トポロジーにおけるモーションの適切な抽象化レベルであることを特定することで、SAMoR は以下を可能にする：

• 再利用性: 単一の離散的コードブックを、人間、動物、およびメカニカルなリグで使用できる。
• 転送: デコード時にモーションを未知のスケルトンへ直接転送できる。
• 編集: 機能グループの局所的な編集が可能になる。

著者らは、中間的な粒度（$K=8$）が極めて重要であると強調している。$K=1$ では詳細が失われ、$K=J$ では語彙の共有が妨げられる。Attention Supervision Loss は、モーション、構造、および（オプションの）テキストラベルの混合から機能的なクラスターを学習することを可能にし、クエリの崩壊を防ぐ決定的な要素である。

認められた制限事項:

• クロス・トポロジーの設定において、SAMoR は関節の回転ではなく関節位置に基づいて動作する。これは、ヘテロジニアスなアセット間に統一されたレストポーズの参照が存在しないためである。Linear Blend Skinning (LBS) のためのボーン回転の復元には、逆運動学 (IK) の後処理が必要であり、そこには捻じれ（twist）の曖昧性が導入される。
• $K=8$ というグルーピングは固定された設計上の選択である。グループの数や構造を自動的に学習することは、今後の課題として提案されている。