Bilingual Text-to-Motion Generation: A New Benchmark and Baselines

1. 問題提起 (Problem)

テキストから 3D 人間の動作（モーション）を生成する「Text-to-Motion」技術は、ゲーム、映画、ロボティクスなどの分野で重要性を増していますが、現在の研究には以下の重大な課題が存在します。

• 言語の偏り: 既存の手法やデータセット（HumanML3D など）は英語に特化しており、非英語圏のユーザーや文化的に固有の動作表現に対応できていません。
• バイリンガルデータセットの欠如: 高品質なバイリンガル（特に英語 - 中国語）のテキスト - モーション対データが存在しません。
• 翻訳ベースアプローチの限界: 「翻訳してから生成する（Translate-then-Generate）」パイプラインでは、コードスイッチング（文中での言語混合、例：「He walks in a 逆时针 circle」）への対応が不可能であり、文化的なニュアンスや身体動作に特化した意味（例：「作揖」や「螳螂拳」のような固有の動作）が失われるため、正確なモーション生成が困難です。
• 既存マルチリンガルモデルの不適切さ: 汎用的なマルチリンガル言語モデルは、動作生成に必要な時系列関節運動や特定のセマンティクスを捉えるのに適していません。

2. 提案手法と方法論 (Methodology)

著者らは、これらの課題を解決するために、新しいデータセットとモデルを提案しました。

A. データセット：BiHumanML3D

既存の HumanML3D データセットを拡張し、世界初のバイリンガル（英語 - 中国語）テキスト - モーションベンチマーク「BiHumanML3D」を構築しました。

• 構築プロセス: 大規模言語モデル（LLM）を活用した多段階のアノテーションパイプラインを採用しています。
  1. 翻訳: LLM で英語記述を中国語に翻訳。
  2. 精査: 別の LLM で翻訳の誤り（性別バイアス、直訳調など）を修正。
  3. 人間による検証: 人間のアノテーターが LLM の支援を受けながら、不確実なケースや複雑な動詞を含む記述を最終確認・修正。
• 規模: 約 13,312 のモーションシーケンスに、高品質なバイリンガル注釈が付与されています。

B. モデル：Bilingual Motion Diffusion (BiMD)

バイリンガル入力から高品質なモーションを生成するための拡散モデルです。

• クロスリンガルアライメント (Cross-Lingual Alignment, CLA):
  • 異なる言語間の意味的表現を明示的に整合させるためのモジュールです。
  • 教師 - 学生モデル: 英語に特化した強力なモデル（OpenCLIP）を「教師」とし、多言語対応モデル（XLM-Base）を「学生」として、知識蒸留（Knowledge Distillation）を用いて微調整します。
  • 損失関数: 英語と中国語の埋め込みベクトル間の KL 発散を最小化し、共通の潜在空間で意味的に整合した表現を得ます。これにより、言語に依存しない条件空間を構築します。
• バイリンガル拡散学習:
  • 単一のモデルで、英語と中国語の記述をランダムに条件として与えながら学習を行います。
  • これにより、言語固有のニュアンスを保持しつつ、言語間で共有される動作パターンを学習します。
  • クラスフリーガイダンス（CFG）を導入し、生成品質を向上させています。

3. 主要な貢献 (Key Contributions)

1. BiHumanML3D の公開: 英語 - 中国語のバイリンガルテキスト - モーション生成のための最初のベンチマークと、LLM 支援による高品質なデータ構築パイプラインの提案。
2. BiMD と CLA の提案: 言語間の意味的ギャップを埋め、コードスイッチングやゼロショット（学習言語以外の言語）生成を可能にする新しいベースラインモデルとアライメント手法。
3. 包括的な評価: 単一言語モデルや翻訳ベースの手法との比較を通じた、バイリンガル学習の必要性と CLA の有効性の実証。

4. 実験結果 (Results)

BiHumanML3D 上での実験により、以下の結果が得られました。

• 性能の向上:
  • BiMD（CLA あり）は、単一言語の拡散モデルや翻訳ベースのベースラインを大幅に上回りました。
  • FID (Fréchet Inception Distance): 0.045（CLA なしは 0.169）。生成されたモーションの分布が実データに極めて近いことを示しています。
  • R@3 (Recall@3): 82.8%（CLA なしは 80.8%）。テキストとモーションの一致度が向上しました。
• ゼロショット転移とコードスイッチング:
  • 英語データのみで学習したモデルでも、CLA を用いることで中国語入力から正確なモーションを生成できました（ゼロショット性能）。
  • 「He walks in a 逆时针 (counterclockwise) circle」のような言語混合入力に対しても、既存手法（MLD, MotionLCM）が失敗する中、BiMD は意味的に一貫したモーションを生成しました。
• アブレーション研究:
  • 翻訳ベースのアプローチ（DeepL, GPT 等）は、動作の方向性や順序などの重要な詳細が欠落し、性能が著しく低下することが確認されました。
  • CLA を導入することで、英語と中国語間の性能差（R@3 のギャップ）が 4.4% から 0.8% まで縮小され、言語間のバランスが改善されました。
• ユーザー調査:
  • 30 名の参加者による評価で、CLA ありのモデルは、ゼロショット生成や意味的一貫性において、ベースラインや翻訳ベースの手法を有意に上回る評価を得ました。

5. 意義と結論 (Significance)

この研究は、バイリンガルおよびマルチリンガルなテキスト - モーション生成分野における重要な一歩です。

• データとモデルの必要性: 単なる翻訳パイプラインでは不十分であり、言語間の意味的整合性を意識した専用のバイリンガルモデルと高品質なデータセットが不可欠であることを実証しました。
• 文化的適応性: 文化的に固有の動作や、多言語混在する自然な入力（コードスイッチング）に対応可能となり、グローバルな市場や多様なユーザーへのアクセシビリティを向上させます。
• 将来への展望: 公開されたデータセット（BiHumanML3D）とコードは、今後のより広範なマルチリンガル動作生成研究の基盤となるでしょう。

要約すれば、この論文は「言語の壁を越えた高精度な動作生成」を実現するために、**「高品質なバイリンガルデータセット」と「言語間意味整合性を強制するアライメント技術」**の組み合わせが有効であることを示した画期的な研究です。