技術要約: MRBench

問題提起

現在の人間動作・テキスト検索ベンチマーク（主にHumanML3DおよびKIT-ML）は、クロスモーダルなアライメントの信頼性の高い評価を妨げる決定的な限界を抱えています。これらのデータセットは均質な屋内モーションキャプチャ（MoCap）シナリオに支配されており、その結果、動作分布が狭く不均衡になっています（例：「歩行」がサンプル全体の大部分を占めるなど）。さらに、これらのベンチマークにおけるテキスト記述は、しばしば過度に簡略化され、反復的であり、意味的な識別性に欠けています。単一のテキストプロンプトが数百の異なる動作インスタンスにマッピングされることが頻繁にあり、標準的な検索指標（Recall@Kなど）では、モデルが「有効な動作」を検索しているのか、それとも「同等に有効だが意味的に冗長な動作」を検索しているのかを区別できない「テキスト衝突」が発生しています。その結果、既存のベンチマークは、クロスドメインの汎化性能や、多様なテキスト粒度（簡潔な要約から詳細な描写まで）に対するモデルの感度を効果的に評価することができません。

手法

1. MRBenchの構築

著者らは、ViMoGen-228Kコーパスに基づく厳格かつ多段階のデータキュレーションパイプラインを通じて構築された包括的なベンチマーク、MRBenchを導入します。このパイプラインは以下の4つのステージで構成されています。

• テキスト誘導型候補フィルタリング: ルールベースのフィルタリングにより、一般的すぎる表現や反復的な表現を除去します。大規模言語モデル（LLM）を用いて、残ったキャプションの意味的な識別性とコンパクトさをスコアリングし、動作のアライメントを妨げる非運動的な詳細（例：過剰なシーンや物体の記述）を排除します。
• タクソノミー誘導型バランスサンプリング: 候補を階層的なタクソノミー（7つの粗いカテゴリ、33の中間カテゴリ、118の詳細カテゴリ）に整理します。層化抽出によりカテゴリ間のバランスの取れたカバレッジを確保し、意味的な重複排除によって均一性を制御します。
• 意味的アライメントと曖昧さの解消: 高度な視覚言語モデル（Gemini-3-pro-previewなど）を用いた構造化意味アライメント評価（SSAE）により、テキストで記述された主要な動作が対応するビデオフレーム内で観察可能であることを検証します。このステップにより、曖昧さのない動作・テキストペアを保証します。不足しているカテゴリについては、LLM生成スクリプトに基づく合成動作（HY-Motion）を用いて補完します。
• マルチグラニュラリティ（多粒度）テキスト拡張: 視覚的に根ざした書き換え（visually grounded rewriting）を用い、各動作に対して3つのレベルのテキスト粒度（Concise：簡潔、Standard：標準、Fine-grained：詳細）でアノテーションを行います。これらは、観察された動作との整合性を保つために手動で検証されます。

データセット統計: MRBenchは、3,390の動作シーケンスを含み、118の詳細カテゴリをカバーしています。データソースは不均質であり、MoCapが43.8%、イン・ザ・ワイルドのビデオが26.5%、合成ビデオが22.7%、生成された動作が7.0%となっています。これにより、合計10,170のキャプションが得られます。

2. 粒度を考慮した検索モデル

検索モデルのクエリ粒度に対する感度に対処するため、著者らは軽量な**粒度認識モデル（granularity-aware model）**を提案します。

• アンカーとなるベース: デュアルエンコーダモデル（グローバル投影ヘッドを持つ動作エンコーダとテキストエンコーダ）を、まず標準的なキャプションペアで学習させ、その後、グローバルなアライメントのアンカーとして固定します。
• 粒度特化型モジュール: 非標準的な粒度（ConciseおよびFine-grained）のために、軽量なモジュールを導入します。
  • 動作抽出器（Motion Extractors）: 学習可能なクエリベクトルが動作トークンに対してアテンション・プーリングを行い、粒度固有の表現を抽出します。
  • テキストアダプター（Text Adapters）: 粒度固有の投影アダプターが、テキスト埋め込みを共有検索空間へとマッピングします。
• 疑似教師あり学習: 学習セットは、LLM（Qwen2.5-7B-Instruct）によって書き換えられた簡潔および詳細なキャプションで拡張され、これらが特定のモジュールの学習のための疑似ラベルとして機能します。
• 推論戦略: 推論時には、テキストの粒度がアクティブなブランチを決定します。非標準的なクエリに対しては、**粒度認識型スコア融合（granability-aware score fusion）**メカニズムが、グローバルな類似度スコアと適応された類似度スコアを統合します。この融合により、推論時にペアとなる標準キャプションを必要とすることなく、異なる記述レベル間でのスコアの比較可能性が維持されます。

主な貢献

1. MRBenchベンチマーク: 人間の動作・テキスト検索を包括的に評価するために特別に設計された、初の大規模かつマルチソースなベンチマークです。これは不均質な動作分布を特徴とし、クロス粒度評価（Concise, Standard, Fine-grained）をネイティブにサポートしています。
2. データキュレーション・パイプライン: ルールベースのフィルタリング、タクソノミー誘導型のバランスサンプリング、クロスモーダルな意味評価、および人間による検証を伴うマルチグラニュラリティな書き換えを組み合わせた、多段階のパイプラインを提供します。
3. 粒度認識モデル: 標準的なキャプションに整合したデュアルエンコーダを固定しつつ、LLMで書き換えられたキャプションを用いて粒度特化型の抽出器とアダプターを教師あり学習する検索アーキテクチャです。この設計により、標準的なキャプションの性能を損なうことなく、非標準的なクエリに対する性能を向上させます。

実験結果

MRBenchにおける広範な評価により、既存手法の重大なギャップが明らかになりました。

• 汎化のギャップ: 均質なデータセット（HumanML3Dなど）で学習されたモデルは、MRBenchで評価した際に大幅な性能低下を示しました。これは、ドメイン内での成功が、多様な動作ソースに対する堅牢性を保証するものではないことを示しています。
• 粒度への感度: 現在のベースライン（TEMOS, TMR, MoPatch, SGAR）は、クエリの粒度に対して顕著な感度を示し、標準的なクエリと比較して、簡潔または詳細なクエリにおいて性能が著しく低下します。
• モデルの性能: MoPatchのアンカー上に構築された提案手法の粒度認識モデルは、標準的なキャプションの性能を損なうことなく、詳細なクエリおよび混合粒度のクエリ（Text-to-MotionおよびMotion-to-Text）に対する検索性能を向上させることに成功しました。
• クロスデータセット転移: MRBench-Trainコーパス（40,168ペア）で学習されたモデルは、最も強力な全体的性能を達成しました。これは、単なるデータの規模よりも、より広範な動作のカバレッジと検索指向のアノテーションが、堅牢なアライメントにとって有益であることを示唆しています。

意義

本論文は、MRBenchが人間動作と言語のアライメント評価を進展させるために必要な、包括的なテストベッドを提供すると主張しています。現在のベンチマークの限界（特に、不均質な動作ソースやマルチグラニュラリティなテキストを扱う能力の欠如）を明らかにすることで、著者らは、この分野における信頼できる進歩には、多様でバランスの取れた、識別性の高い評価プロトコルへの移行が必要であると述べています。提案された粒度認識モデルは、確立されたアライメント能力を犠牲にすることなく、非標準的な記述に対する堅牢性を達成できることを示しており、狭いデータセットや固定されたキャプションスタイルを超えて汎化する動作・言語システムの開発に向けた実用的な基礎を提供しています。