Probing Identity-Specific Motion Signatures: A Controlled Diagnostic Study

技術要約：個体特有の運動シグネチャの探索

問題提起
個体識別（例：人物再識別）は、伝統的に顔の特徴、衣服、テクスチャといった静的な外観の手がかりに依存してきました。運動は、外観の変化を超えて持続する、理論的には堅牢で個体固有のシグネチャですが、現代のビデオモデルが実際にこれらの動的な手がかりを識別に利用しているかどうかは依然として不明なままです。制約のない設定における高い精度は、モデルが真の運動学的パターンを学習しているのではなく、静的なショートカットやデータセット固有の相関関係（例：特定のカメラの視点、アクションの種類、またはスキルレベルとアイデンティティを結びつけること）を利用している結果である可能性があります。核心となる診断的問いは、「個体特有の運動の手がかりが明確に存在する場合、現代のビデオモデルは識別のためにどの程度それらを利用しているのか？」という点です。

手法
これに対処するため、著者らは運動を静的な外観から分離するように設計された、制御された診断用ベンチマークであるBALLER120を導入します。

• データセット構築: BALLER120は、120人のプロNBA選手による4,583個のフリースローシーケンスで構成されています。単一の標準化された多段階のアクション（準備、上昇、リリース、フォロースルー）に焦点を当てることで、アクションの種類やスキルレベルによる粗い変動を最小限に抑えています。
• 入力レジーム: 運動を外観から切り離すために、著者らは各クリップに対して3つの異なる入力レジームを生成しています。
  1. 外観 (Appearance): 背景を除去したフルRGBビデオ。
  2. シルエット (Silhouette): 顔、ジャージ、テクスチャを抑制しつつ、身体の形状と運動力学を保持するバイナリマスク。
  3. スケルトン (Skeleton): ポーズ推定から得られた疎な身体キーポイントであり、身体の形状をさらに抽象化したもの。
• 実験プロトコル: 本研究では、学習済みの行動認識バックボーン（MViTv2、VideoMAEV2、UniFormerV2）を個体識別に転用しています。モデルは以下の3つの条件下でファインチューニングされます。
  • 標準スプリット (Standard Split): 学習データとテストデータが重複する外観分布を共有している。
  • 外観非同一スプリット (Appearance-Disjoint Split): 学習データとテストデータが異なるジャージの外観を持ち、外観の変化に対する堅牢性をテストする。
  • オープンセット評価 (Open-Set Evaluation): 未知のアイデンティティに対してテストを行い、運動シグネチャの転移性を検証する。
• 分析: 著者らは、モデルがどの領域に注目しているかを可視化するためにCAMベースのサリエンシー分析を採用し、固定された形状の手がかりと実行依存の運動の手がかりを区別するために、サニティチェック（シルエットの輪郭をぼかす等）を実施しています。

主な貢献

1. BALLER120 ベンチマーク: 既存のRe-IDや歩行（gait）ベンチマークを補完し、アイデンティティに関連する取得バイアスを低減させることで、熟練したアクションにおける運動シグネチャの診断的探索に特化して設計された制御されたデータセット。
2. 診断プロトコル: 静的な外観の手がかりを系統的に抑制することで、モデルに運動学的証拠への依存を強制し、入力モダリティに基づいて認識戦略がどのように変化するかを直接比較できるフレームワーク。
3. モデルの挙動に関する実証的知見: 現代のビデオモデルは、静的な外観を用いて高い精度を達成できる一方で、利用可能な運動の手がかりを無視することが多いことを示しています。外観が抑制されると、モデルは（足の位置や肘の曲がりなどの）アイデンティティ固有のシグネチャとして機能する運動のマイクロパターンを学習することに成功します。

結果

• 標準スプリットの性能: フル外観モデルは、ほぼ完璧な精度（Top-1 > 97%）を達成します。シルエットおよびスケルトンモデルも競争力のある精度（例：MViTv2 Silhouette Top-1: 98.39%）を達成しており、静的な手がかりなしでもアイデンティティ固有の運動が学習可能であることを示しています。
• 外観非同一性に対する堅牢性: 学習時とテスト時でジャージの外観が異なる場合、フル外観モデルは著しく低下します（例：MViTv2 Top-1は98.60%から5.31%に低下）。対照的に、シルエットおよびスケルトンモデルは堅牢であり（MViTv2 Silhouette Top-1: 89.07%）、外観モデルを大きく上回ります。これは、外観モデルが転移に失敗する静的なショートカットに依存している一方で、抑制されたモデルは安定した運動シグネチャに依存していることを裏付けています。
• サリエンシー分析:
  • 外観モデル: アクションのフェーズに関わらず、静的な領域（顔、ジャージ）に注目します。
  • シルエットモデル: アクションのフェーズに伴って時間的に変化する動的な注意を示します（例：上昇時には脚に、リリース時には腕に集中する）。これにより、彼らが静的なアイデンティティではなく、実行プロセスを追跡していることが確認されます。
  • 安定性: これらの運動シグネチャは、異なるカメラの視点に対しても一貫しており、同じアクションを行う異なるプレイヤー間でも明確に区別されます。
• サニティチェック: シルエットの輪郭をぼかして形状の忠実度を低下させても、パフォーマンスへの影響は最小限であり、認識が正確な身体の輪郭ではなく運動のダイナミクスに依存していることを示唆しています。
• 静的 vs 動的: 静止画には一部のアイデンティティ情報が含まれていますが、時間的関係を利用するビデオモデルの方がより高い信頼度と精度を実現しており、連続的な運動が孤立したポーズよりも強力な手がかりであることを示しています。

意義
本論文は、個体特有の運動シグネチャは存在し、情報量が多く、学習可能であるが、現代のビデオモデルはより容易な静的ショートカットを優先して、それらをしばしば見過ごしていると主張しています。この研究は「タスク誘発的な外観バイアス」を浮き彫りにしています。モデルは利用可能な最も予測しやすい信号に対して最適化されます。アイデンティティ認識においては、それはしばしば静的な外観です。行動認識においては、それは運動です。これらの知見は、微細な個人のダイナミクスを確実に捉えるためには、ビデオモデルに静的な外観の手がかりを抑制する明示的な制約や監督が必要である可能性を示唆しています。BALLER120は、モデルがデータセット固有の相関関係ではなく、真に人間が解釈可能な運動パターンを学習したかどうかを検証するための診断ツールとして機能します。