技術要約: HierGait

問題提起

歩行パターンを通じて個人を識別するバイオメトリック技術である歩行認識は、現実世界の複雑なシナリオにおいて大きな課題に直面している。シルエットベースの手法はディープラーニングによって改善されてきたが、衣服の変化、持ち物による遮蔽、およびセグメンテーションノイズに対して依然として敏感である。一方、スケルトン（骨格）ベースの手法は構造的な安定性を提供するものの、ノイズの蓄積、キーポイントのジッター（揺らぎ）、および低解像度や遮蔽条件下での検出漏れという課題を抱えている。

シルエットとスケルトンを融合させようとする既存のマルチモーダル・アプローチは、主に3つの制限に直面している：

1. 微細な特徴抽出の不足: 現行の手法は、単一スケールの時間的畳み込みでは異種混合的な動きのスケール（例：速い腕の振りと、より遅い胴体の動き）をカバーできないため、特定の身体部位の差別化された微細な運動パターンを捉えることに苦慮している。
2. アライメントのための構造的事前情報の弱さ: 直接的なクロスモーダル融合（例：クロスアテンションによるもの）は、構造的な制約を欠くことが多い。スケルトンデータにノイズがある場合やビューポイントが一致しない場合、アテンションメカニズムはシルエットのストリップを解剖学的に無関係な関節に誤ってアライメントさせ、誤った特徴融合を招く可能性がある。
3. 限定的なグローバル時間モデリング: 長い歩行シーケンスには、主要な運動断片（例：脚の振り）と冗長なフレーム（例：立脚相）が混在している。既存の手法はしばしばすべてのフレームを等しく扱うか、単純なプーリングを使用しており、判別的な運動断片と冗長なデータを区別して優先順位をつけることができていない。

手法

著者らは、構造的・時間的な共同最適化（structural–temporal co-optimization）に基づいて設計された階層的なマルチモーダル歩行認識フレームワークであるHierGaitを提案する。このフレームワークは、局所的時間強化、構造誘導型アライメント融合、およびグローバルコンテキスト再校正という3段階の協調パイプラインに従う。

1. 適応型マルチスケール時間ブランチ (AMSTB)

特徴抽出の不足に対処するため、AMSTBはストリップレベル（シルエット用）およびジョイントレベル（スケルトン用）で動作する。

• マルチスケール抽出: 様々なカーネルサイズを持つ並列の1D畳み込みブランチを採用し、異なる時間的粒度における局所的な運動パターンを捉える。
• 適応的集約: MLPベースのメカニズムにより、時間的セグメントに対して適応的な重みを生成し、情報量の多い運動セグメントを選択的に集約しながら、冗長なフレームを抑制する。これにより、微細な微細運動への感度を高める。

2. マルチチャネル空間・ジョイント構造融合 (MC-SJSF)

クロスモーダル・アライメントの問題を解決するため、MC-SJSFは融合プロセスを導くための構造的事前情報を導入する。

• ジョイント再校正: ノイズの多い、あるいは静止したキーポイントを抑制するために、運動量と信頼度スコアに基づいてスケルトンジョイントの重みを再調整する。
• FBPF事前情報の構築: ジョイントのシルエットストリップに対する垂直方向の位置に基づくガウス相関事前情報を構築する。これは、解剖学的な対応関係（例：上部のジョイントは上部のストリップに位置する）をエンコードする。
• 構造誘導型アテンション: この事前情報をクロスアテンションメカニズムのバイアス項として組み込む。これにより、アテンションの分布を解剖学的に近接したストリップとジョイントのペアに制約し、スケルトンのノイズやビューポイントの変化による誤アライメントを軽減する。

3. グローバル時間コンテキスト融合モジュール (GTCFM)

グローバルな時間モデリングを改善するため、GTCFMは長いシーケンスを判別的な表現へと圧縮する。

• 運動認識サンプリング: 「運動エネルギー」（第1次および第2次のフレーム差分に基づく）を計算し、主要な運動断片を特定する。
• デュアルブランチ・アンカーモデリング: 2種類のアンカーフレームのセットをサンプリングする：
  • センシティブ・ブランチ: 判別的な局所ダイナミクスを捉えるために、運動エネルギーがピークとなるフレームを選択する。
  • ロバスト・ブランチ: グローバルな構造的安定性を維持するために、時間間隔の中心フレームを選択する。
• 適応型ゲート融合: デュアルブランチ・モデリング・アプローチを用い、適応型ゲート融合によって両ブランチからのグローバルコンテキストを結合する。得られた重みは元の特徴量に残留的に書き戻され、主要なフレーム情報を保持しながらグローバルコンテキストを効果的に再校正する。

主な貢献

本論文は、以下の4つの主な貢献を述べている：

1. HierGaitフレームワーク: 構造的・時間的な共同最適化を実現する階層的マルチモーダルフレームワークであり、局所的な詳細、構造的アライメント、およびグローバルコンテキストという核心的なボトルネックを同時に解決する。
2. AMSTBモジュール: 複数の時間的粒度における局所的な運動パターンを捉え、情報量の多いセグメントを適応的に集約することで、微細な時間的感度を高めるメカニズム。
3. MC-SJSFモジュール: ジョイントの垂直位置に基づく構造的事前情報を構築する融合モジュール。これをアテンションのバイアスとして組み込むことで、構造誘導型のアライメントを実現し、スケルトンノイズの影響を大幅に軽減する。
4. GTCFMモジュール: センシティブ・ロバストのデュアルブランチ・アンカーモデリングと適応型ゲート融合を用い、主要なフレームと冗長なフレームを判別的に活用するグローバルコンテキストモジュール。

実験結果

本手法は、CASIA-BおよびCCPGデータセットを用いて評価された。

• CASIA-Bの性能: HierGaitは、通常歩行（NM）、バッグ持ち（BG）、および衣服変化（CL）の条件下で競争力のあるRank-1精度を達成した：

  • NM: 98.8%
  • BG: 96.3%
  • CL: 93.2%
  • 平均: 96.1%
  • 有意性: 本モデルは、他の手法で性能が著しく低下しやすい困難なCL条件下において、最先端の手法（VPNetや$\alpha$-Gait-Tなど）を明確に上回った。

• CCPGの性能: より複雑な実世界のデータセットであるCCPGにおいて、HierGaitは平均精度**75.3%**を達成し、2番目に優れた手法（SPOSGait）を5.6ポイント上回った。すべてのサブ条件（CL, UP, DN, BG）において強い堅牢性を示した。

• アブレーション研究: 実験により、各モジュール（AMSTB, MC-SJSF, GTCFM）が独立して性能に寄与していることが確認された。特に、MC-SJSFにおける構造的事前情報は、アライメントの誤りを減らすために極めて重要であることが示され、GTCFMにおけるデュアルブランチ設計は、感度と安定性のバランスを取るために必要であることが証明された。

重要性と主張

著者らは、HierGaitが単一ステージの融合を超えたアプローチを提供することで、マルチモーダル歩行認識の核心的なボトルネックに対処するための新しい視点を提供するものであると主張している。本フレームワークの主な意義は、以下の能力にある：

• 外見の摂動の緩和: 構造的事前情報とマルチスケール時間モデリングを活用することで、シルエットのみの手法やアライメントの不十分なマルチモーダル手法の弱点である衣服の変化（CL）に対して高い堅牢性を維持する。
• 構造的アライメントの最適化: アテンションメカニズムに解剖学的事前情報を導入することで、「ノイズの多いスケルトン」問題への解決策を提示し、ポーズ推定が不完全であっても、クロスモーダル融合が解剖学的に一貫性を保つようにする。
• ローカルとグローバルのモデリングのバランス: 局所的な時間強化とグローバルなコンテキスト再校正の共同最適化により、モデルは過度な平滑化や微細なアイデンティティの手がかりの喪失を招くことなく、主要な運動断片と冗長なフレームを効果的に区別できる。

本論文は、本手法が非常に効果的である一方で、依然としてスケルトン推定の品質に一定の依存性があることを示しており、今後の研究はより堅牢なポーズノイズ抑制メカニズムに焦点を当てるべきであると結論付けている。