論文概要：Explicit Time-Frequency Dynamics for Skeleton-Based Gait Recognition

本論文は、骨格ベースの歩行認識（Gait Recognition）において、外観変化（衣服の着脱や荷物所持など）に対する頑健性を向上させるため、連続ウェーブレット変換（CWT）を用いた明示的な時間 - 周波数ダイナミクスを骨格モデルに統合する新しい手法を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と問題定義

• 歩行認識の現状: 歩行認識には「外観ベース（シルエットや画素情報）」と「骨格ベース（関節座標）」の2つのアプローチがあります。外観ベースの手法（例：3DLocal）は CASIA-B データセットで最高性能を誇りますが、衣服の変化（CL）や荷物所持（BG）といった共変量（covariates）が存在すると精度が大幅に低下します。
• 骨格ベースの課題: 骨格ベースの手法は外観変化に強いという利点がありますが、従来のモデル（GaitMixer, GaitFormer, GaitGraph など）は、関節の運動ダイナミクスを暗黙的にしかモデル化していません。特に、関節速度の時間的変化を複数の周波数帯域で明示的に捉える「時間 - 周波数解析」の活用が不足しており、これが外観変化下での性能限界の一因となっています。

2. 提案手法：Wavelet Feature Stream

提案する手法は、既存の骨格ベースのバックボーンモデルにプラグ＆プレイ（Plug-and-Play）で追加可能な**「ウェーブレット特徴ストリーム」**です。

• 基本コンセプト: 関節の位置情報から速度を計算し、それを連続ウェーブレット変換（CWT）にかけて時間 - 周波数領域（スケーログラム）に変換します。これにより、歩行のリズム（周期的な動き）と、バッグの揺れや姿勢の揺らぎ（非定常なノイズ）を分離・強調します。
• 具体的な処理フロー:
  1. 速度計算: 骨格シーケンス $S \in \mathbb{R}^{2 \times T \times V}$ から、各関節 $v$ における $x, y$ 方向の速度 $v_x(t), v_y(t)$ を差分計算します。
  2. CWT 変換: 各 1 次元速度信号に対して、母ウェーブレット（$\psi$）を用いた連続ウェーブレット変換を適用し、スケール $s$ と時間シフト $\tau$ の関数であるスケーログラム $W_\psi v(s, \tau)$ を生成します。これにより、マルチスケールの時間 - 周波数マップが得られます。
  3. 特徴学習（軽量 CNN）: 生成されたスケーログラムを、軽量なマルチスケール 2D CNN で処理します。
     • ステム: 5x5 と 3x3 の畳み込みで局所的なパターンを洗練。
     • マルチスケールブロック: 3x3（微細な変化）と 7x7（粗いリズム/周期性）の並列ブランチで特徴を抽出。
     • プーリング: グローバル平均プーリングにより、各関節・軸ごとの固定次元ベクトルを生成。
  4. 特徴融合: 得られたウェーブレット記述子 $F_{wavelet}$ を、既存のバックボーンモデル（例：GaitMixer）から得られる空間 - 時間特徴 $F_{backbone}$ とチャネル方向に結合（Concatenation）し、分類器に入力します。
• 利点: バックボーンモデルのアーキテクチャ変更や追加の教師信号を必要とせず、既存モデルに「明示的な運動ダイナミクス」を注入するだけです。

3. 主要な貢献

1. プラグ＆プレイ型ウェーブレットストリームの提案: 関節速度の CWT による時間 - 周波数表現を骨格ベースの歩行認識に導入し、既存モデルを拡張する汎用的なモジュールを提案しました。
2. CASIA-B における SOTA 樹立: GaitMixer に本ストリームを適用することで、骨格ベースの手法として新たな最高性能（SOTA）を達成しました。
3. 外観変化への劇的な改善: 衣服の着脱（CL）や荷物所持（BG）といった困難な条件下で、既存の骨格モデルだけでなく、外観ベースの SOTA モデル（3DLocal など）を上回る性能を初めて達成しました。特に CL 条件での性能向上が顕著です。

4. 実験結果

• データセット: CASIA-B（124 名、11 視点、NM/CL/BG 条件）。
• 比較対象: GaitNet, GaitSet, GaitPart, 3DLocal（外観ベース）および PoseGait, GaitGraph, GaitFormer, GaitMixer（骨格ベース）。
• 主要結果（Rank-1 精度）:
  • 全体平均: GaitMixer + 提案手法は 89.7% を達成（GaitMixer 単体 88.3%）。
  • CL 条件（コート着用）: 提案手法は 86.7% を記録。これは既存の骨格ベース手法（GaitMixer 84.5%）だけでなく、外観ベースの最高峰である 3DLocal（84.5%）をも上回りました。
  • BG 条件（荷物所持）: 87.2%（GaitMixer 単体 85.6% から向上）。
  • NM 条件（通常歩行）: 95.1%（GaitMixer 単体 94.9% からわずかながら向上）。
• アブレーション研究:
  • 母ウェーブレットの選択について検討した結果、Morlet ウェーブレットが最も高い性能（平均 89.7%）を示しました。これは、歩行のような準周期的な振動の振幅と位相の両方を捉えるのに適しているためです。

5. 意義と結論

本論文は、骨格ベースの歩行認識において、「空間的な配置」だけでなく「時間 - 周波数領域における運動ダイナミクス」を明示的にモデル化することの重要性を実証しました。

• 補完性: 従来の空間 - 時間エンコーダが捉えきれない微細な運動情報（特に外観変化下での関節の動き）を、ウェーブレット変換が補完することで、頑健性が飛躍的に向上しました。
• 実用性: プラグ＆プレイ方式であるため、既存の最先端モデルを容易に強化でき、実システムへの導入コストが低いです。
• 将来展望: ウェーブレットパラメータの End-to-End 学習、クロスデータセット/クロスセンサー（IMU など）への展開、および適応的な融合手法の検討が今後の課題として挙げられています。

総じて、本手法は外観変化に強い生体認証システムの構築において、骨格情報のポテンシャルを最大限に引き出す重要なステップとなります。