技術要約: KOALA – WiFiベースの予測的人間動作予測のためのKoopman演算子学習

1. 問題提起

本論文は、**WiFiチャネル状態情報（CSI）を用いた予測的な人間動作予測（anticipatory human motion prediction）**の課題に取り組んでいる。WiFi CSIは、カメラベースのポーズ推定に代わる、プライバシー保護に優れインフラ不要な手法であるが、既存のアプローチはポーズ推論を瞬時的な回帰問題として扱っている。そのため、時間的なダイナミクスをモデル化できず、将来の動作予測が不可能となっている。

ビジョンベースの予測手法をCSI由来のポーズに直接適用することは、以下の理由により効果的ではない：

1. ノイズの増幅: CSI由来のポーズは、マルチパスフェージングや環境干渉により、本質的にノイズが多く不完全である。自己回帰的なロールアウト（展開）は、ステップごとにこれらの誤差を増幅させてしまう。
2. 時間的不安定性: 清浄なモーションキャプチャのシーケンスとは異なり、CSIから抽出された時間的ダイナミクスは安定性に欠け、モデリングがより困難である。
3. 誤差の累積: マルチホライゾン（多段階先）予測には、長いシーケンスにわたる一貫性を維持する必要があるが、標準的な自己回帰戦略では、露出バイアス（exposure bias）や誤差の累積に苦しむ。

核心となる問題は、自己回帰的な反復や時間の経過に伴う誤差の蓄積に頼ることなく、ノイズの多いWiFi信号から将来の骨格状態を予測することである。

2. 手法: KOALAフレームワーク

著者らは、ノイズの多いCSI由来のポーズシーケンスを、学習されたKoopman潜在空間へとリフトアップする統一フレームワークであるKOALA（Koopman Operator with Attentive Lifting Architecture）を提案している。この空間では、非線形ダイナミクスが線形ダイナミクスへと変換され、単純な行列・ベクトル積によるマルチホライゾン予測が可能になる。

2.1 アーキテクチャの概要

本フレームワークは、以下の4つの連続したステージで動作する。

1. CSIエンコーディング:

   • Mambaベースのエンコーダが、生のCSIテンソル ($X \in \mathbb{R}^{T \times S \times A}$) を処理し、フレームごとの特徴量とグローバルなコンテキストベクトル ($c$) を抽出する。
   • Mambaアーキテクチャは、線形時間での処理が可能であるため、人体がフレネルゾーンを移動する際のCSI信号における長距離相関の処理に適している。
   • グローバルコンテキスト $c$ は、Koopman演算子を排他的に条件付け（conditioning）する。これは、「CSIがポーズそのものではなく、動作が『どのように』進化するかを調節する」という帰納バイアスを実装している。

2. 統合されたポーズ推定およびエンコーディング:

   • HPEモジュール: Mambaベースの人間ポーズ推定（HPE）モジュールが、CSI特徴量から推定された3D関節座標を復元する。これは、関節条件付きの時間的精緻化、解剖学的埋め込み、およびスケルトンバイアス付き自己注意機構を利用している。
   • 勾配の切り離し（Gradient Detachment）: 決定的な点として、推定されたポーズはダイナミクスモジュールに入る前に計算グラフから切り離される。これにより、ポーズの位置特定目的と予測目的を分離し、予測損失が幾何学的なポーズ精度を低下させるのを防いでいる。
   • スケルトンエンコーダ: 共有された解剖学的タイプ埋め込みを持つスケルトン認識エンコーダを用いて、推定されたポーズをコンパクトで運動学的に構造化された特徴量に変換する。

3. デュアルストリーム融合およびKoopmanダイナミクス:

   • 融合: ポーズ由来の特徴量とCSI特徴量が加算残差融合によって結合される。これにより、ダイナミクスモジュールが直接的なCSI情報を確実に受け取れるようにし、不正確なポーズ推定が表現を支配してしまうことを防ぐ。
   • リフティング: ニューラルネットワーク ($\phi$) が、融合された特徴量を高次元のKoopman潜在空間 ($z_t \in \mathbb{R}^{D_z}$, ただし $D_z > d$) へとマップする。
   • 残差CSI条件付き演算子: コアとなる革新は、残差Koopman演算子 ($K_{eff}$) の定義である：
     $$K_{eff} = I + B + \gamma U(c)V(c)^\top$$
     • $I + B$: 共有された基本ダイナミクスを捉える。
     • $\gamma U(c)V(c)^\top$: 環境固有のマルチパス効果を考慮するために、グローバルなCSIコンテキスト ($c$) に基づいてダイナミクスを適応させる低ランク項。
     • この定式化は、初期化によって恒等行列を強制するのではなく、アーキテクチャ自体に恒等性を組み込むことで、恒等アトラクタ問題（演算子が恒等行列 $I$ に崩壊してしまう問題）を解決している。

4. アンカーベースのデコーディング:

   • 絶対的なポーズを予測する代わりに、モデルはアンカーポーズ（最後に観測されたポーズ）に対する**ポーズの差分（delta）**を予測する。
   • 将来の状態は $z_{T+k} = K_{eff} z_{T+k-1}$ （各ステップで単一の行列・ベクトル積）によって伝播される。
   • 最終的な予測は $\hat{p}_{T+h} = \bar{p} + \Delta_\theta(z_{T+h})$ となる。この「アンカー・デルタ」定式化により、現在のポーズをすべてのホライゾンにコピーするという退化的なショートカットを排除している。

2.2 損失関数

訓練目的関数 ($L$) は3つの項を組み合わせ、コントラスティブ損失、スペクトル損失、または補助損失を個別に必要としない：

1. 予測損失 ($L_{pred}$): すべてのホライゾンにおけるポーズ空間の誤差を罰し、長いホライゾンを重視するように重み付けを行う。
2. Koopman Anchored Latent (KAL) 損失 ($L_{KAL}$): 時間エンコーダの特徴空間で動作する新しい損失。これは、モデルが将来のフレームを観測した場合に生成されるはずの特徴量と、演算子のロールアウトが一致することを要求する。
   • これには再構成項 ($k=0$) とホライゾン重み付き予測項 ($k>0$) が含まれる。
   • 安定性を確保するために短いホライゾンがKAL勾配を支配し、長いホライゾンの監督は $L_{pred}$ によって処理される。
   • この損失は、ダイナミクスの整合性を強制し、リフティングおよび再構成ネットワークが演算子のノルムが無制限に増大するような退化した解に陥るのを防ぐ。
3. ポーズ推定損失 ($L_{est}$): 真値の観測ポーズを用いてHPEモジュールを監督する。

3. 主な貢献

1. 新しいフレームワーク: KOALAは、RFセンシングと予測的動作理解を橋渡しする、WiFi CSIから直接マルチホライゾン人間ポーズ予測を行う初の統一フレームワークである。
2. 残差CSI条件付き演算子: 従来のKoopman手法に内在する恒等アトラクタ問題を解決する残差パラメータ化と、平均ポーズへの崩壊を防ぐアンカー・デルタ予測定式化を導入した。
3. Koopman Anchored Latent (KAL) 損失: 再構成、線形性、および安定性の目的を単一の特徴空間予測項に集約し、複雑なコントラスティブ損失やスペクトル損失を排除した。
4. 堅牢な性能: 標準的なデータセットにおいて、短期的および長期的ホライゾンの両方でベースラインを継続的に上回る性能を示した。

4. 実験結果

著者らは、2つのデータセット、WiPose（2Dポーズ）とMM-Fi（3Dポーズ、大規模、マルチ被験者、マルチ環境）でKOALAを評価した。

• WiPose (2D): KOALAは、すべてのホライゾンにおいて最も低いMPJPEおよびPA-MPJPEを達成した（例：100msで26.14 mm、1000msで27.28 mm）。最強のベースライン（VMRNN）を約19%上回った。極めて重要な点として、ホライゾン間の誤差の悪化は最小限（わずか1.14 mm）であり、有意な誤差の蓄積がないことを示している。
• MM-Fi (3D): KOALAは、すべてのベースライン（MetaFi++のようなWiFi特化型手法や、VMRNNのような時空間モデルを含む）を大幅に上回った。
  • 100msにおいて、KOALAは52.1 mmのMPJPEを達成し、これは競合する最良の手法（SwinLSTMの332.6 mm）よりも約6.4倍低い値である。
  • PCK@10は73.9%に達したが、ベースラインは18.1%を超えることができなかった。
  • モデルはクロス被験者およびクロス環境の設定においても高い性能を維持し、誤差の増大は指数関数的ではなく緩やかであった。

5. 意義と主張

本論文は、KOALAが無線信号からの人間動作予測における新しいパラダイムを確立すると主張している。その意義は以下の通りである：

• ノイズの克服: 自己回帰的手法に典型的な誤差の蓄積なしに、本質的にノイズの多いCSIデータから時間的ダイナミクスをモデル化することに成功した。
• 非線形性の線形化: Koopman理論を活用して、複雑で非線形な人間の動きを線形な潜在空間へと変換し、効率的で非反復的なマルチステップ予測を可能にした。
• プライバシーと遍在性: スマートホーム、ヘルスケア、および人間とロボットの協調のためのアプリケーションにおいて、高精度でプライバシー保護に優れたカメラベースのシステムに代わる手段を提供する。

限界と今後の課題:
著者らは、現在の限界についても謙虚に認めている：

• 現在の定式化は単一人物のシナリオを扱っており、複数人が存在する環境での信号の重畳には対処していない。
• CSI条件付き演算子は、ゼロショットのクロスサイト転送については検証されていない。
• モデルは単一の決定論的な予測を生成するため、起こりうる将来の動作の全分布を捉える能力に欠けている。
• 時間不変のダイナミクスという仮定は、急激な動作の変化の際には崩れる可能性がある。

今後の展望として、KOALAを確率的予測へと拡張することや、混合演算子（mixture-of-operators）またはモード切り替え拡張を通じて急激な遷移に対処することが提案されている。