技術要約: RhythmJEPA

1. 問題提起

リモートフォトプレチスモグラフィ（rPPG）は、血流によって引き起こされる微細な肌の色調変化を解析することで、心拍数などの生理学的信号を推定します。近年の自己教師あり学習によるrPPG手法の進展にもかかわらず、既存の手法には主に2つの限界が存在します。

1. 表現バイアス（Representation Bias）: ほとんどの自己教師あり学習アプローチは、マスクされたRGBピクセルや低レベルの視覚的特徴の再構成に依存しています。これにより、モデルは生理学的なダイナミクスではなく、顔の容貌やテクスチャの学習へと偏ってしまう傾向があります。
2. 時間的スキャニングの制約（Temporal Scanning Constraints）: 近年の状態空間モデル（例：Mambaベースのアプローチ）は、通常、顔のビデオトークンを厳密に時系列順に処理します。これは、脈波信号の持つ周期性および準周期的な性質を利用する能力を制限します。脈波においては、時間的に離れたフレームが同様の生理学的状態を共有している一方で、隣接するフレームが異なる心周期に属している場合があるためです。

その結果、現在の手法は、カメラ、被験者、環境条件が異なるデータセット間での汎化に苦戦しており、堅牢なrPPG推定に不可欠な周期間の関係性を捉えることに失敗することがよくあります。

2. 手法: RhythmJEPA

著者らは、リズム構造を持つ結合埋め込み予測学習（joint-embedding predictive learning）フレームワークであるRhythmJEPAを提案しています。入力フレームを再構成する代わりに、このモデルはマスクされた顔ビデオから潜在的な教師表現（teacher representations）を予測し、生理学に特化した埋め込みの学習を促進します。アーキテクチャは、以下の4つの主要モジュールで構成されています。

A. Spatial Pulse Mixer (SPM)

Transformerベースの空間モデリングに伴う計算量の複雑さを回避するため、RhythmJEPAは軽量なSPMを採用しています。

• 機能: RGBの外観と短期的な時間差を組み合わせることで、脈波に敏感な空間的キューを捉えます。
• メカニズム: 水平、垂直、およびローカルな深度別畳み込みブランチと、それに続く注意機構を用いた空間プーリングを利用します。これにより、複雑さと性能のバランスが取れたコンパクトなフレームレベルの脈波トークン（$Z$）を生成します。

B. Cyclic Rhythm-State Planner (CRSP)

脈波信号の時間的構造を明示的にモデル化するために、CRSPはフレームに潜在的な生理学的状態を割り当てます。

• 状態推定: Fourier Analysis Network (FAN) がフレームごとのリズム状態ロジットを予測します。
• パス・デコーディング: モデルは、遷移文法（transition grammar）によって制約された動的計画法（Viterbi方式）を用いて、最も妥当な周期的状態パス（$s^*$）をデコードします。この文法は、ある状態が「変化しない」か、あるいは「サイクル内の次の状態へ遷移する」かのいずれかであることを強制します（$A(i) = \{i, (i+1) \mod K\}$）。
• 正則化: 安定した状態割り当てを保証するために、2つの損失が導入されます。
  • 周期遷移損失 ($L_{cyc}$): 周期的な遷移文法への遵守を促します。
  • 状態バランス損失 ($L_{bal}$): 脈波サイクル全体における状態使用の均等な分布を確保することで、状態の崩壊を防ぎます。

C. Dual-Order Mamba Encoder (DOM)

DOMは、時系列順のみのスキャニングという制限に対処するため、2つの補完的な順序でトークンシーケンスを処理します。

1. 時系列ブランチ (Chronological Branch): 元の時系列順にトークンをスキャンし、局所的な連続性を捉えます。
2. リズム状態ブランチ (Rhythm-State Branch): デコードされた周期状態（$s^*$）に基づいてトークンの順序を並べ替えてからスキャンします。これにより、Mambaモジュールは、時間的な距離に関わらず、同様の生理学的フェーズを共有するフレーム間の長期依存関係を捉えることが可能になります。

• 融合: 両方のブランチの出力は、トークンごとのゲーティングメカニズムを介して融合され、リズムを考慮した時間的特徴（$Y$）を生成します。

D. 予測ヘッドと学習戦略

• 事前学習: モデルは、結合埋め込み予測アーキテクチャ（JEPA）の目的関数を用いて事前学習されます。生徒（student）ブランチはマスクされたビデオを処理し、指数移動平均（EMA）を用いた教師（teacher）ブランチは元のビデオを処理します。生徒は、マスクされた位置における教師の潜在表現を予測します。
• ファインチューニング: 事前学習されたモデルは、予測されたrPPG波形を真値（ground truth）に適合させるために、負のピアソン相関係数損失を用いて波形回帰のファインチューニングが行われます。

3. 主な貢献

本論文では、4つの主な貢献を述べています。

1. RhythmJEPAフレームワーク: マスクされた顔ビデオから潜在的な生理学的表現を学習する、結合埋め込み予測学習フレームワーク。これは、ピクセル再構成によるバイアスを回避します。
2. Spatial Pulse Mixer (SPM): Transformerベースの空間アテンションのオーバーヘッドなしに、脈波に敏感なキューを効果的に捉える軽量な空間モデリングモジュール。
3. リズムを考慮した時間的モデリング: CRSPとDual-Order Mamba Encoder (DOM) の導入により、周期的な生理学的回帰をモデル化します。これは、従来の時系列スキャニングを超え、周期間の関係性を捉えるものです。これらは、サイクル一貫性と状態バランスの損失によって正則化されます。
4. 実証的検証: フレームワークの有効性と堅牢性を示す、広範なデータセット内およびクロスデータセットの実験。

4. 実験結果

著者らは、PURE、UBFC-rPPG、MMPDの3つのベンチマークでRhythmJEPAを評価しました。

• データセット内パフォーマンス: RhythmJEPAは、すべての指標（MAE、MAPE、RMSE、およびPearsonの $r$）において最先端（SOTA）の結果を達成しました。
  • PUREにおいて、完全な相関（$r=1.00$）を達成し、前述の最高精度（LSTS）と比較してMAEを20.0%削減しました。
  • UBFC-rPPGにおいて、MAEを0.51から0.21へと削減しました（58.8%の改善）。
  • 困難なMMPDデータセットにおいて、相関を0.74から0.76に向上させ、MAEを4.9%減少させました。
• クロスデータセットの汎化性能: モデルは、あるデータセットで学習し別のデータセットでテストする場合（例：PURE $\to$ UBFC-rPPG）において、優れた転移性を示しました。一貫してPhysNetやRhythmFormerといったベースラインを上回っており、これは本モデルがデータセット固有の外観統計ではなく、ドメイン不変な生理学的表現を学習していることを示唆しています。
• 効率性: 3.20Mのパラメータと33.50GのMACsを備えたRhythmJEPAは、最新のTransformerベースの手法（例：PhysFormer, LSTS）よりも大幅に軽量です。高い精度を維持しつつ、優れた精度と効率のトレードオフを提供しており、パラメータ数とレイテンシの観点から、最も効率的なモデルの第2位となっています。

5. 意義と主張

本論文は、RhythmJEPAが外観ベースの再構成から生理学に配慮した表現学習への転換を象徴していると主張しています。RGBピクセルではなく潜在的な教師埋め込みを予測することで、モデルは基礎となる脈波信号に焦点を当てるよう促されます。

本研究の意義は、rPPG信号の周期的な性質を明示的にモデル化している点にあります。著者らは、堅牢な推定のためには時系列的な連続性だけでは不十分であると主張しています。なぜなら、同様の生理学的状態を持つフレームは、時間的に離れている可能性があるからです。CRSPとDOMの統合により、モデルは潜在的なリズム状態に基づいて時間的シーケンスを「並べ替える」ことができ、標準的な逐次モデルが見逃してしまう周期間の依存関係を捉えることができます。

著者らは、学習されたリズム状態は効果的であるものの、依然として暗黙的であり、臨床的に解釈可能な心周期に直接対応するものではない可能性があると謙虚に述べています。今後の課題として、より解釈可能なリズムモデリングや、より多様な実世界の条件下での評価の研究が示唆されています。