HOT: 遠隔光電容積脈波記録（rPPG）のドメイン適応のための調和制約付き最適輸送

技術的サマリー（日本語）

本論文は、遠隔光電容積脈波記録（rPPG）技術における「ドメインシフト（分布のズレ）」による性能低下問題を解決するため、HOT (Harmonic-Constrained Optimal Transport) という新しいフレームワークを提案しています。この手法は、ドメイン適応のための「周波数領域適応（FDA）」と、心拍信号の生理学的特性を利用した「調和制約付き最適輸送」を組み合わせることで、異なる環境やカメラ条件下でも頑健な心拍数推定を実現します。

以下に、問題定義、手法、主な貢献、結果、および意義について詳細にまとめます。

1. 背景と課題 (Problem)

• rPPG の現状: rPPG は、顔面ビデオの微妙な色変化から非接触で心拍数や血液容積パルス（BVP）を推定する技術です。深層学習の発展により、特定のデータセット内では高い精度を達成しています。
• ドメインシフトの問題: しかし、実際の応用では、照明条件、カメラ特性、被写体の外見、記録プロトコルなどの違いにより、学習データ（ソースドメイン）とテストデータ（ターゲットドメイン）の分布が異なり、性能が著しく低下します。
• 既存手法の限界: 従来の深層学習モデルは、照明や色応答など「外見に関連する要因」に過剰適合（オーバーフィッティング）しやすく、ドメイン間での汎化能力が不足しています。また、画像処理分野では周波数領域の適応が研究されていますが、極めて微妙な色変化に依存する rPPG においては、生理学的情報を損なわずに外見を変換する手法は未研究でした。

2. 提案手法 (Methodology)

提案する HOT フレームワークは、以下の 2 つの主要コンポーネントで構成されます。

A. 周波数領域適応 (Frequency-Domain Adaptation: FDA)

• 目的: ターゲットドメインの外見（照明や色特性）をソースドメインのデータに転写し、外見に依存しない学習を促すこと。
• 仕組み:
  1. ソースドメインのフレームと、ターゲットドメインからサンプリングした参照フレームに対して、2D 離散フーリエ変換（DFT）を適用します。
  2. 周波数スペクトルを「振幅」と「位相」に分解します。
  3. 低周波数成分（DC 成分および低周波帯域）の振幅のみを、ソースフレームからターゲットフレームの振幅に置換します。
  4. 元の位相スペクトルを保持したまま逆フーリエ変換を行い、外見がターゲットドメインに近づいたが、生理学的な脈動（高周波成分や位相情報）は保持された「スタイル変換済み」のビデオを生成します。
• 効果: 照明やカメラの色特性によるドメインバイアスを修正しつつ、心拍に起因する微妙な色変化（生理学的ダイナミクス）を破壊せずに維持します。

B. 調和制約付き最適輸送 (Harmonic-Constrained Optimal Transport: HOT)

• 目的: 元のデータと FDA 変換済みデータの間で、単なる幾何学的な類似性だけでなく、「生理学的に整合性のある」時間的アライメントを強制すること。
• 仕組み:
  1. 調和記述子の抽出: 心拍信号は周期的であり、基本周波数（心拍数）とその高調波（倍音）の間に特定の関係（調和性）があります。各時間トークンに対して、局所的な時間窓内でフーリエ変換を行い、基本周波数と第 2 高調波のエネルギー比（調和比）を計算します。
  2. 最適輸送コストの定義: ソーストークンと変換済みトークンの間の輸送コストを定義します。これには、特徴量の余弦類似度（幾何学的距離）に加え、調和比の差異をペナルティ項として加味します。
  3. Sinkhorn アルゴリズム: エントロピー正則化された最適輸送問題を Sinkhorn 法で解き、生理学的に整合したトークン対応付けを学習します。
• 効果: 外見が変わっても、心拍の周期的な構造（調和性）が保たれていることを保証し、誤った対応付けを防ぎます。

3. 主な貢献 (Key Contributions)

1. rPPG における初の FDA 導入: 未ラベルのターゲットデータを用いて、外見シフトを模倣したトレーニングデータを生成する FDA フレームワークを rPPG 領域に初めて適用しました。
2. HOT の提案: Sinkhorn 輸送に「調和制約」を導入し、外見変換された表現間でも生理学的に整合したアライメントを強制する損失関数を提案しました。
3. 広範な実験による検証: 複数のデータセット（PURE, UBFC-rPPG, MMPD）間でのクロスドメイン評価を行い、提案手法が既存のバックボーン（CNN および Transformer 系）の汎化性能を一貫して向上させることを実証しました。

4. 実験結果 (Results)

• データセット: PURE, UBFC-rPPG, MMPD（多様な照明、肌色、動きを含む大規模データ）を使用。
• 評価指標: MAE（平均絶対誤差）, RMSE, MAPE, ピアソン相関係数（r）。
• 主要な発見:
  • 性能向上: 全てのドメイン適応シナリオ（例：PURE → MMPD）において、HOT を追加したモデルはベースライン（DeepPhys, PhysNet, EfficientPhys など）よりも MAE/RMSE が低下し、相関係数が向上しました。
  • 頑健性: 特に照明や動きのバリエーションが激しい MMPD をターゲットとした場合、性能向上が顕著でした。
  • アーキテクチャ非依存: CNN ベースと Transformer ベースの両方で効果を確認しており、特定のモデル構造に依存しない汎用的な手法であることを示しました。
  • 計算コスト: 学習時のみ追加コスト（トレーニング時間 +11.1%, メモリ +98.4%）がかかりますが、推論時には HOT は適用されないため、推論速度や遅延はほぼ変化しません。

5. 意義と結論 (Significance)

• 実用性の向上: rPPG の実世界への展開を阻害する最大の要因である「ドメインシフト」に対し、生理学的な整合性を保ちながら外見変異を学習に組み込むことで、より頑健なモデル構築を可能にしました。
• 生理学的制約の重要性: 単なる画像変換や特徴量正規化だけでなく、心拍信号固有の「調和性（高調波構造）」を最適輸送の制約条件として利用した点は、生体信号処理における新しいアプローチです。
• 今後の展望: 現時点では学習時に未ラベルのターゲット参照データが必要ですが、将来的にはこの依存性を減らす柔軟な変種や、計算効率のさらなる向上が期待されます。

総じて、本論文は rPPG のドメイン汎化問題に対して、データレベルの適応（FDA）と生理学的制約を組み合わせた損失関数（HOT）という二重のアプローチで、高い有効性を示した画期的な研究です。