SPOTR: Spatio-temporal Pooling One-Token Reconstruction for Universal Physiological Signal Self-supervised Learning

技術要約：SPOTR

問題提起
生理学的信号（EEG、ECG、PPG）は臨床モニタリングにおいて極めて重要であるが、これらの信号に対する自己教師あり学習（SSL）手法は、実用面において重大な限界に直面している。既存のアプローチは、不均一なデータセット間での汎化性能に苦慮しており、ラベル付きデータや計算資源が乏しい実世界の医療シナリオを反映した軽量な適応設定である「線形プロービング（linear probing）」において、しばしば失敗する。
具体的には、本論文は既存のSSLパラダイムにおける2つの主な失敗モードを特定している：

1. 対照学習（C-SSL）： パフォーマンスがビューのデザイン（拡張またはドメイン規則）に対して非常に敏感である。拡張の強度やペアリング基準のわずかな変化が、教師信号を不安定化させ、多様なデータセットへの汎化を困難にする。
2. マスク再構成（MR-SSL）： モデルは、マスクされたセグメントを復元するために、時間的連続性やチャネル間の冗長性を利用する「ショートカット」を学習してしまうことが多く、コンパクトでグローバルな表現を学習することなく、局所的な情報を補完してしまう。これにより、事前学習の損失（loss）は低くなるものの、ダウンストリームのパフォーマンス向上には結びつかない。
   さらに、既存のTransformerベースのモデルは、通常、$C \times N$（チャネル数 $\times$ 時間トークン）の長さの平坦化された時空間シーケンスを処理するため、高い計算コストとメモリコストが発生する。また、ほとんどのモデルはモダリティ固有であり、EEG、ECG、PPGを統合的に扱うフレームワークを欠いている。

手法：SPOTR
著者らは、単一トークンのグローバル・ボトルネックを用いた「圧縮–再構成（compress–reconstruct）」事前学習スキームに基づく、ユニバーサルなSSLフレームワークであるSPOTR（Spatio-temporal Pooling One-Token Reconstruction）を提案する。そのアーキテクチャは、以下の3つのコアコンポーネントで構成される：

1. ST Compactor (S): 入力シーケンスの長さを削減する効率的な時空間圧縮モジュール。入力シーケンスを $C \times N$ として処理する代わりに、入力を「時間トークン」と「空間トークン」という2つの独立したストリームに圧縮する。これにより、時空間構造を維持しつつ、シーケンス長を $C \times N$ から $C + N$ へと大幅に短縮し、計算オーバーヘッドを劇的に軽減する。
2. Latent Aggregator (A): 圧縮された時間および空間のトークンストリームを、単一のグローバル・クラス・トークン（$h_{cls}$）へと融合させるTransformerエンコーダ。このトークンは唯一の情報ボトルネックとして機能し、モデルに対して時間とチャネルの両方にわたるグローバルな構造を捉えることを強制する。
3. Latent Renderer (G): 単一のグローバル・トークン $h_{cls}$ のみに条件付けられた、完全な生理学的信号を再構成するデコーダ。デコーダはクロスアテンション優先のメカニズムを採用しており、マスク・トークンは互いに相互作用する前に、まずグローバルな条件（$h_{cls}$）に注意を向ける。この設計により、モデルがマスクされた領域を埋めるために局所的な可視コンテキストや冗長性に依存することを防ぎ、堅牢でグローバルな表現の学習を促進する。

事前学習の目的関数は、単一トークンのボトルネックのみから再構成された信号と、元の信号との間の再構成誤差を最小化することである。

主な貢献

1. ユニバーサルなフレームワーク： 単一のモデル内でEEG、iEEG、ECG、PPGにわたって汎用的な表現を学習できる、モダリティに依存しないSSLフレームワークであるSPOTRを導入。
2. 効率的なアーキテクタ： エンコーダのトークンシーケンスを $C \times N$ から $C + N$ に短縮するST Compactorを設計し、表現の質を損なうことなく、学習および推論の効率を向上させた。
3. 単一トークン・ボトルネック： 再構成を単一のグローバル・トークンに条件付けることで、ショートカット学習を抑制し、コンパクトで転移性の高い特徴を促進する「圧縮–再構成」スキームの実装。
4. 実証的検証： 多様なダウンストリーム・タスクおよびモダリティにおいて一貫した性能向上を示し、SPOTRがユニバーサルな事前学習フレームワークであることを確立。

結果
モデルは、45万人以上の被験者から得られた1,700万個の信号サンプルを含む20のデータセットを用いて事前学習された。評価は、線形プロービング、少ショット分類（few-shot classification）、およびフル・ファインチューニングを用いて、17のダウンストリーム・データセットに対して行われた。

• 線形プロービング： SPOTRは、強力なベースライン（MOMENTのような汎用時系列モデルや、モダリティ固有のSSLモデルを含む）を一貫して上回った。
  • iEEG: 平均AUCを**21.71%**向上。
  • EEG: 平均AUCを**18.49%**向上。
  • ECG: 平均AUCを**17.86%**向上。
  • PPG: 平均AUCを**4.64%**向上。
  • 全体として、SPOTRは全17データセットで平均AUC **80.86%**を達成し、MOMENTを19.11%上回った。
• 少ショット学習（Few-Shot Learning）： SPOTRは、すべてのモダリティにおいて1-shotから8-shotの設定で安定かつ一貫した改善を示し、限られたラベル付きデータの効果的な活用を証明した。
• 効率性： MOMENT基盤モデルと比較して、SPOTRは以下を達成した：
  • 78.1% 低いレイテンシ (p50)。
  • 206.3% 高いスループット。
  • 51.8% 低いピークGPUメモリ使用量。
• スケーリング： モデルサイズがSmall (3.69M params) から Base (62.47M params) に増加するにつれて、パフォーマンスが一貫して向上しており、事前学習の損失とダウンストリームへの転移の両方において良好なスケーリング則を示した。

意義
本論文は、SPOTRが生理学的信号の基盤モデルにおける汎化性能と効率性の決定的なギャップを解消すると主張している。単一トークンのグローバル・ボトルネックを強制することで、マスク再構成に特有のショートカット学習や、対照学習のビュー感受性を緩和している。このフレームワークは、ラベル付きデータが乏しい実世界の臨床現場への展開に適した「軽量な適応（線形プロービングによる）」を可能にする。さらに、その計算負荷の低減により、リソース制約のある環境での実用性が高まり、マルチモーダルな生理学的信号解析のための統一的なソリューションを提供する。