技術的サマリー：NeuroRVQ：生成基盤モデルのためのマルチスケール生体信号トークナイズ

問題提起

脳波（EEG）、心電図（ECG）、筋電図（EMG）などの生体信号は、多様な時間的・スペクトル的スケールにわたる生理的活動を符号化しています。自己教師ありのマスク学習を用いて訓練された基盤モデルは、汎用性の高い表現を学習する上で有望であることを示していますが、その有効性はトークナイザーの品質によってボトルネックとなっています。既存のトークナイザーは、特に高周波数のダイナミクスや微妙な形態的特徴といった、堅牢な生成マスクモデリングに不可欠な完全な構造的情報の保持に苦慮することが多いです。現在の手法は、生体信号のマルチスケールな性質を捉えきれない単一スケールのアーキテクチャや単一コードブックに依存するか、または再構成ターゲットの信号処理特性（例えば、フーリエ位相の円位相トポロジー）を尊重しない訓練損失を採用しています。その結果、生成されたトークンは、効果的な下流タスクのパフォーマンスに必要な忠実度を欠くことがよくあります。

手法

著者は、高忠実度な信号再構成のために設計された、生体信号トークナイザーのモダリティ適応型ファミリーであるNEURORVQを導入します。アーキテクチャと訓練戦略は、以下の 3 つの中核的コンポーネントによって定義されます。

1. マルチスケール時間的アーキテクチャ

NEURORVQ は、離散化の前に生体信号を周波数固有の表現に分解します。

• パッチ生成: 入力となる多変量時系列は、長さ $w$ の時間的パッチにセグメント化されます。
• マルチスケールエンコーダー: インセプションスタイルのモジュールが、各パッチを $S$ 個の異なる時間的ブランチを通じて処理します。各ブランチは、異なる解像度で特徴を捉えるために、異なるカーネルサイズ（$K_{temporal}$）を持つ 1 次元時間的畳み込みを利用します。
• トランスフォーマー統合: 学習可能な時間的および空間的埋め込みがマルチスケール特徴に追加され、その後、共有トランスフォーマー層によって処理されてマルチスケールパッチ表現が生成されます。
• 階層的 RVQ: 単一のコードブックの代わりに、モデルは各時間的ブランチに対して $S$ 個の残差ベクトル量子化（RVQ）コードブックを採用します。各ブランチは、パッチ表現の残差を反復的に量子化し、パッチを再構成する神経トークンの系列（$z_1, \dots, z_N$）を生成します。この階層的アプローチにより、微細な詳細の保持が可能になります。

2. 位相認識型訓練損失

生体波形や位相を直接再構成することに伴う不安定性と非最適性に対処するため、NEURORVQ はフーリエ領域で動作し、3 つのコンポーネントからなる新しい損失関数を使用します。

• 位相損失: 不連続性が $\pm\pi$ 境界で生じる生位相角上の平均二乗誤差（MSE）を最小化する代わりに、モデルは位相の正弦および余弦成分（$\hat{c}, \hat{s}$）を予測します。損失は、予測ベクトル $(\hat{c}, \hat{s})$ と目標単位ベクトル $(\cos \phi, \sin \phi)$ 間のコサイン類似度を通じて計算されます。これは位相の円位相トポロジーを尊重し、連続的な勾配を確保します。
• 対数振幅損失: モデルは、生振幅 $A$ ではなく $\log(1 + A)$ を再構成します。この対数スケーリングはダイナミックレンジを圧縮し、高周波数成分により大きな重点を置きます。
• 時間的正則化: 再構成された波形（予測スペクトルから導出）に対して、時間領域の MSE 損失が適用され、追加の時間領域ガイダンスを提供します。

3. モダリティ適応型設定

アーキテクチャは統一されていますが、ハイパーパラメータはスペクトル時間的性質に一致させるためにモダリティごとに調整されます。

• EEG: 200 Hz に再サンプリング；パッチ長さ $w=1$ 秒；4 ブランチ；ブランチあたり 8 個の RVQ コードブック。
• ECG: 200 Hz に再サンプリング；パッチ長さ $w=200$ ms（QRS 複合体を分離するため）；4 ブランチ；ブランチあたり 8 個の RVQ コードブック。
• EMG: 500 Hz までの広帯域コンテンツを捉えるために 1000 Hz に再サンプリング；パッチ長さ $w=200$ ms；4 ブランチ；ブランチあたり 16 個の RVQ コードブック。

主要な貢献

1. モダリティ適応型マルチスケールトークナイザー: 時間的畳み込みを通じて生体信号を周波数固有の表現に分解し、階層的 RVQ コードブックに符号化する新しいアーキテクチャ。これにより、EEG、ECG、EMG 全体で高忠実度な再構成が可能になります。
2. 位相認識型損失関数: 対数振幅損失とコサイン類似度に基づく位相損失を用いてフーリエスペクトルを再構成する訓練目的。位相角の円位相トポロジーを効果的に処理し、高周波数コンテンツを強調します。
3. NEURORVQ-FM 基盤モデル: 提案されたトークナイザーを使用して、各モダリティ向けの単純なマスクトークン基盤モデルを訓練したもの。これらのモデルは、下流パフォーマンスの主要な駆動力が、巨大なモデル規模やアーキテクチャの複雑さではなく、高忠実度なトークナイズであることを実証しています。

結果

著者は、信号再構成指標と下流タスクのパフォーマンスを通じて NEURORVQ を検証しました。

• 再構成忠実度: NEURORVQ は最先端の再構成パフォーマンスを達成します。アブレーション研究により、マルチスケールアーキテクチャと位相認識型損失の組み合わせが再構成誤差を劇的に減少させることが示されました（例えば、単純なベースラインと比較して EEG の MSE が 43 倍減少）。NEURORVQ は、すべての周波数帯域において既存のコードブックベースのトークナイザー（LaBraM、BrainOmni）を上回ります。
• 下流パフォーマンス:
  • EEG: NEURORVQ-EEG は、5 つの分類タスク（モーター、ERP、メモリ、睡眠、眼）全体で平均バランス精度が最も高く、次点のモデルを 4.2 パーセントポイント上回ります。
  • ECG: PTB-XL ベンチマークにおいて、NEURORVQ-ECG は、困難な 43 クラスの微細分類タスクにおいて HuBERT-ECG のバランス精度を 2 倍にします。
  • EMG: NEURORVQ-EMG は、4 つの分類ベンチマーク（離散ジェスチャー、EPN-612、NinaPro DB5、UCI-EMG）において既存の基盤モデル（PhysioWave、TinyMyo）を上回ります。
• 効率性: NEURORVQ-FM モデルは、コンパクトなバックボーン（EEG/EMG で約 590 万パラメータ、ECG で約 26.4 万パラメータなど）でこれらの結果を達成しており、NeuroGPT（7950 万）や ECGFounder（3070 万）などの競合モデルよりも大幅に小さいです。

意義と主張

本論文は、高忠実度なトークナイズが効果的な生体信号基盤モデルにとって不可欠な要素であると主張します。著者は、この分野における生成マスクモデリングの成功は、モデル規模の増大やアーキテクチャの複雑さの増加よりも、高周波数のダイナミクスや位相関係を含む信号の完全な構造的情報を保持するトークナイザーの能力に依存すると述べています。

高忠実度なトークナイザーと組み合わせられた単純な基盤モデルアーキテクチャが、より大きく複雑な既存モデルを上回ることを実証することで、この研究は生体信号 AI に対する新しい設計原則を示唆しています。それは、生成モデルのサイズよりも、信号の離散表現の品質（信号の「文法」）を優先するという原則です。著者は、NEURORVQ が生体信号分野における基盤モデルのより広範かつ効率的な利用への道を開くと結論付けています。