技術要約: LeNEPA – 時系列表現学習のための非拡張型次発現潜在予測（No-Augmentation Next-Latent Prediction）

1. 問題提起

時系列の自己教師あり学習（SSL）は急速に発展しているが、ドメイン固有のビュー（view）や拡張（augmentation）戦略への過度な依存が、実用的なデプロイメントを阻害している。ECG_JEPA（PTB-XL向け）のような手法は成功を収めているが、その「レシピ」（具体的には拡張とマスキングの戦略）を、構造的に異なる信号ファミリーに再チューニングなしで転用した場合、その性能はしばに脆弱である。

本論文は、より限定的で具体的な実用上の問いを提示している：「SSLのレシピのメソッド固有の設定を、変更せずに再利用して、事前学習の信号ファミリーが変わった場合、そのレシピはどう振る舞うか？」 最適にチューニングされたベンチマークとの比較ではなく、著者らはこれを「固定レシピによるストレス・テスト」として扱い、新しいデータタイプに適用する際に、ドメイン固有の不変性（例：ECGの形態学）に依存することのコストを測定している。

2. メソドロジー: LeNEPA

著者らは、データセットごとのビュー・エンジニアリングを必要とせずに、有用な凍結シーケンス埋め込みを生成するように設計された、軽量な非拡張型SSLアーキテクチャであるLeNEPA（Latent Euclidean Next-Embedding Prediction Architecture）を導入する。

コア・アーキテクチャ

• バックボーン: 因果的Transformerが、ストライド畳み込み（ViTスタイル）によって生成されたパッチ埋め込みのシーケンスを処理する。
• 目的関数: 自己回帰的な次潜在トークン予測（next-latent-token prediction）。各タイムステップ $t$ において、モデルは投影空間における平均二乗誤差（MSE）を最小化することで、$t+1$ における潜在トークンを予測する。
• 非拡張（No Augmentation）: マスキングやクロッピングに依存するJEPAのバリアントとは異なり、LeNEPAはデータ拡張を行わず、生のシーケンス上で直接動作する。

安定化メカニズム

標準的な次発現予測（NEPA）は通常、崩壊（collapse）を防ぐために指数移動平均（EMA）とストップグラディエントを用いたティーチャー・ネットワークに依存する。LeNEPAはこれらを以下の手法に置き換える：

1. SIGReg (Sketched Isotropic Gaussian Regularization): ストップグラディエントの代わりに、LeNEPAはトークン埋め込みの分布を等方性ガウス分布へと正則化するSIGRegを使用する。決定的なことに、著者らは、時間軸方向のSIGReg（各サンプル内のタイムステップ内のトークン集合を正則化すること）が最も効果的な安定化手法であり、グローバルな正則化が見逃してしまう時間次元に沿った崩壊を防ぐことを見出した。
2. ギロチン正則化（Guillotine Regularization）: 予測損失は、軽量な投影空間（プロジェクター $h_\psi$ を使用）で計算される。このプロジェクターは評価時には破棄されるため、学習された表現が投影ヘッドではなくバックボーン内に存在することを保証する。

損失関数

総損失は、予測損失と正則化項を組み合わせたものである：
$$\mathcal{L} = \lambda_{pred}\mathcal{L}_{pred} + \lambda_T \mathcal{L}_{SIG}^{time}$$
ここで、$\mathcal{L}_{pred}$ は投影された予測と投影されたターゲット（1ステップシフトしたもの）の間のMSEであり、$\mathcal{L}_{SIG}^{time}$ は時間的トークン集合に対して等方性正則化を適用する。

3. 評価プロトコル

本研究では、レシピの移植性とチェックポイントの転送を分離するために、2つの異なる評価プロトコルを採用している。

1. 固定レシピによる事前学習の再利用 (PTB-XL vs. Diag):

   • データセット: PTB-XL（実在の12誘導ECG）およびDiag（多様な信号タイプを持つAionoscopeによって生成された合成診断コーパス）。
   • 設定: LeNEPAとJEPAのベースラインの両方を、両方のデータセットに対して独立して訓練する。
   • 制約: 「レシピ」はPTB-XLのチューニングに基づいて固定されている。JEPAのレシピはECG用に調整されたマスキング・スケジュールを使用し、LeNEPAは固定された非拡張構成を使用する。どちらもDiagに対して再チューニングは行わない。
   • プローブ: 表現の質を測定するために、中間バックボーン層（0–8）に対して凍結された線形プローブを訓練する。

2. 凍結エンコーダー・チェック (CauKer to UCR-128):

   • CauKerデータセットで事前学習されたLeNEPAのバリアントを凍結し、MantisV2のプロトコルに従って、ランダムフォレストを用いてUCR-128アーカイブ全体で評価する。これは、単一の非拡張エンコーダーが128の多様な単変量タスクに汎化できるかどうかをテストするものである。

4. 主な結果

固定レシピの再利用 (PTB-XL vs. Diag)

• JEPAの脆弱性: ECG用に調整されたJEPAのレシピは、PTB-XL（インドメイン）では強力に機能するが、構造的に異なるDiagデータセットにそのまま再利用すると大幅に劣化する。これは、JEPAがドメイン固有の拡張の仮定に依存していることを浮き彫りにしている。
• LeNEPAの堅牢性: LeNEPAは、修正なしで両方のデータセットにおいて有用な凍結プローブの利得を維持する。LeNEPAは、最終的な性能と学習ダイナミクスの両面において、固定されたJEPAレシピをDiagにおいて上回る。
• 学習ダイナミクス: LeNEPは、初期の表現獲得が速いことを示している。JEPAのリードアウトが5k〜10k回の更新を必要とするのに対し、LeNEPAは2k〜5k回の更新で最終的なAUROC/AUPRC利得の80%に到達する。

凍結エンコーダー・チェック (UCR-128)

• CauKerで事前学習されたLeNEPAのシングルシード・ベストチェックポイント実行は、UCR-128においてランダムフォレストを用い、77.65% の平均精度を達成した。
• この結果は、Mantis（78.81%）から1.16ポイント以内、MOMENT（77.89%）から0.24ポイント以内であり、LeNEPAが因果的バックボーンを使用し、手作りの拡張や第1階差ブランチ（Mantisに対する構造的な不利）を使用していないにもかかわらず、この数値を実現した。

アブレーションと診断

• 層の感度: JEPAがしばしば上位層でピークに達するのに対し、LeNEPAとNEPAは中間層（通常は $L_4$ または $L_5$）で最適なプローブスコアを達成する。最終層はしばしば性能が低下しており、これは深いブロックが予測タスクに特化する一方で、中間層がより一般的な特徴を保持していることを示唆している。
• SIGRegの軸: 時間的SIGRegは、両方のデータセットにおいて持続的な利得を提供した唯一の正則化配置であった。
• プロジェクター: ギロチン型の使い捨てプロジェクターを使用することは、バックボーンでの直接的な損失計算よりも性能を向上させ、損失空間と表現空間の分離を検証している。

5. 意義と主張

本論文は、非拡張型潜在予測が、ドメインごとのビュー・エンジニアリングを最小限に抑えてSSLレシピを再利用するという運用上の制約がある場合に、有望な候補レシピであることを結論付けている。

• 控えめな主張: 著者らは、すべてのチューニング済みベースラインを凌駕する新しい「基盤モデル」を主張しているのではない。代わりに、拡張への依存を排除することで、信号ファミリーが変化した際のSSLレシピの脆弱性が軽減されることを実証している。
• 実用的影響: 本結果は、移植可能な事前学習（例：産業用テレメトリ、金融、生理学）を必要とするアプリケーションにおいて、ドメイン固有のビュー・エンジニアリングを必要とするJEPAバリアントよりも、LeNEPAのような非拡張型目的関数がより堅牢な代替案となる可能性を示唆している。
• 限界: 畳み込みトークナイザーには依然としてデータセット固有の設計（カーネルサイズ、ストライド）が必要であること、およびDiag合成コーパスが直接的な全現実世界の診断プロキシではなく、制御された証拠として機能していることを認めている。UCR-128の結果は、決定的なリーダーボードの主張ではなく、存在証明としてのシングルシード・ベストチェックポイントに基づいている。

ソースコード: https://github.com/langotime/lenepa-milets-2026 にて公開。