Learning Transferable Predictability Representations

技術要約：転移可能な予測可能性表現の学習

問題定式化

本論文は、短い軌道ウィンドウに対して、順序付けられた連続体上のどの位置にあるかを反映するスカラー・スコアを割り当てる際の課題に取り組んでいる。既存の手法は、単一のシステム内における決定論的ダイナミクスと確率論的ダイナミクスの識別には効果的であるが、異なるシステム間で一貫した数値的解釈を持つスコアを生成することには失敗している。

著者らはこれを、5段階の「予測可能性のラダー（梯子）」（$L_0$ から $L_4$）における順序推定問題として定式化している：

1. $L_0$ (安定決定論的): 不動点またはリミットサイクル ($\lambda_{max} \le 0$)。
2. $L_1$ (弱カオス): 小さな正の不安定性を伴う決定論的挙動 ($0 < \lambda_{max}\tau \ll 1$)。
3. $L_2$ (強カオス): 急激な発散を伴う決定論的挙動 ($\lambda_{max}\tau \gg 0$)。
4. $L_3$ (構造化確率論的): 線形統計量（例：パワースペクトル）は保持するが、非線形幾何学を破壊するサロゲート（代理データ）。
5. $L_4$ (非構造化確率論的): i.i.d. ノイズ。

特定された決定的な構造的障壁は、ゲージ自由度 (gauge freedom) である。順序による教師あり学習だけでは、スコアの順序は決定されるものの、数値的な座標は単調な再パラメータ化によって固定されない。その結果、訓練されたスコアは、たとえ順序付けが正しくても、別のシステムで使用される際には直接比較できない。本論文は、ゼロショットのシナリオでは事後的な再校正のためのターゲット・システム・データが存在しないため、クロスシステムでの転移にはこの座標の曖昧さを解消する必要があると主張している。

手法：ゲージ固定型順序ネットワーク (GON)

提案される解決策である GON は、共通のスコア座標を学習するように設計された時間的畳み込みモデルである。これは以下の3つの主要コンポーネントで構成される：

1. 2-Jet 前処理:
   生のシステム座標（システム固有のスケーリングや単位を持つ）を使用する代わりに、GON は 2-jet 特徴量（位置 $x$、速度 $\dot{x}$、加速度 $\ddot{x}$）上で動作する。これらの特徴量は、Savitzky–Golay フィルタリングと中心差分を用いて推定され、局所的な軌道の幾何学的構造を露出させる。この表現は滑らかな決定論的フローによって保持される一方で、確率論的なサロゲート手順によって破壊されるため、決定論的な構造と構造化されたノイズを区別するのに理想的である。

2. アーキテクチャ:
   モデルは、拡張残差ブロックを備えた時間的畳み込みネットワーク (TCN) を使用して、2-jet 入力を隠れシーケンスへとエンコードする。マルチスケール平均プーリングによってこれをベクトルへと集約し、2層の MLP を介してスカラー・スコアへと写像する。出力は、ターゲット範囲に合わせるために双曲線正接関数（tanh）を用いてクリップされる。

3. ゲージ固定型順序目的関数:
   ゲージ自由度を解決するために、各ラダーレベルの平均スコアに対して固定された アンカー・ターゲット $\{t_k\} = \{-4, -2, 0, +2, +4\}$ を割り当てる。損失関数 ($\mathcal{L}$) は以下で構成される：

   • アンカー項: レベルごとのスコア平均 ($\mu_k$) がターゲット ($t_k$) から逸脱することを罰する。
   • 分散項: レベル内の過度な広がり ($\sigma_k$) を罰し、アンカーの周囲へのタイトなクラスタリングを促す。

   この「アンカーおよび分散」目的関数はスコアの座標を固定し、特定の数値が異なるシステム間でも特定の予測可能性レジームに対応することを保証する。

実験設定

• 訓練データ: 様々なアトラクタ幾何学をカバーする12個の3次元散逸系カオス常微分方程式（例：Lorenz-63, Rössler, Chen）。
• テストデータ: 訓練中にデータが一切使用されていない5つの完全なホールドアウト・システム（例：Thomas, Tigan, 強制振り子）。
• 評価指標:
  • 単調性勾配 ($\beta$): レベル平均のグローバルな順序の一貫性を測定する。
  • スケール正規化 $\beta$ ($\beta_{norm}$): クロスメソッド比較に使用。
  • アンカー・ドリフト ($\delta_{anchor}$): 学習された平均がターゲット・アンカーにどの程度一致しているかを測定。
  • ペアワイズ AUROC: 特定の境界（例：$L_2 \to L_3$）における識別能を評価。

主な結果

1. ゼロショット転移:

   • GON は、ホールドアウト・システムにおいて $\beta_{norm} = 0.559$ のスケール正規化単調性勾配を達成し、すべての教師ありベースライン（0.46–0.48 付近に集中）を上回った。
   • 転移は、サロゲート手順が非線形幾何学を破壊する 確率論的境界 ($L_2 \to L_3$ および $L_3 \to L_4$) において最も強力であった。決定論側（$L_0 \to L_2$）の境界では分離が弱く、微細なカオス的区別はよりシステム固有であることを示唆している。
   • イン・ディストリビューションの校正は極めて良好であり、平均アンカー・ドリフトは $\delta_{anchor} = 0.0097$ であった。

2. 適応効率:

   • 事前学習済みの GON チェックポイントから初期化することは、非常に限られたラベル付きウィンドウ ($k=5$) を用いた場合でも、スクラッチからの訓練を大幅に上回る。
   • フル・ファインチューニング (pre_all) は一貫してランダム初期化よりも優れており、エンコーダを凍結 (pre_head) する手法は識別能は向上させるものの、グローバルな順序構造 ($\beta$) を回復するには至らなかった。
   • 適応の深さは幾何学的近接性と相関しており、訓練セットとベクトル場が類似しているシステムは即座に適応するが、未知の構造（例：正弦波強制）を持つシステムは、より多くのデータを必要とし、微細な境界の解決に失敗する場合がある。

3. アブレーション研究:

   • アンカー vs マージン: アンカー目的関数をマージン損失（分離は強制するが固定座標は強制しない）に置き換えると、イン・ディストリビューションの識別能は維持されるものの、アンカー・ドリフトが 0.005 から 2.556 へと上昇し、転移 $\beta$ が 47% 低下した。これは、座標の安定性こそが、単なる順序の一貫性ではなく、転移に必要であることを裏付けている。
   • 2-Jet 特徴量: コヒーレントな 2-jet 特徴量を使用すると、生のステート（$\beta = 1.132$）やシャッフルされた微分（$\beta = 1.504$）と比較して、転移性能が大幅に向上した。これは、単なる次元数よりも幾何学的構造が重要であることを強調している。

意義と主張

本論文は、ゲージ固定 (gauge-fixing) こそが、転移可能な順序予測可能性スコアを実現するための欠けていた要素であると特定している。中心的な貢献は、順序的なレベルに対して安定した数値座標を割り当てることが、クロスシステム間の比較可能性のための必要条件であることを示した点にある。

• 理論的洞察: 本研究は、ペアワイズの識別と、グローバルに一貫した順序スコアリングは異なる特性であり、転移の下でこれらを橋渡しするには安定した座標が必要であることを確立した。
• 実用的有用性: このフレームワークにより、システム固有の校正を行うことなく、自然界や工学システムにおける予測可能性の評価、モデル選択、および早期警告診断が可能になる。
• 限界: 著者らは、ベンチマークが現在は低次元の散逸系 ODE に限定されていることを指摘している。高次元、保存系、または実世界の信号への拡張は今後の課題である。本手法は合成データを用いており、個人データや予見可能な負の社会的影響は含まれていない。

結論として、本論文は、ゲージ固定を通じて転移可能な順序予測可能性座標を学習することで、異種な力学系間での予測可能性レジームの有意義な比較が可能になることを提唱している。これは、標準的な順序回帰や分類のアプローチでは到達できなかった能力である。