🤖 machine learning

SurF: A Generative Model for Multivariate Irregular Time Series Forecasting

SurF は多変量不規則時系列のための新しい生成モデルであり、時間再スケーリング定理を活用してイベント系列を独立同一分布のノイズに写像し、複数のデータセットを用いた事前学習を通じて多様な実世界のデータセットにおいて効率的でスケーラブルかつ最先端の予測を可能にする。

原著者： Mohammad R. Rezaei, Tejas Balaji, Rahul G. Krishnan

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mohammad R. Rezaei, Tejas Balaji, Rahul G. Krishnan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

バスが次にいつ到着するかを予測しようとしていると想像してください。完璧な世界では、バスは10分おきに正確に到着します。しかし、現実の世界ではバスは不規則です：2分で来ることもあれば、45分かかることもあり、時には3台が同時に到着することもあります。これがデータサイエンティストが「不規則な時系列」と呼ぶものです。

現在のほとんどのAIモデルは、硬直した列車の時刻表のようです。データが固定された規則的な間隔で到着することを前提としています。もし不規則で乱雑なデータをこれらに与えると、混乱してしまいます。この論文は、この混沌を理解するために特別に設計された新しいモデル「SurF（Survival Flow）」を紹介しています。

SurFの仕組みを、簡単な比喩を用いて説明します。

1. 問題：時間の「ゴムひも」

地震、ツイート、タクシーの乗車など、イベントが記されたゴムひもを持っていると想像してください。

従来のモデル： これらは、このゴムひもを標準的な定規に合うように伸ばそうとします。イベント間の間隔が数秒から数日まで大きく変動する場合、定規は壊れてしまいます。彼らはデータをグリッドに無理やり押し込めようとしますが、これによりタイミングの固有のパターンが破壊されます。
SurFの洞察： データを定規に合わせるのではなく、SurFはゴムひも自体を伸ばします。これは「時間再スケーリング定理」と呼ばれる数学的なトリックを使用します。これは、不規則で乱雑なタイムラインを取り込み、イベント間の間隔が完全に正常で均一に見えるまで、それを伸ばしたり縮めたりする魔法の機械だと考えてください。

2. 魔法のトリック：混沌を「ホワイトノイズ」に変える

SurFには特別な超能力があります。どんなに乱雑なイベントのストリームも、シンプルで普遍的な言語である「ランダムノイズ」に変換できるのです。

順方向の旅（学習）： SurFはイベントの列（地震の列など）を受け取り、「伸縮機械」に通します。時間間隔を変換し、それらが**i.i.d. Exp(1)**のように見えるまで変形させます。
- 平易な英語で言うと： これは、複雑なタイミングデータを、完全にランダムで標準的な数字の袋（特定の分布に常に収まるサイコロを振るようなもの）に変換するという、少し難解な表現です。
- すべてのデータセット（地震、株式取引、ツイートなど）が、この同じランダムな数字の袋に変換されるため、SurFはそれらすべてから同時に学習できます。これは、世界中のあらゆる言語を同じ単純なアルファベットに翻訳することで英語を学ぶようなものです。
逆方向の旅（予測）： ここが天才的な部分です。この機械は双射（完璧な双方向の扉）であるため、SurFは逆方向にも進むことができます。
1. ランダムノイズ（偽の「Exp(1)」数値）を生成します。
2. そのノイズを機械を逆向きに通過させます。
3. 機械はゴムひもを元に戻し、その単純なランダムな数字を、次のイベントがいつ発生するかという現実的な予測に変換します。

3. 3種類の異なる「伸縮機械」

この伸縮機械を構築する方法として、論文はデータの複雑さに応じて3つの異なるアプローチを提案しています。

MoE（指数関数の混合）： 単純なばねのセットのようなものです。高速であり、すぐに減衰するデータ（消えゆく反響など）に優れています。
CSB（累積ソフトプラス基底）： 柔軟で曲げられる定規のようなものです。急なツイートの一時的な増加のような、凹凸のあるデータを処理できます。
GLQ（ガウス・ルジャンドル求積法）： 高精度なレーザーカッターのようなものです。最も柔軟で、最も奇妙で不規則なパターンを処理できますが、わずかに多くの計算を必要とします。

4. 「基盤モデル」としての成果

通常、地震を予測するには地震データのみでモデルを訓練し、ツイートを予測するにはツイートデータで別のモデルを訓練します。それらは互いに話しかけ合いません。

SurFは異なります。著者たちは、6つの全く異なるデータセット（地震、タクシーの乗車、Amazonのレビュー、リツイート、StackOverflowの質問、Taobaoのクリック）のすべてで、1つの単一のモデルを訓練しました。

結果： この単一のモデルは、不規則なイベントのための「基盤モデル」となりました。彼らがこれまでに一度も見たことのないデータセットでテストした際（厳密な「留め置き法」テストを使用）、6つのデータセットのうち5つで、他のすべての専門モデルを上回りました。
なぜか？ なぜなら、これらすべての異なるストリームを同じ「ランダムノイズ」言語に翻訳することを学ぶことで、特定のトピックを単に暗記するのではなく、イベントがどのように発生するかという普遍的な文法を学習したからです。

まとめ

SurFを時間のための汎用翻訳機と考えてください。

従来のAI： 「私は規則的な時計しか理解しません。あなたのデータが乱雑であれば、お手伝いできません。」
SurF： 「あなたの乱雑なタイムラインをください。それをシンプルで標準的なパターンに伸ばし、規則を学び、そして元に戻して、次のイベントがいつ発生するかを正確に教えてあげます。」

SurFは未来を予測するだけでなく、地球の揺れからマウスのクリックに至るまで、不規則な生活のリズムそのものを理解します。すべてを1つの脳で。

技術概要：SurF – 多変量不規則時系列予測のための生成モデル

問題定義

不規則にサンプリングされた多変量イベントストリーム（Temporal Point Processes、TPP）は、生成モデリングにおいて重大な課題を呈します。固定間隔でデータが到着する規則的サンプリング時系列とは異なり、イベントストリームは非同期な到着を特徴とし、イベント間隔は桁違いに変動し得ます。既存のアプローチは、主に 2 つのボトルネックに直面しています：

トークン化ベースのモデル（TimesFM、Chronos など）は、イベント間隔が劇的に変動する場合に失敗します。これらは固定レート仮定に依存しているためです。
ニューラル TPP は、しばしば観測ウィンドウ $[0, T]$ 上の強度関数 $\lambda(t)$ の数値積分を必要とする最尤推定に依存しています。この「ウィンドウレベルの数値求積法」は、ウィンドウサイズに比例して計算コストが増大し、勾配ステップ中に誤差が蓄積するという計算上のボトルネックを生み出します。さらに、従来のニューラル TPP は通常データセットごとに訓練され、異質なイベントストリーム間での汎化能力を欠いています。

手法：SurF（Survival Flow）

SurF は、時間スケーリング定理（TRT）を単なる評価ツールとしてではなく、イベント系列と i.i.d. 単位レート指数ノイズ間の学習可能な双方向全単射として再定義します。

中核的な理論的洞察

TRT は、累積強度関数 $\Lambda^*(t) = \int_0^t \lambda^*(s|H_s) ds$ が正しい場合、再スケーリングされた到着間隔 $\Delta z_i = \Lambda^*(t_i) - \Lambda^*(t_{i-1})$ が i.i.d. $\text{Exp}(1)$ となることを示しています。
SurF は定理 2を導入し、緩やかな条件（連続かつ厳密に正の下限 $\lambda_{min} > 0$ を持つ強度）の下で、 $\Lambda^*$ が滑らかな逆関数を持つ $C^1$ 全単射であることを確立します。これにより、モデルは以下のことが可能になります：

前方（訓練）： 観測されたイベント時刻を $\text{Exp}(1)$ ノイズにマッピングする。
後方（サンプリング）： 学習された累積強度を反転させることで、 $\text{Exp}(1)$ ノイズをイベント時刻に戻す。

この双方向フローにより、ウィンドウレベルの積分は不要となります。 $\lambda$ をモデル化してそれを積分する代わりに、SurF は累積強度 $\Lambda_\theta$ を直接モデル化し、自動微分（または閉形式の導関数）を通じて瞬間強度 $\lambda_\theta$ を回復します。

構造とパラメータ化

SurF は、イベント履歴を処理してコンテキストベクトル $h_{i-1}$ を生成する Transformer ベースのエンコーダを採用します。中核的な革新は、表現力と計算コストの異なるトレードオフを提供する、累積強度 $\Lambda_\theta(\Delta t | h)$ の 3 つの異なるパラメータ化にあります：

SurF-MoE（指数混合）：
- 強度を減衰する指数関数の和としてモデル化します。
- 利点： 完全に閉形式の尤度；数値求積法ゼロ；最速の訓練。
- 欠点： イベント間の強度が単調減少するものに制限される。
SurF-CSB（累積 Softplus 基底）：
- ずらされた Softplus 原始関数の和を使用します。
- 利点： 完全に閉形式；非単調（例えば、山型）の強度プロファイルのモデル化が可能；正の強度に対する万能近似子。
- 欠点： MoE よりやや複雑だが、依然として厳密。
SurF-GLQ（ガウス・ルジャンドル求積法）：
- 制約のない正の MLP を強度に使用し、 $\Lambda_\theta$ を各イベント間隔ごと（全ウィンドウ上ではなく）固定された $Q$ 点ガウス・ルジャンドル求積法で近似します。
- 利点： 最高度の表現力（制約のない強度）；計算コストは $O(NQ) $であり、$ Q $は固定（例：$ Q=8 $）で系列長$ T$ に依存しない。
- 重要な発見： $Q=8$ における実証的誤差は勾配ノイズフロア以下であり、求積誤差が訓練勾配に影響を与えないことを意味します。

訓練とサンプリング

損失関数： 目的関数は、変数変換の公式から導出された平均化負対数尤度です：
$L_{SurF} = \sum_{i=1}^N \Lambda_\theta(\tau_i | h_{i-1}) + \Lambda_\theta(\Delta T | h_N) - \sum_{i=1}^N \log \lambda_\theta(\tau_i | h_{i-1})$
これにより、従来手法の $O(T)$ 積分コストを回避します。
サンプリング： イベントは、 $z \sim \text{Exp}(1)$ をサンプリングし、 $\Lambda_\theta(\Delta t | h) = z$ を $\Delta t$ について解くことで生成されます。これは、大域的かつ二次収束する安全策付きニュートン法を用いて行われます。
複数データセット事前学習： すべてのデータセットを同じ標準的な目標（ $\text{Exp}(1)$ ）にマッピングすることで、SurF は単一の共有エンコーダ（ $\phi_\theta$ ）と累積強度ヘッド（ $\Lambda_\theta$ ）を異質なデータセット間で共同訓練することを可能にします。これにより、未見のデータセットへのゼロショット転送が促進されます。

主要な貢献

フローとしての双方向 TRT： 本論文は TRT を明示的に学習可能な全単射として定式化し、逆関数性と滑らかさのための理論的条件（定理 2）を提供します。これにより、正確な尤度計算と生成サンプリングが可能になります。
効率的なパラメータ化： 長系列にスケーリング可能な 3 つの単調パラメータ化（MoE、CSB、GLQ）の導入。特に、SurF-GLQ は $T$ に依存しない計算コストを達成し、従来のニューラル TPP の数値求積法ボトルネックを解消します。
クロスデータセット基盤モデル： 複数の異質なデータセットで訓練された単一モデルが、微調整なしで保持されたデータセット上で最先端または競争力のある性能を達成することを示しました。これは、非同期イベントストリーム向けの基盤モデルへの最初のステップを表しています。

実験結果

SurF は、6 つの実世界ベンチマーク（Taobao、Taxi、Retweet、StackOverflow、Amazon、Earthquake）で評価されました。

次イベント予測：
- SurF は、Earthquake、Retweet、Taobao で報告された最良の時間 RMSE を達成しました。
- 残りの 3 つのデータセットでは、最強の専門特化型ベースラインの「試行レベルのノイズ」範囲内で動作しました。
- 厳格な留置法ゼロショットプロトコル（5 つのデータセットで訓練し、6 つ目でテスト）の下では、保持された SurF チェックポイントが、5/6 のデータセットですべての古典的およびニューラル自己回帰ベースラインを打ち破りました（StackOverflow のみで敗北）。Amazon と Earthquake では、データセット固有の適応なしにすべてのベースラインを上回りました。
マルチホライズン予測： SurF は反復的自己回帰デコーディング下で安定性を示し、RMSE の増加は準線形であり、10 先のイベントにわたってタイプ精度は安定していました。
較正： 時間再スケーリング残差はよく較正されており、コルモゴロフ・スミルノフ統計量は、モデルの予測分布が理論的な $\text{Exp}(1)$ 目標と密接に一致していることを示しました。
効率性： SurF-MoE と SurF-CSB は、訓練時に数値積分を必要としません。SurF-GLQ は、間隔ごとの固定コストルールを使用します。求積法ベースのベースライン（例：NJDTPP）と比較して、SurF-MoE は約 9 倍の訓練速度向上と約 17 倍の推論速度向上を達成しました。

意義と主張

本論文は、SurF を非同期イベントストリーム向けの基盤モデルへの基礎的なステップとして位置づけています。その主な意義は以下の点にあります：

評価と生成の統合： TRT を生成フローとして扱うことで、適合度の評価とサンプリングメカニズムを統合します。
スケーラビリティ： ウィンドウレベルの積分という計算上の障壁を除去し、モデルが長系列を効率的に処理できるようにします。
汎化： 学習された累積強度が、異なるドメイン間（例：ソーシャルメディアから地震データへ）でゼロショット転移できるという最初の実証的証拠を提供します。これは、標準的な $\text{Exp}(1)$ 空間が、特定のデータセットのスケールや周波数に依存しない普遍的な時間ダイナミクスを捉えていることを示唆しています。

著者は、厳密に正の強度フロアが必要であること（これは無視できるバイアスを導入する）や、現在のコーパスサイズが言語・ビジョン基盤モデルよりも小さいことなどの限界を認めており、スケーリングを次の重要なマイルストーンとして特定しています。