🤖 machine learning

SurF: A Generative Model for Multivariate Irregular Time Series Forecasting

SurF ist ein neuartiges generatives Modell für multivariate unregelmäßige Zeitreihen, das das Zeit-Reskalierungs-Theorem nutzt, um Ereignissequenzen auf i.i.d.-Rauschen abzubilden und dadurch durch Multi-Dataset-Pretraining eine effiziente, skalierbare und state-of-the-art-Prognose über diverse reale Datensätze hinweg ermöglicht.

Ursprüngliche Autoren: Mohammad R. Rezaei, Tejas Balaji, Rahul G. Krishnan

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mohammad R. Rezaei, Tejas Balaji, Rahul G. Krishnan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen vorherzusagen, wann der nächste Bus ankommt. In einer perfekten Welt kommen Busse alle 10 Minuten pünktlich. Doch in der realen Welt sind Busse unordentlich: Manchmal kommt einer in 2 Minuten, manchmal in 45, und manchmal kommen drei auf einmal. Das nennen Datenwissenschaftler eine unregelmäßige Zeitreihe.

Die meisten aktuellen KI-Modelle sind wie starre Fahrpläne; sie erwarten, dass Daten in festen, regelmäßigen Intervallen eintreffen. Wenn Sie ihnen unordentliche, unregelmäßige Daten zuführen, geraten sie in Verwirrung. Die Arbeit stellt ein neues Modell namens SurF (Survival Flow) vor, das speziell dafür entwickelt wurde, dieses Chaos zu verstehen.

So funktioniert SurF, erklärt durch einfache Analogien:

1. Das Problem: Der „Gummiband"-Effekt der Zeit

Stellen Sie sich ein Gummiband vor, auf dem Ereignisse (wie Erdbeben, Tweets oder Taxifahrten) markiert sind.

Alte Modelle: Sie versuchen, dieses Gummiband zu dehnen, um es an ein Standardlineal anzupassen. Wenn die Lücken zwischen den Ereignissen stark variieren (von Sekunden bis Tagen), bricht das Lineal. Sie versuchen, die Daten in ein Raster zu zwingen, was die einzigartigen Muster der Zeitabstände zerstört.
Die SurF-Einsicht: Anstatt die Daten zu zwingen, in ein Lineal zu passen, dehnt SurF das Gummiband selbst. Es verwendet einen mathematischen Trick namens Zeit-Reskalierungstheorem. Stellen Sie sich dies als eine magische Maschine vor, die Ihre unordentliche, unregelmäßige Zeitlinie nimmt und sie dehnt oder staucht, bis die Lücken zwischen den Ereignissen perfekt normal und gleichmäßig aussehen.

2. Der magische Trick: Chaos in „weißes Rauschen" verwandeln

SurF hat eine besondere Superkraft: Es kann jeden unordentlichen Ereignisstrom in eine einfache, universelle Sprache übersetzen: zufälliges Rauschen.

Die Hinreise (Training): SurF nimmt eine Ereignissequenz (wie eine Reihe von Erdbeben) und führt sie durch seine „Dehnmaschine". Es verwandelt die Zeitabstände, bis sie wie i.i.d. Exp(1) aussehen.
- In einfacher Sprache: Das ist eine ausgefallene Art zu sagen, dass es die komplexen Zeitdaten in einen Beutel mit perfekt zufälligen, Standardzahlen verwandelt (wie das Würfeln mit einem Würfel, der immer eine bestimmte Verteilung anzeigt).
- Da jeder Datensatz (ob Erdbeben, Börsengeschäfte oder Tweets) in denselben Beutel mit zufälligen Zahlen transformiert wird, kann SurF von allen gleichzeitig lernen. Es ist, als würde man Englisch lernen, indem man jede Sprache der Welt in dasselbe einfache Alphabet übersetzt.
Die Rückreise (Vorhersage): Das ist der geniale Teil. Da die Maschine eine Bijektion ist (eine perfekte Zwei-Wege-Tür), kann SurF auch rückwärts gehen.
1. Es erzeugt ein Stück zufälliges Rauschen (eine gefälschte „Exp(1)"-Zahl).
2. Es führt dieses Rauschen durch die Maschine in umgekehrter Richtung.
3. Die Maschine dehnt das Gummiband zurück und verwandelt diese einfache Zufallszahl zurück in eine realistische Vorhersage, wann das nächste Ereignis stattfinden wird.

3. Drei verschiedene „Dehnmaschinen"

Die Arbeit bietet drei verschiedene Möglichkeiten, diese Dehnmaschine zu bauen, je nachdem, wie komplex die Daten sind:

MoE (Mischung von Exponentialverteilungen): Wie ein einfaches Set von Federn. Es ist schnell und ideal für Daten, die schnell verblassen (wie ein verhallendes Echo).
CSB (Kumulierte Softplus-Basis): Wie ein flexibles, biegbares Lineal. Es kann mit Daten umgehen, die Buckel und Hügel haben (wie ein plötzlicher Ansturm von Tweets).
GLQ (Gauss-Legendre-Quadratur): Wie ein hochpräziser Laserschneider. Es ist die flexibelste Variante und bewältigt die seltsamsten, unregelmäßigsten Muster, erfordert jedoch ein wenig mehr Rechenleistung.

4. Die Leistung des „Foundation Model"

Normalerweise trainiert man ein Modell nur auf Erdbebendaten, um Erdbeben vorherzusagen. Um Tweets vorherzusagen, trainiert man ein anderes Modell auf Tweet-Daten. Sie sprechen nicht miteinander.

SurF ist anders. Die Autoren haben ein einziges Modell auf sechs völlig unterschiedlichen Datensätzen trainiert (Erdbeben, Taxifahrten, Amazon-Bewertungen, Retweets, StackOverflow-Fragen und Taobao-Klicks).

Das Ergebnis: Dieses einzelne Modell wurde zu einem „Foundation Model" für unregelmäßige Ereignisse. Als sie es an einem Datensatz testeten, den es noch nie gesehen hatte (unter Verwendung eines strengen „Leave-One-Out"-Tests), übertraf es jedes andere spezialisierte Modell bei 5 von 6 Datensätzen.
Warum? Indem es lernte, alle diese verschiedenen Ströme in dieselbe „zufällige Rauschen"-Sprache zu übersetzen, lernte es die universelle Grammatik, wie Ereignisse geschehen, anstatt nur ein spezifisches Thema auswendig zu lernen.

Zusammenfassung

Stellen Sie sich SurF als universellen Übersetzer für die Zeit vor.

Alte KI: „Ich verstehe nur regelmäßige Uhren. Wenn Ihre Daten unordentlich sind, kann ich nicht helfen."
SurF: „Geben Sie mir Ihre unordentliche Zeitlinie. Ich werde sie in ein einfaches, standardisiertes Muster dehnen, die Regeln lernen und sie dann zurückdehnen, um Ihnen genau zu sagen, wann das nächste Ereignis stattfinden wird."

Es sagt nicht nur die Zukunft voraus; es versteht den Rhythmus des unregelmäßigen Lebens, von den Erdstößen der Erde bis zum Klicken einer Maus, alles mit einem einzigen Gehirn.

Technische Zusammenfassung: SurF – Ein generatives Modell für die Vorhersage multivariater unregelmäßiger Zeitreihen

Problemstellung

Unregelmäßig abgetastete multivariate Ereignisströme (Temporale Punktprozesse, TPPs) stellen eine erhebliche Herausforderung für die generative Modellierung dar. Im Gegensatz zu regelmäßig abgetasteten Zeitreihen, bei denen Daten in festen Intervallen eintreffen, weisen Ereignisströme asynchrone Ankünfte auf, wobei die Intervalle zwischen den Ereignissen um Größenordnungen variieren können. Bestehende Ansätze sehen sich zwei Hauptengpässen gegenüber:

Tokenisierungsbasierte Modelle (z. B. TimesFM, Chronos) versagen, wenn die Intervalle zwischen den Ereignissen drastisch variieren, da sie auf Annahmen mit fester Rate basieren.
Neuronale Temporale Punktprozesse (TPPs) verlassen sich häufig auf die Maximum-Likelihood-Schätzung, die die numerische Integration der Intensitätsfunktion $\lambda(t)$ über das Beobachtungsfenster $[0, T]$ erfordert. Diese „Fensterniveau-numerische Quadratur" erzeugt einen rechenintensiven Engpass, der mit der Fenstergröße skaliert und während der Gradientenschritte Fehler akkumuliert. Darüber hinaus werden frühere neuronale TPPs typischerweise pro Datensatz trainiert und verfügen nicht über die Fähigkeit, sich über heterogene Ereignisströme hinweg zu generalisieren.

Methodik: SurF (Survival Flow)

SurF formuliert den Zeit-Reskalierungssatz (TRT) nicht nur als Bewertungsinstrument neu, sondern als lernbare, bidirektionale Bijektion zwischen Ereignissequenzen und i.i.d. Rauschen mit einer Rate von 1 (unit-rate exponential noise).

Kerntheoretische Erkenntnis

Der TRT besagt, dass, wenn eine kumulative Intensitätsfunktion $\Lambda^*(t) = \int_0^t \lambda^*(s|H_s) ds$ korrekt ist, die reskalierten Ankunftsintervalle $\Delta z_i = \Lambda^*(t_i) - \Lambda^*(t_{i-1})$ i.i.d. $\text{Exp}(1)$ sind.
SurF führt Theorem 2 ein, das feststellt, dass unter milden Bedingungen (kontinuierliche Intensität mit einer strikt positiven unteren Schranke $\lambda_{min} > 0$ ) $\Lambda^*$ eine $C^1$ -Bijektion mit einer glatten Inversen ist. Dies ermöglicht dem Modell:

Vorwärts (Training): Abbildung der beobachteten Ereigniszeiten auf $\text{Exp}(1)$ -Rauschen.
Rückwärts (Sampling): Abbildung von $\text{Exp}(1)$ -Rauschen zurück auf Ereigniszeiten durch Invertieren der gelernten kumulativen Intensität.

Dieser bidirektionale Fluss eliminiert die Notwendigkeit einer Integration auf Fensterniveau. Anstatt $\lambda$ zu modellieren und zu integrieren, modelliert SurF die kumulative Intensität $\Lambda_\theta$ direkt und gewinnt die momentane Intensität $\lambda_\theta$ durch automatische Differentiation (oder geschlossene Form-Ableitungen) zurück.

Architektur und Parametrisierungen

SurF verwendet einen Transformer-basierten Encoder zur Verarbeitung der Ereignishistorie, der einen Kontextvektor $h_{i-1}$ erzeugt. Die Kerninnovation liegt in drei verschiedenen Parametrisierungen der kumulativen Intensität $\Lambda_\theta(\Delta t | h)$ , die jeweils unterschiedliche Kompromisse zwischen Ausdruckskraft und Rechenkosten bieten:

SurF-MoE (Mixture of Exponentials):
- Modelliert die Intensität als Summe abklingender Exponentialfunktionen.
- Vorteile: Vollständig geschlossene Form-Likelihood; keine numerische Quadratur; schnellstes Training.
- Nachteile: Auf monoton abklingende Intensitäten zwischen Ereignissen beschränkt.
SurF-CSB (Cumulative Softplus Basis):
- Verwendet eine Summe verschobener Softplus-Primitiven.
- Vorteile: Vollständig geschlossene Form; fähig zur Modellierung nicht-monotoner (z. B. hügel-förmiger) Intensitätsprofile; universeller Approximator für positive Intensitäten.
- Nachteile: Etwas komplexer als MoE, aber dennoch exakt.
SurF-GLQ (Gauss-Legendre Quadrature):
- Verwendet ein unbeschränktes positives MLP für die Intensität, wobei $\Lambda_\theta$ über eine feste $Q$ -Punkt-Gauss-Legendre-Quadratur pro Intervall zwischen den Ereignissen (nicht über das gesamte Fenster) approximiert wird.
- Vorteile: Höchste Ausdruckskraft (unbeschränkte Intensität); die Rechenkosten betragen $O(NQ)$, wobei $Q$ fest ist (z. B. $Q=8$ ) und unabhängig von der Sequenzlänge $T$ .
- Wichtige Erkenntnis: Der empirische Fehler bei $Q=8$ liegt unterhalb des Rauschbodens der Gradienten, was bedeutet, dass der Quadraturfehler die Trainingsgradienten nicht beeinflusst.

Training und Sampling

Verlustfunktion: Das Ziel ist die amortisierte negative Log-Likelihood, abgeleitet aus der Formel für Variablentransformation:
$L_{SurF} = \sum_{i=1}^N \Lambda_\theta(\tau_i | h_{i-1}) + \Lambda_\theta(\Delta T | h_N) - \sum_{i=1}^N \log \lambda_\theta(\tau_i | h_{i-1})$
Dies vermeidet die $O(T)$ -Integrationskosten früherer Methoden.
Sampling: Ereignisse werden generiert, indem $z \sim \text{Exp}(1)$ gesampelt und $\Lambda_\theta(\Delta t | h) = z$ nach $\Delta t$ unter Verwendung einer gesicherten Newton-Methode gelöst wird, die global und quadratisch konvergiert.
Vorabtraining über mehrere Datensätze: Durch die Abbildung aller Datensätze auf dasselbe kanonische Ziel ( $\text{Exp}(1)$ ) ermöglicht SurF, dass ein einzelner gemeinsamer Encoder ( $\phi_\theta$ ) und ein kumulativer Intensitätskopf ( $\Lambda_\theta$ ) gemeinsam über heterogene Datensätze hinweg trainiert werden. Dies erleichtert Zero-Shot-Transfer auf ungesehene Datensätze.

Hauptbeiträge

Bidirektionaler TRT als Flow: Die Arbeit formuliert den TRT explizit als lernbare Bijektion und liefert die theoretischen Bedingungen (Theorem 2) für Invertierbarkeit und Glattheit, was eine exakte Likelihood-Berechnung und generatives Sampling ermöglicht.
Effiziente Parametrisierungen: Einführung von drei monotonen Parametrisierungen (MoE, CSB, GLQ), die auf lange Sequenzen skalieren. Bemerkenswert ist, dass SurF-GLQ rechenkostenunabhängig von $T$ ist und damit den Engpass der numerischen Quadratur früherer neuronaler TPPs löst.
Cross-Dataset-Foundation-Modell: Demonstration eines einzelnen Modells, das auf mehreren heterogenen Datensätzen trainiert wurde und auf zurückgehaltenen Datensätzen ohne Feinabstimmung State-of-the-Art- oder wettbewerbsfähige Leistung erzielt. Dies stellt einen ersten Schritt hin zu Foundation-Modellen für asynchrone Ereignisströme dar.

Experimentelle Ergebnisse

SurF wurde an sechs realen Benchmarks evaluiert: Taobao, Taxi, Retweet, StackOverflow, Amazon und Earthquake.

Vorhersage des nächsten Ereignisses:
- SurF erzielte die beste gemeldete Zeit-RMSE auf Earthquake, Retweet und Taobao.
- Auf den verbleibenden drei Datensätzen lag es innerhalb des „Trial-Level-Rauschens" der stärksten spezialisierten Baselines.
- Unter einem strengen Leave-One-Out Zero-Shot-Protokoll (Training auf 5 Datensätzen, Testen auf dem 6. Datensatz) schlug der zurückgehaltene SurF-Checkpoint jede klassische und neuronale-autoregressive Baseline auf 5/6 Datensätzen (verlor nur bei StackOverflow). Es übertraf alle Baselines auf Amazon und Earthquake ohne jede datensatzspezifische Anpassung.
Multi-Horizon-Vorhersage: SurF zeigte Stabilität unter iterativem autoregressivem Decoding, wobei das RMSE-Wachstum sublinear war und die Typgenauigkeit über 10 zukünftige Ereignisse hinweg stabil blieb.
Kalibrierung: Die Residuen der Zeitreskalierung waren gut kalibriert, wobei die Kolmogorov-Smirnov-Statistiken zeigten, dass die vom Modell vorhergesagten Verteilungen eng mit dem theoretischen $\text{Exp}(1)$ -Ziel übereinstimmten.
Effizienz: SurF-MoE und SurF-CSB erfordern zum Trainingszeitpunkt keine numerische Integration. SurF-GLQ verwendet eine regelbasierte Festkosten pro Intervall. Im Vergleich zu quadraturbasierten Baselines (z. B. NJDTPP) erreichte SurF-MoE eine Trainingsbeschleunigung von $\sim9\times$ und eine Inferenzbeschleunigung von $\sim17\times$ .

Bedeutung und Behauptungen

Die Arbeit positioniert SurF als grundlegenden Schritt hin zu Foundation-Modellen für asynchrone Ereignisströme. Ihre primäre Bedeutung liegt in:

Vereinheitlichung von Evaluation und Generierung: Indem der TRT als generativer Flow behandelt wird, werden die Bewertung der Güte der Anpassung mit dem Mechanismus für das Sampling vereinheitlicht.
Skalierbarkeit: Sie beseitigt die rechnerische Barriere der Integration auf Fensterniveau und ermöglicht es Modellen, lange Sequenzen effizient zu verarbeiten.
Generalisierung: Sie liefert den ersten empirischen Nachweis, dass eine gelernte kumulative Intensität Zero-Shot über diverse Domänen hinweg transferiert werden kann (z. B. von sozialen Medien zu seismischen Daten), was darauf hindeutet, dass der kanonische $\text{Exp}(1)$ -Raum universelle zeitliche Dynamiken erfasst, die unabhängig von der Skalierung oder Frequenz des spezifischen Datensatzes sind.

Die Autoren räumen Einschränkungen ein, wie die Notwendigkeit einer strikt positiven Intensitätsschranke (die eine vernachlässigbare Verzerrung einführt) und die Tatsache, dass das aktuelle Korpus kleiner ist als bei Sprach-/Vision-Foundation-Modellen, und identifizieren das Scaling als den nächsten wichtigen Meilenstein.