🤖 machine learning

From Jumps to Signatures: a Generative Method for Temporal Point Processes

Dieses Paper führt sigTPP ein, ein neuartiges generatives Modell für temporale Punktprozesse, das die Lücke zwischen diskreten Ereignissequenzen und kontinuierlicher Pfadanalyse schließt, indem es eine Interarrival-Einbettung nutzt, um Signaturmethoden zu erweitern und dadurch ein globales Trajektorien-Ebene-Training sowie eine mathematisch begründete Verteilungsbewertung ermöglicht.

Ursprüngliche Autoren: Niels Cariou-Kotlarek, Vasileios Lampos

Veröffentlicht 2026-07-09

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Niels Cariou-Kotlarek, Vasileios Lampos

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Unvorhersehbare vorhersagen

Stellen Sie sich vor, Sie versuchen einem Computer beizubringen, eine Abfolge von Ereignissen zu verstehen, die zu zufälligen Zeiten auftreten. Dies sind nicht nur einfache „Ereignisse“; es sind Dinge wie Erdbeben, Tweets, Aktienhandel oder Menschen, die in Hotels einchecken. In der Mathematik nennen wir das Temporale Punktprozesse (TPPs).

Das Problem ist, dass diese Ereignisse unordentlich sind. Sie treten in „Sprüngen“ auf (plötzlich erscheint ein Tweet), nicht als glatte, fließende Linie. Die meisten aktuellen KI-Modelle versuchen, diese Sequenzen zu lernen, indem sie jedes Ereignis einzeln betrachten – so als würde man versuchen, einen Film zu verstehen, indem man nur einzelne Einzelbilder betrachtet. Dabei übersehen sie oft das große Ganze: wie die gesamte Geschichte zusammenfließt.

Dieses Paper stellt einen neuen Weg vor, um KIs beizubringen, diese Ereignissequenzen zu verstehen, indem sie die gesamte Geschichte auf einmal betrachten, und nutzt dafür ein mathematisches Werkzeug namens Signaturen.

Das Problem: Die „Treppe“ vs. die „Rampe“

Um die Lösung des Papers zu verstehen, müssen Sie das Problem mit dem alten Ansatz sehen.

Die unordentliche Treppe (Die Daten): Reale Ereignisdaten sehen aus wie eine Treppe. Sie verlaufen flach, springen dann plötzlich nach oben, verlaufen wieder flach und springen dann erneut nach oben. In der Mathematik nennt man das càdlàg-Pfade (ein schicker Begriff für „sprunghaft“).
Die glatte Rutschfläche (Das Werkzeug): Das mathematische Werkzeug, das die Autoren verwenden wollen, genannt Signaturen, ist wie ein Hightech-Scanner, der am besten auf glatten, gleitenden Oberflächen (kontinuierlichen Pfaden) funktioniert. Er kann eine Treppe nicht direkt scannen; er wird durch die scharfen Ecken verwirrt.
Der alte KI-Ansatz: Frühere KI-Modelle versuchten, die Treppe zu lernen, indem sie jede Stufe einzeln betrachteten. Sie fragten: „Gegeben die letzte Stufe, was ist die nächste?“ Das ist so, als würde man versuchen, ein Lied zu lernen, indem man nur eine Note nach der anderen hört. Man bekommt vielleicht die Noten richtig, aber man verpasst die Melodie und den Rhythmus des gesamten Liedes.

Die Lösung: Das „Interarrival Embedding“

Die Autoren haben einen cleveren Trick erfunden, um die Treppe kompatibel mit dem glatten Scanner zu machen. Sie nennen dies das Interarrival Embedding.

Die Analogie: Eine Treppe in eine Rampe verwandeln
Stellen Sie sich vor, Sie haben eine gezackte Treppe (die Ereignisdaten). Sie möchten sie mit einem Gerät scannen, das nur auf glatten Rampen funktioniert.

Der Trick: Anstatt die Stufen zu scannen, zeichnen Sie eine glatte, gerade Linie, die die Ecken der Stufen miteinander verbindet.
Das Ergebnis: Sie haben nun eine glatte Rampe (einen kontinuierlichen Pfad), die die ursprüngliche Treppe perfekt repräsentiert.
Warum es funktioniert: Diese neue Rampe enthält alle Informationen der Treppe (wie viele Stufen es gibt, wie breit sie sind), aber sie ist nun glatt genug, damit der „Signature“-Scanner sie lesen kann.

Dies ermöglicht es den Autoren, das Signature-Werkzeug zum ersten Mal auf unordentliche, sprunghafte Ereignisdaten anzuwenden.

Das neue Modell: SIGTPP

Unter Verwendung dieses neuen „Rampe“-Tricks haben sie ein neues KI-Modell namens SIGTPP entwickelt.

Alter Weg (Lokales Lernen): Die alten Modelle waren wie ein Schüler, der Karteikarten auswendig lernt. „Wenn Ereignis A passiert, folgt meistens Ereignis B.“ Sie optimieren das Modell ein Ereignis nach dem anderen.
SIGTPP (Globales Lernen): SIGTPP ist wie ein Dirigent, der das gesamte Orchester hört. Es betrachtet die gesamte Sequenz der Ereignisse als ein großes Bild. Es nutzt die „Signatur“ der glatten Rampe, um zu messen, wie ähnlich die vom KI generierte Geschichte der echten Geschichte ist.
Das Ziel: Anstatt nur die nächste Note richtig zu treffen, versucht SIGTPP, eine ganze Melodie zu generieren, die exakt wie das Original klingt und den langfristigen Rhythmus und die Struktur einfängt.

Die Evaluierung: Woher wissen wir, ob es funktioniert?

Die Autoren erkannten, dass die übliche Art, diese Modelle zu testen, fehlerhaft war.

Die „Punktweise Falle“:
Normalerweise testen Leute diese Modelle mit der Frage: „Wie nah lag deine Vorhersage an der tatsächlichen Zeit des nächsten Ereignisses?“

Der Fehler: Stellen Sie sich einen deterministischen Roboter vor, der immer die durchschnittliche Zeit für ein Ereignis vorhersagt. Er könnte im Durchschnitt sehr genau sein (geringer Fehler), aber er ist langweilig und jedes Mal falsch, weil er niemals die Vielfalt oder die Zufälligkeit des echten Lebens einfängt. Es ist wie ein Wetterbericht, der immer „21 °C“ vorhersagt. Er liegt oft richtig, aber er ist kein gutes Modell für das Wetter.

Der neue Weg (Distributionale Metriken):
Die Autoren entwickelten neue Tests, die prüfen, ob die KI die gesamte Form der Zufälligkeit erfasst.

Energy Distance & Wasserstein Distance: Denken Sie daran, wie man zwei Punktwolken vergleicht. Sehen die von der KI generierten Ereignisse wie dieselbe „Wolke“ aus wie die echten Ereignisse? Haben sie die gleiche Streuung, die gleichen Cluster und die gleichen langfristigen Muster?
Die Signature Distance: Diese misst, ob der „Fingerabdruck“ der KI-Geschichte mit dem Fingerabdruck der echten Geschichte übereinstimmt.

Die Ergebnisse: Ein neuer Champion

Die Autoren testeten SIGTPP auf 9 verschiedenen Datensätzen (4 künstliche synthetische und 5 reale Datensätze wie Erdbeben, Taxifahrten oder Stack Overflow Fragen).

Der Gewinner: SIGTPP schlug konsequent die anderen Top-Modelle (wie Diffusionsmodelle, VAEs und GANs).
Die Punktzahl: Im Durchschnitt war SIGTPP in 64 % der Tests das beste oder nahe am besten.
Die Verbesserung: Wenn sie untersuchten, um wie viel besser es war, verbesserte SIGTPP die bisherigen besten Modelle im Durchschnitt um mindestens 19 %.
Die zentrale Erkenntkeit: Während andere Modelle gut darin waren, das nächste Ereignis zu erraten, war SIGTPP viel besser darin, die gesamte Struktur der Sequenz zu erfassen. Es hat nicht nur die Noten richtig getroffen, sondern die Melodie.

Zusammenfassung

Dieses Paper löst ein mathematisches Problem, bei dem „sprunghafte“ Daten nicht zu „glatten“ Werkzeugen passten.

Sie haben einen Weg erfunden, um Sprünge in glatte Rampen zu verwandeln (Interarrival Embedding).
Sie haben dies genutzt, um eine KI (SIGTPP) zu bauen, die die gesamte Geschichte auf einmal lernt, anstatt nur das nächste Kapitel.
Sie haben bewiesen, dass diese neue KI realistischere, strukturiertere Ereignissequenzen erzeugt als jede bisherige Methode, insbesondere wenn man das große Ganze betrachtet und nicht nur einzelne Momente.

Das Paper kommt zu dem Schluss, dass wir, um Ereignissequenzen wirklich zu verstehen, aufhören müssen, einzelne Ereignisse zu betrachten, und stattdessen die Form der gesamten Reise betrachten müssen.

Technisches Resümee: Von Sprüngen zu Signaturen: Eine generative Methode für temporale Punktprozesse

Problemstellung

Temporale Punktprozesse (TPPs) modellieren diskrete Ereignisse, die in kontinuierlicher Zeit auftreten, und bilden die Grundlage für Anwendungen in den Bereichen Finanzen, Seismologie und Gesundheitswesen. Während neuronale TPPs (NTPPs) das Feld durch expressive neuronale Netze vorangebracht haben, stehen sie vor zwei primären Einschränkungen:

Trainingsziele: Vorherrschende Methoden optimieren lokale, pro-Ereignis-basierte Verluste (z. B. Maximierung der Log-Likelihood). Diese lassen sich in Summen von bedingten Verlusten zerlegen, wodurch sie kein globales Signal für strukturelle Eigenschaften wie Autokorrelation, Langzeitabhängigkeiten und gemeinsame Zeitverteilungen liefern können.
Evaluationsmetriken: Die Standard-Evaluation stützt sich auf die negative Log-Likelihood (NLL) oder punktweise Metriken (z. B. mittlerer absoluter Fehler). Diese sind gegenüber der globalen Sequenzstruktur unempfindlich, können Mode Collapse maskieren und bevorzugen oft unterdispersive Vorhersagen. Zudem fehlt es bestehenden Maßen für die Verteilungsdiskrepanz (wie MMD oder Wasserstein-Distanzen) an einer theoretischen Rechtfertigung auf dem Raum der Zählpfade (càdlàg-Stufenfunktionen).

Es besteht eine signifikante theoretische Lücke: Rough-Path-Signaturen, die universelle Feature-Maps und Determiniertheitsgarantien für kontinuierliche Pfade mit beschränkter Variation bieten, können nicht direkt auf TPPs angewendet werden, da die Pfade von TPP-Stichproben diskontinuierlich sind (càdlàg), was die für signature-basierte generative Modellierung erforderlichen Stetigkeitsannahmen verletzt.

Methodik: SIGTPP

Das Paper schlägt SIGTPP vor, ein signature-basiertes generatives Framework, das die Lücke zwischen diskreten Ereignissequenzen und kontinuierlicher Pfadtheorie schließt. Die Methodik besteht aus vier Kernkomponenten:

1. Das Interarrival-Embedding ( $\Phi$ )

Um Signature-Methoden auf diskrete Sprünge anzuwenden, führen die Autoren ein stabiles, injektives Lift vom Raum der Zählpfade ( $\mathcal{N}$ ) in den Raum der kontinuierlichen Pfade mit beschränkter Variation ( $\mathcal{C}$ ) ein.

Mechanismus: Für einen Zählpfad $\eta$ mit Ereigniszeiten $t_k$ konstruiert das Embedding eine stückweise lineare kontinuierliche Funktion $x = \Phi(\eta)$ . Der Wert der Funktion an jeder Ereigniszeit $t_k$ wird auf die Interarrival-Zeit (Zwischenankunftszeit) $\tau_k = t_k - t_{k-1}$ gesetzt.
Zeit-Augmentierung: Die Signatur wird auf der zeit-augmentierten Kurve $t \mapsto (t, \Phi(\eta)_t)$ in $\mathbb{R}^2$ berechnet. Dies kodiert sowohl die absoluten Ereigniszeiten als auch die Interarrival-Dauern und entfernt baumartige Komponenten, um die Injektivität zu gewährleisten.
Theoretische Garantie: Das Paper beweist, dass $\Phi$ Lipschitz-stetig und injektiv ist. Unter milden Separationsannahmen (minimale Interarrival-Zeit $\delta > 0$ ) ist die inverse Abbildung Hölder-stetig, was sicherstellt, dass Diskrepanzen im eingebetteten Raum echte Diskrepanzen im ursprünglichen Zählpfad-Raum widerspiegeln.

2. Globaler Signature-Verlust

Anstatt bedingte Dichten pro Ereignis zu optimieren, optimiert SIGTPP einen globalen Verlust auf vollständigen Trajektorien.

Verlustfunktion: Das Modell minimiert den Signature-Wasserstein-1 (Sig-W1) Abstand zwischen den erwarteten trunkierten Signaturen der generierten Pfade und den beobachteten Datenpfaden.
Optimierung: Der Verlust ist definiert als der $\ell_2$ -Abstand zwischen den erwarteten trunkierten Signaturen:
$\text{Sig-W}^{(M)}_1(\mu_\theta, \nu) := \left\| \mathbb{E}_{N_\theta \sim \mu_\theta} [S_M(\Phi(N_\theta))] - \mathbb{E}_{N \sim \nu} [S_M(\Phi(N))] \right\|_2^2$
Dies ersetzt den adversariellen Diskriminator von GANs durch eine direkte Metrik auf der Tensoralgebra und vermeidet so Trainingsinstabilitäten.

3. Evaluationsmetriken

Die Autoren leiten drei theoretisch fundierte Verteilungsdiskrepanzen zur Evaluierung generativer TPPs ab, die alle auf der pfadweisen Metrik $d_N(\eta, \xi) = \int_0^{T_{max}} |\eta_t - \xi_t| dt$ basieren:

Energy Distance (E): Eine Metrik, die durch die Negative-Type-Eigenschaft des $L_1$ -Raums induziert wird.
Wasserstein-1 Distanz (W1): Hebt die pfadweise Metrik auf eine Verteilungsmetrik.
Signature-Wasserstein-1 (Sig-W1): Nutzt die erwarteten Signaturen als Diskrepanzmaß, was aufgrund der Injektivität von $\Phi$ zulässig ist.

4. Modellarchitektur

SIGTPP wird als 1-Schritt-autoregressiver Generator implementiert, der eine einzelne-Layer LSTM nutzt. Er sagt die Log-Interarrival-Zeiten bedingt auf den Historienzustand, die aktuelle kumulative Zeit und exogenen Rauschen voraus.

Zentrale Beiträge

Interarrival-Embedding: Eine neuartige, stabile und injektive Abbildung, die es ermöglicht, signature-basierte Methoden auf diskrete Ereignissequenzen (càdlàg-Pfade) anzuwenden.
SIGTPP-Modell: Das erste signature-basierte generative Modell für TPPs, das über einen globalen Pfad-Ebene-Verlust anstelle lokaler bedingter Verluste trainiert wird.
Theoretisches Framework: Beweise für die Lipschitz-Stetigkeit und Bijektivität des Embeddings sowie die Ableitung mathematisch valider Verteilungsdiskrepanzen (E, W1, Sig-W1) auf dem Raum der Zählpfade.
Evaluationsanalyse: Eine Demonstration, dass punktweise Metriken (MAE/MSE) die generative Qualität nicht bewerten können, da sie oft deterministische Regressoren bevorzugen, die die Verteilungsvariation ignorieren.

Experimentelle Ergebnisse

Das Modell wurde auf 4 synthetischen Datensätzen (Poisson, Inhomogener Poisson, Univarianter Hawkes, Multivariater Hawkes) und 5 realen Datensätzen (Erdbeben, Stack Overflow, Taobao, Taxi, Yelp) evaluiert.

Performance: SIGTPP erreichte den besten durchschnittlichen Rang über 8 komplementäre Metriken hinweg. Es übertraf oder glich die stärksten Baselines (VAE, DDPM, WGAN) in 64 % der Datensatz-Metrik-Paare.
Relativer Fortschritt: Laut einer relativen Score-Metrik verbesserte SIGTPP gegenüber jeder Baseline um durchschnittlich mindestens 19 %.
Distributionale Treue: SIGTPP übertraf die Baselines auf pfadweisen Verteilungsmetriken (E, W1, Sig-W1) signifikant und zeigte eine überlegene Ausrichtung auf das gemeinsame zeitliche Gesetz.
Trade-offs: Während SIGTPP bei der globalen Struktur exzellierte, schnitt es beim Continuous Ranked Probability Score (CRPS) im Vergleich zu Diffusionsmodellen (DDPM) und VAEs etwas schlechter ab. Die Autoren führen dies darauf zurück, dass pfadweise Zielsetzungen die globale distributionale Ausrichtung gegenüber der lokalen bedingten Kalibrierung priorisieren.
Punktweise Metriken: Die deterministische Baseline (DETER) erzielte die besten MAE/MSE-Scores, was bestätigt, dass punktweise Fehler die generative Qualität oder die distributionale Treue nicht messen.

Bedeutung und Behauptungen

Das Paper behauptet, ein „gemeinsames pfadweises Framework“ bereitzustellen, das die Generierung und Evaluierung von TPPs vereinheitlicht. Seine primäre Bedeutung liegt in:

Erweiterung von Signaturen auf diskrete Ereignisse: Erfolgreiche Anpassung der Rough-Path-Theorie an càdlàg-Prozesse mittels des Interarrival-Embeddings.
Global vs. Lokal: Nachweis, dass die Optimierung eines globalen Signature-Verlustes eine bessere strukturelle Treue (Autokorrelation, Langzeitabhängigkeiten) liefert als traditionelle per-Ereignis-Likelihood-Maximierung.
Evaluations-Rigorosität: Etablierung von punktweisen Metriken als unzureichend für generative TPPs und Bereitstellung einer Suite theoretisch gerechtfertigter Verteilungsdiskrepanzen (E, W1, Sig-W1) als Standard für die Evaluierung.

Die Autoren räumen Einschränkungen ein, darunter die Rechenkosten hoher Signature-Grade, die künstliche Natur des linearen Interpolations-Lifts und die vorläufige Natur der theoretischen Schranken. Sie behaupten jedoch, dass das Framework eine robuste Alternative für die Modellierung komplexer temporaler Abhängigkeiten bietet, bei denen die globale Struktur entscheidend ist.