In-Context Learning of Temporal Point Processes with Foundation Inference Models

Die Arbeit stellt das Foundation Inference Model for Point Processes (FIM-PP) vor, ein vortrainiertes neuronales Netz, das mittels In-Context-Learning und amortisierter Inferenz dynamische Regeln aus Ereignissequenzen ableitet und somit spezialisierte Modelle für die Vorhersage zukünftiger Ereignisse bei Markierten Temporalen Punktprozessen ersetzt oder ergänzt.

Das Wesentliche

🌧️ Der Wetterbericht für Ereignisse: Ein neuer „Allzweck-Wetterdienst" für Daten

Stellen Sie sich vor, Sie beobachten verschiedene Arten von Ereignissen: Tweets, die auf Twitter fliegen, Taxis, die durch New York fahren, oder Herzschläge in einem medizinischen Monitor. Diese Ereignisse kommen nicht regelmäßig wie ein Taktstock, sondern unregelmäßig, wie Regentropfen, die auf ein Dach fallen.

In der Mathematik nennt man das Temporale Punktprozesse. Die große Frage für Datenwissenschaftler war bisher immer: „Wie können wir vorhersagen, wann der nächste Tropfen fällt und welche Farbe er hat?"

Das alte Problem: Ein neuer Schuh für jeden Fuß

Bisher musste man für jedes dieser Phänomene ein ganz neues, spezialisiertes Computermodell von Grund auf neu erfinden und trainieren.

• Will man Taxis vorhersagen? Man braucht ein Taxi-Modell.
• Will man Tweets vorhersagen? Man braucht ein Tweet-Modell.
• Will man Herzschläge analysieren? Man braucht ein Herz-Modell.

Das ist wie ein Schuster, der für jeden Kunden einen neuen Schuh nähen muss, bevor er ihn anprobiert. Es dauert lange, kostet viel Geld und das Modell lernt nichts von den anderen Schuhen.

Die neue Lösung: FIM-PP – Der „Schuh-Allrounder"

Die Autoren dieses Papers haben etwas Revolutionäres entwickelt: FIM-PP. Man kann sich das wie einen genialen, universellen Schuhmacher vorstellen, der nicht für jeden Kunden neu anfangen muss.

1. Der riesige Trainings-Labor (Synthetische Daten)
Bevor FIM-PP die echte Welt sieht, hat er in einer riesigen, künstlichen Simulation gelebt. Dort wurden Millionen von zufälligen Ereignis-Sequenzen generiert – von ganz einfachen, gleichmäßigen Tropfen bis hin zu chaotischen, sich gegenseitig anfeuernden Explosionen von Ereignissen.

• Die Analogie: Stellen Sie sich vor, FIM-PP hat in einem riesigen Simulator Millionen verschiedener Wetterlagen durchgespielt: Stürme, Regen, Schnee, Hitzewellen. Er hat gelernt, wie sich diese Muster verhalten, ohne dass er jemals ein echtes Wetter gesehen hat.

2. Der „Kontext-Lern"-Trick (In-Context Learning)
Das ist der magische Teil. Wenn FIM-PP nun in der echten Welt (z. B. bei Taxis) eingesetzt wird, braucht er keine neuen Trainingsstunden mehr.

• Wie es funktioniert: Man gibt dem Modell einfach eine Liste von vergangenen Taxi-Fahrten (den „Kontext"). Das Modell schaut sich diese Muster an und sagt sofort: „Aha, diese Taxis fahren ähnlich wie die Muster, die ich in meinem Simulator gelernt habe!"
• Die Analogie: Es ist, als würde ein erfahrener Detektiv in einen neuen Fall eintreten. Er braucht keine neue Schulung, sondern schaut sich nur die ersten paar Spuren an (den Kontext) und sagt sofort: „Ich kenne dieses Muster! Die Täter verhalten sich genau so wie in den 1000 Fällen, die ich vorher gesehen habe."

3. Was kann das Modell?

• Null-Shot (Ohne Training): Es kann sofort Vorhersagen treffen, nur basierend auf dem, was es gerade sieht. Es ist überraschend gut darin, sogar bei Dingen, die es nie explizit gelernt hat.
• Feinabstimmung (Fine-Tuning): Wenn man es doch noch ein bisschen trainiert (nur ein paar Minuten statt Tage), wird es zum Weltmeister in diesem spezifischen Bereich und schlägt alle bisherigen Spezialisten.

Warum ist das so wichtig?

Stellen Sie sich vor, Sie haben eine App, die plötzlich neue Daten bekommt (z. B. neue Social-Media-Trends).

• Früher: Man musste Wochen warten, bis ein neues Modell trainiert war.
• Heute mit FIM-PP: Man lädt das Modell, gibt ihm die neuen Daten als „Kontext", und es versteht sofort, worum es geht. Es ist wie ein universeller Übersetzer, der jede neue Sprache sofort versteht, sobald man ihm ein paar Sätze vorspricht.

Zusammenfassung in einem Satz

Die Forscher haben einen KI-„Allrounder" gebaut, der durch das Studium von Millionen simulierten Szenarien gelernt hat, wie Zeit und Ereignisse funktionieren, und der nun sofort jede neue, reale Ereignis-Kette verstehen und vorhersagen kann, ohne dass man ihn jedes Mal neu erfinden muss.

Das Ergebnis: Schnellere Vorhersagen, weniger Rechenaufwand und ein Modell, das sich flexibel an jede neue Situation anpasst – von Social Media bis zur Finanzwelt.

Technische Zusammenfassung

1. Problemstellung

Die Modellierung von zeitlichen Ereignissequenzen mit mehreren Ereignistypen (Marked Temporal Point Processes, MTPPs) ist ein zentrales Problem in Bereichen wie Neurowissenschaften, Finanzwesen, Epidemiologie und sozialen Medien. Herkömmliche neuronale Ansätze zur Inferenz von MTPPs (z. B. Neuronale Hawkes-Prozesse, Transformer-basierte Modelle) leiden unter einem fundamentalen Mangel an Transferierbarkeit:

• Jedes neue Datenset erfordert das Training eines spezialisierten Modells von Grund auf (from scratch).
• Diese Modelle müssen für jedes System die zugrunde liegenden dynamischen Regeln neu erlernen, was rechenintensiv ist und keine Generalisierung über verschiedene dynamische Regime hinweg ermöglicht.
• Es fehlte bisher an einem „Foundation Model" (Basis-Modell) für Punktprozesse, das ähnlich wie Large Language Models (LLMs) durch Vorab-Training auf synthetischen Daten in der Lage ist, neue Systeme ohne oder mit minimalem Nachtraining zu verstehen.

2. Methodik: FIM-PP

Die Autoren stellen FIM-PP (Foundation Inference Model for Point Processes) vor, ein tiefes neuronales Netzwerk, das auf dem Paradigma des Amortized In-Context Learning basiert. Das Ziel ist es, die bedingte Intensitätsfunktion $\lambda(t, \kappa | H_t)$ eines MTPPs direkt aus einem Kontext von Ereignissequenzen abzuleiten, ohne dass das Modell für den spezifischen Datensatz neu trainiert werden muss.

A. Synthetisches Vorab-Training (Pretraining)

Da reale Daten oft begrenzt sind, wird das Modell auf einer massiven synthetischen Datenbank trainiert:

• Datengenerierung: Es werden 72.000 verschiedene MTPP-Instanzen simuliert, die aus einer breiten Prior-Verteilung über bedingte Intensitätsfunktionen stammen.
• Vielfalt der Prozesse: Die Verteilung umfasst klassische Hawkes-Prozesse, Poisson-Prozesse, periodische Prozesse sowie Prozesse mit nicht-monotonen Kernen (z. B. Rayleigh-Verteilung) und zeitabhängigen Basisintensitäten (z. B. Gamma-Verteilung).
• Interaktionen: Die Interaktionen zwischen den Markierungen (Ereignistypen) werden randomisiert als anregend (excitatory), hemmend (inhibitory) oder neutral (neutral) definiert.
• Aufgabe: Das Modell lernt, aus einem Kontext (einer Menge von Sequenzen $C$) und einer aktuellen Historie $H_t$ die wahren Intensitätsfunktionen vorherzusagen. Dies wird als Meta-Learning-Aufgabe formuliert.

B. Architektur

FIM-PP nutzt eine Transformer-basierte Architektur mit zwei Hauptkomponenten:

1. Kontext-Encoding: Eine Menge von Kontextsequenzen $C = \{S_j\}$ wird unabhängig voneinander durch einen Transformer-Encoder verarbeitet. Jede Sequenz wird zu einem einzigen Embedding komprimiert, das dann durch einen weiteren Encoder aggregiert wird. Dies ermöglicht Skalierbarkeit auf verschiedene Anzahlen von Sequenzen.
2. Kontextbewusste Historie-Encoding: Die Historie $H_t$ der Zielsequenz wird als Query in einen Transformer-Decoder eingespeist, der auf die aggregierten Kontext-Embeddings (als Keys und Values) achtet. Dies integriert das Wissen aus dem Kontext in die Repräsentation der aktuellen Historie.
3. Intensitäts-Parametrisierung: Aus dem resultierenden Embedding werden Parameter für eine flexible Intensitätsfunktion geschätzt (ähnlich einer Hawkes-Funktion, aber mit lernbaren, historienabhängigen Parametern für Basisintensität, Anstieg und Abklingrate).
4. Instanz-Normalisierung: Um über verschiedene Zeitskalen hinweg generalisieren zu können, werden Zeitwerte relativ zur maximalen Intervallzeit im Kontext normalisiert.

C. Training und Feinabstimmung (Finetuning)

• Ziel: Minimierung der negativen Log-Likelihood (NLL) der nächsten Ereignisse.
• Zero-Shot: Das vortrainierte Modell kann direkt auf reale Daten angewendet werden, ohne weitere Anpassung.
• Finetuning: Das Modell kann schnell (in wenigen Minuten) auf spezifische Datensätze feinabgestimmt werden, indem der Kontext aus dem Trainingsset des Zielsystems genutzt wird. Dies nutzt die starken Priors des Vorab-Trainings als günstige Initialisierung.

3. Wichtige Beiträge

1. Erstes Foundation Inference Model für MTPPs: FIM-PP ist das erste Modell, das in der Lage ist, Intensitätsfunktionen von Punktprozessen im Kontext zu lernen und dabei Zero-Shot-Fähigkeiten aufweist.
2. Synthetisches Generierungs-Framework: Entwicklung einer umfassenden Pipeline zur Erzeugung diverser MTPP-Daten, die eine breite Verteilung von dynamischen Regimen (excitatory, inhibitory, verschiedene Kernel) abdeckt und als robuste Basis für das Vorab-Training dient.
3. Transformer-Architektur für Intensitätsinferenz: Eine neuartige Architektur, die Kontextsequenzen und Historie effizient kombiniert, um bedingte Intensitäten zu schätzen, anstatt nur diskrete Ereignisse zu generieren.
4. Nachweis der Generalisierung: Demonstration, dass ein einziges Modell auf synthetischen Daten trainiert, sowohl auf synthetischen Benchmarks als auch auf realen Datensätzen (Taxi, Amazon, StackOverflow, Retweet) konkurrenzfähige Ergebnisse liefert.

4. Ergebnisse

Die Evaluation erfolgte auf fünf realen Datensätzen (TAXI, TAOBAO, STACKOVERFLOW, AMAZON, RETWEET) im Vergleich zu State-of-the-Art-Methoden (z. B. CDiff, Dual-TPP, NHP).

• Zero-Shot Leistung: FIM-PP erreicht in der Zero-Shot-Modus (ohne Feinabstimmung) bereits eine Leistung, die mit spezialisierten Modellen vergleichbar ist und diese in einigen Metriken (z. B. sMAPE für Wartezeiten) sogar übertrifft. Es generalisiert erfolgreich auf reale Daten, obwohl es nur auf synthetischen Daten trainiert wurde.
• Leistung nach Feinabstimmung: Nach einer schnellen Feinabstimmung (in wenigen Minuten) übertrifft FIM-PP (f) konsistent alle Baseline-Modelle über alle Horizont-Längen (Anzahl der vorhergesagten Ereignisse) hinweg.
  • Auf dem TAXI-Datensatz wurde z. B. ein OTD (Optimal Transport Distance) von 17.91 erreicht (vs. 21.01 bei CDiff).
  • Auf AMAZON wurde ein OTD von 37.2 erreicht (vs. 37.7 bei CDiff).
• Effizienz: Die Feinabstimmung erfordert weniger als 11 GB GPU-Speicher und dauert nur wenige Minuten, was deutlich schneller ist als das Training von Baseline-Modellen von Grund auf (bis zu 4 Stunden).
• Intensitäts-Schätzung: Das Modell kann nicht nur Ereignisse vorhersagen, sondern auch die zugrunde liegende Intensitätsfunktion (Rate der Ereigniseintritte) genau rekonstruieren, was Interpretierbarkeit bietet.

5. Bedeutung und Ausblick

• Paradigmenwechsel: Die Arbeit markiert einen Übergang vom Training spezialisierter Modelle pro Datenset hin zu allgemeinen, vorab trainierten Modellen für dynamische Systeme. Dies senkt die Einstiegshürde für die Anwendung von Punktprozessen in der Praxis erheblich.
• Interpretierbarkeit: Im Gegensatz zu rein generativen Modellen (wie Diffusion-Modellen), die oft als „Blackbox" fungieren, liefert FIM-PP explizite Schätzungen der Intensitätsfunktionen, was die Analyse kausaler Strukturen und dynamischer Eigenschaften (z. B. Anreizeffekte) ermöglicht.
• Limitationen: Die Zero-Shot-Leistung kann bei Datenmustern abnehmen, die im synthetischen Prior nicht abgedeckt waren (z. B. sehr starke periodische Oszillationen zwischen zwei Markierungen).
• Zukunft: Die Autoren planen, den synthetischen Prior zu erweitern, um noch komplexere reale Muster abzudecken, und untersuchen die Integration intensitätsfreier Methoden in das Framework.

Zusammenfassend stellt FIM-PP einen bedeutenden Fortschritt dar, der die Prinzipien von Foundation Models erfolgreich auf den Bereich der zeitlichen Punktprozesse überträgt und damit eine neue Ära der effizienten, generalisierbaren und interpretierbaren Ereignisvorhersage einleitet.