In-Context Learning of Temporal Point Processes with Foundation Inference Models

Dit artikel introduceert FIM-PP, een foundation model dat via in-context learning en vooraf training op synthetische Hawkes-processen de dynamiek van gemarkeerde temporale puntprocessen direct kan infereren zonder extra training, terwijl het presteert op niveau van gespecialiseerde modellen.

De kern

Titel: De "Super-voorspeller" voor gebeurtenissen: Hoe AI leert van chaos

Stel je voor dat je een enorme hoeveelheid data hebt over gebeurtenissen die op willekeurige momenten gebeuren. Denk aan:

• Mensen die een foto posten op sociale media.
• Taxi's die een passagier oppikken.
• Bezoekers die een product kopen op een webshop.
• Hartslagen of neuronen die vuren in een hersenstelsel.

Deze gebeurtenissen lijken vaak willekeurig, maar ze volgen vaak verborgen patronen. Als er veel mensen een foto posten, is de kans groter dat er binnen een minuut nog een foto wordt geplaatst (dit heet een "exciterend" effect). Soms gebeurt het juist het tegenovergestelde: na een grote gebeurtenis is er even rust (een "remmend" effect).

In de wiskunde noemen we dit Temporele Puntprocessen. Het is een manier om te beschrijven wanneer iets gebeurt en wat het is.

Het oude probleem: Elke stad een nieuwe auto

Tot nu toe was het zo dat als je een model wilde maken om deze gebeurtenissen te voorspellen, je voor elke situatie een nieuw model moest bouwen.

• Wil je voorspellen wanneer taxi's rijden? Dan bouw je een model voor taxi's.
• Wil je voorspellen wanneer mensen posten? Dan bouw je een nieuw model voor sociale media.

Het is alsof je voor elke stad in Nederland een compleet nieuwe auto moet bouwen om te leren hoe je daar rijdt. Dat kost veel tijd, geld en rekenkracht.

De nieuwe oplossing: FIM-PP (De "Alles-kunner")

De auteurs van dit paper hebben een slimme oplossing bedacht: FIM-PP. Dit staat voor Foundation Inference Model for Point Processes.

Je kunt dit zien als een super-rijbewijs of een meesterkok.

1. De training: Koken in een proefkeuken

In plaats van te leren koken voor één specifiek restaurant, laten ze de AI eerst koken in een gigantische, virtuele keuken. Ze genereren miljoenen voorbeelden van "virtuele gebeurtenissen" met alle denkbare patronen:

• Soms gebeurt alles heel snel (een explosie van posts).
• Soms is het heel rustig.
• Soms remt gebeurtenis A gebeurtenis B af.
• Soms werkt het juist als een domino-effect.

De AI (FIM-PP) eet deze miljoenen voorbeelden op. Het leert niet wat er precies gebeurt, maar hoe patronen werken. Het leert de "grammatica" van tijd en gebeurtenissen.

2. De toepassing: In-context leren (Het "Kijk-en-leren"-principe)

Nu komt het magische deel. Als je dit getrainde model nu voor een echt probleem gebruikt (bijvoorbeeld: "Voorspel de volgende taxi-ritten in New York"), hoef je het model niet opnieuw te trainen.

Je geeft het model gewoon een paar voorbeelden van de huidige situatie (de "context").

• Vergelijking: Het is alsof je de meesterkok een foto geeft van de ingrediënten die je nu in je koelkast hebt. Omdat hij al duizenden recepten kent, kan hij direct zeggen: "Ah, met deze aardappelen en deze vis, maak je dit gerecht." Hij hoeft niet opnieuw naar school te gaan.

Dit noemen ze In-Context Learning. Het model kijkt naar de recente geschiedenis en past zijn kennis van de "virtuele keuken" direct toe op de echte wereld.

Wat levert dit op?

1. Snelheid: Je hoeft geen dagen te wachten om een nieuw model te trainen. Het werkt direct (in "zero-shot" modus).
2. Aanpasbaarheid: Als je het model toch even wilt "finetunen" (bijvoorbeeld om het perfect te maken voor jouw specifieke taxi-bedrijf), gaat dat razendsnel. Het is alsof je de kok even een paar tips geeft over jouw specifieke smaak, in plaats van hem opnieuw te laten leren koken.
3. Resultaat: In tests bleek dat dit ene model net zo goed (of zelfs beter) presteerde als de speciale modellen die jarenlang voor één specifieke taak waren getraind.

Samenvattend

Stel je voor dat je in plaats van een toolbox vol met duizenden specifieke sleutels (voor elke schroefsoort), maar één universele, slimme sleutel hebt. Deze sleutel is zo getraind op alle mogelijke schroeven in de wereld, dat hij zich direct aanpast aan elke nieuwe schroef die je hem geeft.

FIM-PP is die universele sleutel voor gebeurtenissen. Het leert van synthetische chaos om de echte wereld te begrijpen, waardoor we sneller en slimmer kunnen voorspellen wat er als volgende gaat gebeuren.

Technische samenvatting

Titel: In-Context Learning of Temporal Point Processes with Foundation Inference Models (FIM-PP)

Auteurs: David Berghaus et al. (Lamarr Institute, Fraunhofer IAIS, Universiteit Bonn, JetBrains Research, Universiteit Potsdam).

---

1. Probleemstelling

Het modelleren van multi-type gebeurtenissequenties met Gemerkte Temporele Puntprocessen (MTPPs) is cruciaal voor het begrijpen van dynamische systemen in domeinen zoals neurowetenschappen, sociale media, financiën en epidemiologie.

• Huidige beperkingen: Bestaande neurale benaderingen voor MTPP-inferentie vereisen doorgaans het trainen van gespecialiseerde modellen per specifiek systeem of dataset. Dit betekent dat voor elke nieuwe dataset het model vanaf nul moet worden getraind om de dynamische regels te leren, wat rekenkundig duur is en geen kennisoverdracht tussen verschillende dynamische regimes mogelijk maakt.
• De lacune: Hoewel er "foundation models" (basismodellen) zijn ontwikkeld voor taal (LLMs) en dynamische systemen zoals ODE's en SDE's, ontbreekt er een vergelijkbaar foundation model voor puntprocessen dat in staat is om zero-shot (zonder extra training) te generaliseren naar nieuwe, onbekende datasets.

2. Methodologie: FIM-PP

De auteurs introduceren FIM-PP (Foundation Inference Model for Point Processes), een model dat gebruikmaakt van amortized inference en in-context learning. Het doel is om een diep neurale netwerk te pretrainen dat de conditionele intensiteitsfuncties van gebeurtenisgeschiedenissen kan infereren op basis van een context van andere gebeurtenissequenties.

A. Synthetische Data Generatie (Pretraining)

Om een robuust foundation model te trainen, genereren de auteurs een enorme synthetische dataset bestaande uit 14,4 miljoen gebeurtenissen afkomstig van 72.000 verschillende MTPP-instanties.

• Distributie: Ze definiëren een brede prior over MTPPs door te variëren in:
  • Base intensities ($\mu$): Constant, sinusvormig (periodiek), Gamma-verdeling (hoge initiële excitatie).
  • Interactie-kernen ($\gamma$): Exponentieel (Hawkes), Rayleigh (niet-monotoon, verschoven), en Power-law (testen van generalisatie).
  • Interactietypes: Excitatorisch, inhibitorisch en neutraal, met variabele connectiviteit (dicht vs. spaarzaam).
• Doel: Het model leert een algemene representatie van dynamische patronen in plaats van specifieke dataset-eigenschappen.

B. Architectuur

FIM-PP is gebaseerd op een Transformer-architectuur met een hiërarchische aanpak:

1. Context Encoding: Een set van $m$ gebeurtenissequenties ($C = \{S_j\}$) wordt onafhankelijk gecodeerd door een Transformer-encoder. Elke sequentie wordt samengevat tot een context-embedding ($c_j$) via fixed-query attention.
2. History Encoding: De geschiedenis van de target-sequentie tot tijdstip $t$ ($H_t$) wordt gecodeerd als queries.
3. Decoder: Een Transformer-decoder attendeert op de gecombineerde context-embeddings (als keys en values) om een geünificeerde representatie $h_t$ te vormen die zowel de specifieke geschiedenis als de algemene context integreert.
4. Intensiteit Parametrisatie: De output wordt geprojecteerd naar parameters ($\hat{\mu}, \hat{\alpha}, \hat{\beta}$) die een flexibele conditionele intensiteitsfunctie definiëren:
   $$\hat{\lambda}(t, \kappa | H_t) = \hat{\mu} + (\hat{\alpha} - \hat{\mu}) \exp(-\hat{\beta}(t - t_{nhist}))$$
   Deze parametrisatie is flexibel genoeg om complexe patronen (zoals Rayleigh-kernen) te benaderen, ondanks de eenvoudige vorm.

C. Training en Finetuning

• Pretraining: Het model wordt getraind op de synthetische dataset met als doel de Negative Log-Likelihood (NLL) te minimaliseren. Het model leert de onderliggende intensiteit te voorspellen op basis van de context.
• Zero-Shot: Na pretraining kan het model direct worden toegepast op real-world data zonder verdere training.
• Finetuning: Voor specifieke doelen kan het model snel worden gefinetuned (binnen enkele minuten) op de trainingsset van een nieuwe dataset, waarbij de context sequenties uit diezelfde dataset worden gebruikt.

3. Belangrijkste Bijdragen

1. Eerste Foundation Model voor MTPPs: Het introduceren van het eerste foundation model dat specifiek is ontworpen voor het infereren van conditionele intensiteiten van gemerkte puntprocessen.
2. Synthetische Data Framework: Een robuust framework voor het genereren van diverse synthetische MTPP-data dat een sterke prior encodeert, waardoor generalisatie naar zowel in-distribution als out-of-distribution data mogelijk is.
3. Transformer-gebaseerde In-Context Learning: Een architectuur die history-embeddings gebruikt als queries en een context van meerdere sequenties als keys/values, wat schaalbaarheid en transfer learning mogelijk maakt.
4. Empirische Validatie: Het aantonen dat het model concurrerende prestaties levert in zero-shot modus en state-of-the-art prestaties bereikt na snelle finetuning.

4. Resultaten

De auteurs evalueren FIM-PP op vijf real-world datasets: TAXI, TAOBAO, STACKOVERFLOW, AMAZON en RETWEET, en vergelijken dit met state-of-the-art baselines (zoals CDiff, Dual-TPP, NHP, Attentive NHP).

• Zero-Shot Prestaties:

  • FIM-PP (zonder finetuning) presteert concurrerend met gespecialiseerde modellen op meerdere datasets, vooral op TAXI en RETWEET.
  • Het model slaagt erin om de intensiteitsfuncties nauwkeurig te schatten, zelfs voor processen met kernen (zoals Power-law) die niet in de pretraining-distributie zaten.
  • Bij next-event predictie (N=1) is de prestatie goed voor tijdsvoorspelling, maar iets minder nauwkeurig voor mark-voorspelling bij datasets met zeer specifieke patronen (zoals strikte afwisseling in TAXI) die niet in de prior zaten.

• Finetuning Prestaties:

  • Na finetuning (FIM-PP (f)) overtreft het model consistent alle baselines op alle datasets en metrieken (OTD, RMSE, sMAPE).
  • Finetuning is extreem efficiënt: het duurt slechts enkele minuten en vereist minder dan 11 GB GPU-geheugen, wat aanzienlijk sneller is dan het trainen van baselines vanaf nul (tot 4 uur).
  • Het model convergeert sneller en bereikt een hogere log-likelihood dan een willekeurig geïnitialiseerd model van dezelfde architectuur.

• Generalisatie:

  • Het model generaliseert goed naar processen met variabele tijdschalen dankzij een instance-normalisatie-scheme.
  • Het presteert robuust bij variatie in het aantal context-sequenties (saturatie na ~500 paden).

5. Betekenis en Toekomstperspectief

• Paradigmaverschuiving: Dit werk markeert een verschuiving van het trainen van specifieke modellen per dataset naar het gebruik van een universeel foundation model dat dynamische regels "in-context" leert. Dit verlaagt de drempel voor het toepassen van complexe MTPP-modellen in de praktijk aanzienlijk.
• Efficiëntie: De mogelijkheid om modellen in minuten te finetunen in plaats van uren, maakt toepassing haalbaar voor gebruikers met beperkte rekenkracht.
• Interpretatie: In tegenstelling tot pure generatieve modellen (zoals diffusion modellen) behoudt FIM-PP de interpretatie van de conditionele intensiteit, wat essentieel is voor domeinen waar causaliteit en dynamische mechanismen belangrijk zijn (bijv. epidemiologie).
• Beperkingen en Toekomst: De prestaties in zero-shot modus kunnen dalen bij sterke distributieveranderingen (bijv. zeer specifieke, niet-geobserveerde patronen zoals strikte afwisseling in TAXI). Toekomstig werk richt zich op het uitbreiden van de synthetische prior om nog complexere real-world patronen te dekken en het integreren van intensiteit-vrije methoden.

Conclusie: FIM-PP bewijst dat foundation inference modellen voor tijdsreeksen met gebeurtenissen haalbaar en effectief zijn, en biedt een krachtig, flexibel en efficiënt alternatief voor traditionele, dataset-specifieke modellering.