Technische Samenvatting: Vooruitgang in Temporele Puntprocessen: Bayesiaanse, Neurale en LLM-benaderingen

Probleemdefinitie

Temporele Puntprocessen (TPP's) zijn stochastische modellen die ontworpen zijn om sequenties van gebeurtenissen die in continue tijd plaatsvinden te karakteriseren. In tegenstelling tot synchrone tijdreeksen zijn gebeurtenissequenties (bijv. neurale spikes, financiële orders, sociale media-berichten) asynchroon, vertonen ze vaak complexe zelf-exciterende of inhiberende dynamiek, en kunnen ze afhankelijk zijn van de volledige geschiedenis van het verleden. De kernuitdaging in TPP-onderzoek ligt in het modelleren van de voorwaardelijke intensiteitsfunctie $\lambda^*(t)$, die de waarschijnlijkheid definieert dat een gebeurtenis plaatsvindt op tijdstip $t$, gegeven de geschiedenis $H_{t^-}$.

Hoewel traditionele statistische TPP's (bijv. Poisson, Hawkes-processen) interpreteerbaarheid bieden, vertrouwen ze vaak op rigide parametrische aannames die hun expressiviteit op complexe datasets beperken. Omgekeerd bieden recente vooruitgang in deep learning en grote taalmodellen (LLM's) een grotere flexibiliteit, maar introduceren ze uitdagingen met betrekking tot onzekerheidskwantificering, computationele efficiëntie in continue tijd en de integratie van semantische context. Deze survey behandelt de noodzaak van een uitgebreide review van deze evoluerende paradigma's, met specifieke focus op de periode van 2020 tot 2025.

Methodologie en Taxonomie

Het artikel organiseert recente vooruitgang in TPP's in drie primaire methodologische kaders: Bayesiaanse, Neurale en LLM-gebaseerde benaderingen.

1. Bayesiaanse Niet-parametrische TPP's

Dit kader gaat verder dan vaste parametrische vormen door de intensiteitsfunctie zelf te behandelen als een willekeurige variabele met oneindige dimensies, typisch gemodelleerd met behulp van Gaussische Processen (GP's).

• Poisson-processen: De intensiteit $\lambda(t)$ wordt gemodelleerd als $l \circ g(t)$, waarbij $g(t)$ een GP-prior volgt en $l(\cdot)$ een linkfunctie is (bijv. exponentieel, sigmoïde). Inferentie is uitdagend vanwege het "dubbel ontoegankelijke" karakter van de posterior (integralen over tijd en functieruimte). Oplossingen omvatten Markov Chain Monte Carlo (MCMC) met latente 'thinned points', Laplace-approximaties (met gebruik van Kronecker- of spectrale methoden) en Variational Inference (VI).
• Hawkes-processen: De voorwaardelijke intensiteit bestaat uit een basislijn $\mu(t)$ en een triggeringsfunctie $\phi(\tau)$. Bayesiaanse niet-parametrische benaderingen plaatsen GP's op beide componenten. Een belangrijke techniek betreft branching latent variables (die aangeven of een gebeurtenis een achtergrondgebeurtenis is of getriggerd door een vorige gebeurtenis) om de likelihood te ontkoppelen in onafhankelijke Poisson-processen, wat het gebruik van standaard GP-inferentiemethoden mogelijk maakt (bijv. Gibbs sampling, EM-algoritmen, VI). Recente werken maken ook gebruik van Pólya-Gamma data-augmentatie om conditionele conjunctiviteit te bereiken.

2. Neurale TPP's

Neurale TPP's maken gebruik van deep learning-architecturen om de geschiedenis-embedding en de voorwaardelijke distributie van de volgende gebeurtenis te modelleren. De survey categoriseert deze in drie architecturale families:

• Recurrente Neurale TPP's: Gebruiken RNN's, LSTM's of GRU's om een verborgen toestand $h_n$ sequentieel bij te werken bij elke gebeurtenis. Hoewel computationeel efficiënt voor voorspelling ($O(1)$), lijden ze onder sequentiële trainingsbottlenecks ($O(N)$) en problemen met het vastleggen van langetermijnafhankelijkheden. Recente integraties met State Space Models (bijv. S4, Mamba) beogen deze beperkingen aan te pakken.
• Autoregressieve Neurale TPP's: Gebruiken Transformer-architecturen met self-attention mechanismen om langetermijnafhankelijkheden te vangen en parallel trainen mogelijk te maken. Deze modellen coderen gebeurtijden en 'marks' in embeddings en gebruiken attention-scores om geschiedenisrepresentaties te genereren. Ze brengen echter doorgaans een kwadratische trainingscomplexiteit ($O(N^2)$) en lineaire voorspellingscomplexiteit ($O(N)$) met zich mee, tenzij geoptimaliseerd met KV-caching.
• Op Differentiaalvergelijkingen gebaseerde Neurale TPP's: Deze modellen (bijv. Neurale ODE's/SDE's) definiëren de evolutie van de verborgen toestand continu tussen gebeurtenissen. De toestand evolueert vloeiend via een neurale ODE en springt bij gebeurtijden via een neurale SDE. Dit maakt flexibele modellering van de intensiteitsfunctie over continue intervallen mogelijk, wat de discrete-tijdbeperkingen van RNN's en Transformers overwint, zij het tegen de kosten van dure numerieke integratie tijdens de training.
• Diffusie-gebaseerde TPP's: Een nieuw paradigma dat de generatie van gebeurtenissequenties behandelt als een denoising-proces. In tegenstelling tot autoregressieve modellen genereren diffusiemodellen de gehele sequentie (of meerdere toekomstige gebeurtenissen) simultaan, wat potentieel de foutaccumulatie bij forecasting op lange termijn vermindert, hoewel ze problemen ervaren met het handhaven van temporele consistentie en de computationele kosten.

Parametrisatiestrategieën: Het artikel benadrukt dat neurale TPP's de distributie van de volgende gebeurtenis kunnen parametriseren via:

1. Voorwaardelijke Intensiteitsfunctie ($\lambda^*$): Vereist numerieke integratie voor Maximum Likelihood Estimation (MLE).
2. Voorwaardelijke Dichtheidsfunctie ($f$): "Intensiteit-vrije" modellering; vermijdt integratie, wat efficiënte sampling mogelijk maakt.
3. Cumulatieve Intensiteit ($\Lambda^*$) of Distributie ($F$): Herformuleert de log-likelihood om derivaten te gebruiken in plaats van integralen, wat de trainingsefficiëntie verbetert via automatische differentiatie.

3. LLM-gebaseerde TPP's

Dit opkomende veld integreert Large Language Models om de semantische en multimodale aspecten van gebeurtenissequenties te behandelen.

• LLM-geïnspireerde TPP's: Gebruiken LLM-mechanismen (bijv. prompt learning, abductief redeneren) om conventionele neurale TPP's te verbeteren. Voorbeelden zijn PromptTPP voor continu leren en LAMP voor causaal redeneren.
• Directe LLM-TPP Integratie: Behandelt de LLM als het kernmodel voor de sequentie. Gebeurtenissen worden getokeniseerd (tijd, type, tekst) en direct in de LLM gevoed. TPP-LLM gebruikt tekstuele beschrijvingen voor gebeurtenissen, terwijl Language-TPP continue tijdsintervallen codeert als byte-level tokens, waardoor de LLM tijd en semantiek gezamenlijk kan modelleren.
• Extensies: Recent werk breidt TPP's uit naar multimodale benchmarks (bijv. DanmakuTPPBench) die tekst, video en tijdstempels omvatten, en naar taken voor retrieval-augmented generatie.

Belangrijkste Bijdragen

1. Uitgebreide Taxonomie: Het artikel biedt een gestructureerde review van TPP's over de Bayesiaanse, Neurale en LLM-paradigma's, waarbij het het veld actualiseert voorbij 2020. Het benadrukt specifelijk het onderbelichte gebied van Bayesiaanse niet-parametrische TPP's en het prille veld van LLM-gebaseerde TPP's.
2. Methodologische Synthese: Het details de trade-offs tussen verschillende modelleringsbenaderingen (bijv. expressiviteit vs. computationele kosten, discrete vs. continue tijd) en parametrisatiestrategieën (intensiteit-gebaseerd vs. dichtheid-gebaseerd).
3. Training en Evaluatie Analyse: De survey vergelijkt trainingsdoelstellingen (MLE, Wasserstein afstand, Noise Contrastive Estimation, Fisher Divergence) en bespreekt het gebrek aan gestandaardiseerde benchmarks, waarbij recente inspanningen zoals EasyTPP en DanmakuTPPBench worden belicht.
4. Toepassingsreview: Het herbekijkt klassieke toepassingen (gebeurtenisvoorspelling, causale ontdekking) in diverse domeinen zoals finance, epidemiologie en neurowetenschappen, en merkt op hoe moderne methoden presteren ten opzien van traditionele baselines.

Resultaten en Empirische Inzichten

Het artikel synthetiseert empirische bevindingen uit de bestaande literatuur in plaats van nieuwe experimentele resultaten te presenteren:

• Prestaties: Neurale TPP's, met name Transformer-gebaseerde modellen, presteren over het algemeen beter dan klassieke parametrische modellen (bijv. Hawkes) op grootschalige, complexe datasets voor next-event voorspelling.
• Efficiëntie: Modellen die de voorwaardelijke dichtheid of cumulatieve intensiteitsfunctie parametriseren, bereiken vaak een betere trainingsefficiëntie en vergelijkbare nauwkeurigheid met intensiteit-gebaseerde modellen door numerieke integratie te vermijden.
• Beperkingen: Voorspelling op de lange termijn blijft een uitdaging voor alle klassen; autoregressieve methoden lijden onder foutaccumulatie, terwijl niet-autoregressieve (diffusie) methoden worstelen met temporele consistentie.
• Impact van LLM: LLM-gebaseerde benaderingen tonen veelbelovendheid in taken die semantisch begrip of multimodale redenering vereisen, maar domineren niet noodzakelijkerwijs zuiver temporele voorspellingsbenchmarks.

Betekenis en Toekomstige Richtingen

Het artikel claimt relevantie als een tijdige bron die de kloof overbrugt tussen statistische strengheid (Bayesiaanse methoden), de flexibiliteit van deep learning (neurale methoden) en semantisch begrip (LLM's). Het benadrukt dat het veld verschuift van het puur modelleren van de waarschijnlijkheid van gebeurtenisvoorkomens naar het begrijpen van temporeel geïndexeerde gebeurtenisdata met rijke context.

Geïdentificeerde Uitdagingen:

• Data en Benchmarks: Het gebrek aan gestandaardiseerde, gecureerde datasets en evaluatieprotocollen belemmert een eerlijke vergelijking.
• Interpreteerbaarheid: Neurale TPP's fungeren vaak als black boxes, wat causale ontdekking en besluitvorming bemoeilijkt.
• Schaalbaarheid: Modelleren in continue tijd gecombineerd met lange sequenties creëert computationele bottlenecks (bijv. $O(N^2)$ voor attention, kosten van numerieke integratie).
• Sampling Efficiëntie: Het genereren van geldige gebeurtenissequenties blijft computationeel duur vergeleken met likelihood evaluatie.
• Multimodale Integratie: Het effectief uitlijnen van continue tijdsrepresentaties met discrete, hoogdimensionale modaliteiten (tekst, afbeeldingen) blijft een openstaand probleem.

De auteurs concluderen dat toekomstige vooruitgang afhangt van het integreren van statistische strengheid met neurale flexibiliteit en taalvaardigheden, en het adresseren van schaalbaarheid en interpreteerbaarheid om bredere toepassing in real-world, multimodale omgevingen mogelijk te maken.