Technische Samenvatting: Van Sprongen naar Signaturen: een Generatieve Methode voor Temporele Puntprocessen

Probleemstelling

Temporele Puntprocessen (TPP's) modelleren discrete gebeurtenissen die plaatsvinden in continue tijd, wat de basis vormt voor toepassingen in de financiële sector, seismologie en de gezondheidszorg. Hoewel Neurale TPP's (NTPP's) dit veld hebben geavanceerd met expressieve neurale netwerken, kampen ze met twee primaire beperkingen:

1. Trainingsdoelstellingen: Huidige methoden optimaliseren lokale, per gebeurtenis gerelateerde verliezen (bijv. maximalisatie van de log-likelihood). Deze deconstrueren in sommen van conditionele verliezen, waardoor ze geen globaal signaal bieden voor structurele eigenschappen zoals autocorrelatie, langetermijnafhankelijkheden en gezamenlijke tijdsverdelingen.
2. Evaluatiemetrieken: Standaard evaluatie rust op Negative Log-Likelihood (NLL) of puntgewijze metrieken (bijv. Mean Absolute Error). Deze zijn ongevoelig voor de globale sequentiestructuur, kunnen modus-instorting (mode collapse) maskeren en geven vaak de voorkeur aan ondergedispergeerde voorspellingen. Bovendien missen bestaande maatstaven voor distributieve discrepantie (zoals MMD of Wasserstein-afstanden) een theoretische rechtvaardiging op de ruimte van telpaden (càdlàg stapfuncties).

Er bestaat een aanzienlijke theoretische kloof: Rough path signatures, die universele feature maps en determinatiegaranties bieden voor continue paden van begrensde variatie, kunnen niet direct worden toegepast op TPP's omdat TPP-steekproefpaden discontinu zijn (càdlàg), wat de continuïteitsveronderstellingen vereist voor signature-gebaseerde generatieve modellering schendt.

Methodologie: SIGTPP

Het artikel stelt SIGTPP voor, een op signature gebaseerd generatief framework dat de kloof overbrugt tussen discrete gebeurtenissequenties en continue padtheorie. De methodologie bestaat uit vier kerncomponenten:

1. De Interarrival Embedding ($\Phi$)

Om signature-methoden toe te passen op discrete sprongen, introduceren de auteurs een stabiele, injectieve lift van de ruimte van telpaden ($\mathcal{N}$) naar de ruimte van continue paden van begrensde variatie ($\mathcal{C}$).

• Mechanisme: Voor een telpad $\eta$ met gebeurtenistijden $t_k$, construeert de embedding een stuksgewijs lineaire continue functie $x = \Phi(\eta)$. De waarde van de functie op elke gebeurtenistijd $t_k$ wordt ingesteld op de interarrival tijd $\tau_k = t_k - t_{k-1}$.
• Tijdsaugmentatie: De signature wordt berekend op de tijd-geaugmenteerde curve $t \mapsto (t, \Phi(\eta)_t)$ in $\mathbb{R}^2$. Dit codeert zowel absolute gebeurtenistijden als interarrival duur, waarbij boomstructuur-componenten worden verwijderd om de signature injectief te maken.
• Theoretische Garantie: Het artikel bewijst dat $\Phi$ Lipschitz-continu en injectief is. Onder milde scheidingsveronderstellingen (minimale interarrival tijd $\delta > 0$) is de inverse kaart Hölder-continu, wat garandeert dat discrepanties in de geëmbbedde ruimte werkelijke discrepanties in de oorspronkelijke telpadruimte reflecteren.

2. Global Signature Loss

In plaats van per-gebeurtenis conditionele dichtheden te optimaliseren, optimaliseert SIGTPP een globale loss op volledige trajecten.

• Verliesfunctie: Het model minimaliseert de Signature-Wasserstein-1 (Sig-W1) afstand tussen de verwachte afgekorte signaturen van de gegenereerde paden en de geobserveerde datapaden.
• Optimalisatie: De loss wordt gedefinieerd als de $\ell_2$-afstand tussen de verwachte afgekorte signaturen:
  $$\text{Sig-W}^{(M)}_1(\mu_\theta, \nu) := \left\| \mathbb{E}_{N_\theta \sim \mu_\theta} [S_M(\Phi(N_\theta))] - \mathbb{E}_{N \sim \nu} [S_M(\Phi(N))] \right\|_2^2$$
  Dit vervangt de adversariële discriminator van GAN's door een directe metriek op de tensoralgebra, wat trainingsinstabiliteit voorkomt.

3. Evaluatiemetrieken

De auteurs leiden drie theoretisch gefundeerde distributieve discrepanties af voor het evalueren van generatieve TPP's, die allemaal gebaseerd zijn op de padwijze metriek $d_N(\eta, \xi) = \int_0^{T_{max}} |\eta_t - \xi_t| dt$:

• Energy Distance (E): Een metriek geïnduceerd door de negatieve-type eigenschap van de $L_1$-ruimte.
• Wasserstein-1 Afstand (W1): Verheft de padwijze metriek naar een distributieve metriek.
• Signature-Wasserstein-1 (Sig-W1): Gebruikt de verwachte signaturen als een discrepantiemaat, wat geldig is vanwege de injectiviteit van $\Phi$.

4. Modelarchitectuur

SIGTPP wordt geïmplementeerd als een 1-stap autoregressieve generator met behulp van een enkele-laag LSTM. Het voorspelt log-interarrival tijden geconditioneerd op de historie-toestand, de huidige cumulatieve tijd en exogene ruis.

Belangrijkste Bijdragen

1. Interarrival Embedding: Een nieuwe, stabiele en injectieve mapping die het mogelijk maakt om signature-gebaseerde methoden toe te passen op discrete gebeurtenissequenties (càdlàg paden).
2. SIGTPP Model: Het eerste op signature gebaseerde generatieve model voor TPP's, getraind via een globale pad-niveau loss in plaats van lokale conditionele losses.
3. Theoretisch Framework: Bewijzen die de Lipschitz-continuïteit en bijectiviteit van de embedding vaststellen, en de afleiding van wiskundig geldige distributieve discrepanties (E, W1, Sig-W1) op de ruimte van telpaden.
4. Evaluatieanalyse: Een demonstratie dat puntgewijze metrieken (MAE/MSE) falen in het beoordelen van generatieve kwaliteit, en vaak de voorkeur geven aan deterministische regressoren die de distributieve variatie negeren.

Experimentele Resultaten

Het model werd geëvalueerd op 4 synthetische datasets (Poisson, Inhomogeneous Poisson, Univariate Hawkes, Multivariate Hawkes) en 5 real-world datasets (Earthquake, Stack Overflow, Taobao, Taxi, Yelp).

• Prestaties: SIGTPP behaalde de beste gemiddelde rang over 8 complementaire metrieken. Het presteerde beter dan of gelijk aan de sterkste baselines (VAE, DDPM, WGAN) in 64% van de dataset-metriek paren.
• Relatieve Verbetering: Volgens een relatieve score-metriek verbeterde SIGTPP ten opzichte van elke baseline met gemiddeld minstens 19%.
• Distributionele Getrouwheid: SIGTPP presteerde significant beter dan baselines op pad-niveau distributieve metrieken (E, W1, Sig-W1), wat wijst op een superieure uitlijning met de gezamenlijke temporele wet.
• Trade-offs: Hoewel SIGTPP uitblonk in globale structuur, presteerde het iets minder goed op de Continuous Ranked Probability Score (CRPS) vergeleken met diffusie-gebaseerde modellen (DDPM) en VAE's. De auteurs schrijven dit toe aan het feit dat pad-niveau doelstellingen prioriteit geven aan globale distributieve uitlijning boven lokale conditionele kalibratie.
• Puntgewijze Metrieken: De deterministische baseline (DETER) behaalde de beste MAE/MSE scores, wat bevestigt dat puntgewijze fouten de generatieve kwaliteit of distributieve getrouwheid niet meten.

Betekenis en Claims

Het artikel beweert een "gemeenschappelijk padwijze framework" te bieden dat de generatie en evaluatie van TPP's verenigt. De primaire betekenis ligt in:

• Uitbreiding van Signatures naar Discrete Gebeurtenissen: Het succesvol aanpassen van rough path theorie aan càdlàg processen via de interarrival embedding.
• Globaal vs. Lokaal: Het aantonen dat het optimaliseren van een globale signature loss leidt tot betere structurele getrouwheid (autocorrelatie, langetermijnafhankelijkheden) dan traditionele per-gebeurtenis likelihood maximalisatie.
• Evaluatie-rigor: Het vaststellen van standaard puntgewijze metrieken als onvoldoende voor generatieve TPP's en het bieden van een suite van theoretisch gerechtvaardigde distributieve discrepanties (E, W1, Sig-W1) als de standaard voor evaluatie.

De auteurs erkennen beperkingen, waaronder de computationele kosten van hoge-graads signaturen, de kunstmatige aard van de lineaire interpolatie lift, en de voorlopige aard van de theoretische grenzen. Ze stellen echter dat het framework een robuust alternatief biedt voor het modelleren van complexe temporele afhankelijkheden waar globale structuur cruciaal is.