Multivariate Representations of Univariate Marked Hawkes Processes

Titel: Multivariate Representaties van Univariate Gemerkte Hawkes-processen

Auteurs: Louis Davis, Conor Kresin, Boris Baeumer, Ting Wang (Universiteit van Otago)

1. Het Probleem

Univariate gemerkte Hawkes-processen worden veel gebruikt om complexe real-world fenomenen te modelleren, zoals aardbevingen (naschokken), verspreiding van besmettelijke ziekten, content-diffusie op sociale media en orderboekdynamiek. Een fundamentele uitdaging bij het modelleren van deze processen is de niet-scheidbaarheid (non-separability) van de grondintensiteit en de verdeling van de markeringen (marks).

• Huidige beperkingen: Veel bestaande modellen (zoals het ETAS-model voor aardbevingen) veronderstellen mark-separability, wat betekent dat de grondintensiteit en de markering onafhankelijk van elkaar worden gemodelleerd. Dit is vaak een onjuiste modelspecificatie die de werkelijkheid niet goed weergeeft.
• Computationele complexiteit: Het direct schatten van parameters voor niet-scheidbare gemerkte Hawkes-processen via Maximum Likelihood Estimation (MLE) is computatief zeer duur en convergeert vaak traag.
• Alternatieven: Bestaande methoden om dit op te lossen, zoals "Neural Hawkes" (neuronale netwerken) of niet-parametrische benaderingen via Fredholm-integrale, missen vaak interpreteerbare parameters of bieden geen garantie dat ze de onderliggende verdeling willekeurig goed kunnen benaderen.

2. Methodologie

De auteurs stellen een nieuwe raamwerk voor dat een univariate gemerkte Hawkes-proces transformeert in een multivariaat ongemarkeerd Hawkes-proces.

• Partitie van de Mark-ruimte: De steun (support) van de mark-verdeling $M$ wordt opgesplitst in een eindig aantal disjuncte meetbare verzamelingen $\{A_i\}_{i=1}^K$.
• Multivariate Representatie: Het oorspronkelijke proces wordt gemodelleerd als een multivariaat proces met $K$ componenten. Elke component $i$ correspondeert met een specifiek bereik van markeringen ($M \in A_i$).
• Intensiteitsfunctie: De conditionele intensiteit van het nieuwe multivariate proces wordt gedefinieerd als:
  $$\lambda_\theta(t, M|H_t) = \sum_{i=1}^K \chi_{A_i}(M) \left( \lambda_{0i} + \sum_{j=1}^K \sum_{t_{\ell,j}<t} \alpha_{ij} g_{ij}(t - t_{\ell,j}) \right)$$
  Waarbij $\chi_{A_i}$ de indicatorfunctie is, $\lambda_{0i}$ de achtergrondintensiteit, en $\alpha_{ij}$ de excitatie tussen componenten.
• Cross-excitatie: Door de kruisende excitatie ($\alpha_{ij}$) tussen de verschillende mark-bereiken te parametriseren, kan het model complexe interacties tussen grondintensiteit en markering nabootsen, zelfs als deze niet-scheidbaar zijn.
• Theoretische Aannames: De methode vereist alleen dat er een positieve mark-dichtheid bestaat, de productiviteitsfunctie continu is, en de kernel-integreerbaar is.

3. Belangrijkste Bijdragen en Theoretische Resultaten

Het artikel levert drie fundamentele theoretische resultaten:

1. L1-Benadering (Theorema 3.2):
   Er bestaat een multivariate representatie die de conditionele intensiteit van een willekeurig niet-scheidbaar univariate gemerkt Hawkes-proces willekeurig goed kan benaderen in de $L_1$-norm. Naarmate het aantal componenten $K$ toeneemt, neemt het verschil tussen de echte intensiteit en de benadering af. Dit geldt zelfs als de ware mark-verdeling onbekend is.

2. Stationariteit (Theorema 3.3):
   Als het doelproces (het oorspronkelijke gemerkte proces) stationair is, dan is de resulterende multivariate representatie ook stationair. Dit is cruciaal voor voorspelling en frequentistische inferentie, omdat het garandeert dat het proces niet "explosief" wordt (oneindig veel gebeurtenissen in eindige tijd).

3. Identificeerbaarheid (Theorema 3.5):
   De parameters van de multivariate representatie ($\lambda_{0i}, \alpha_{ij}, \beta_{ij}$) zijn identificeerbaar. Dit betekent dat de parameters uniek kunnen worden bepaald uit de waarnemingen, mits aan bepaalde voorwaarden wordt voldaan (zoals lineariteit van de kernel en aanwezigheid van gebeurtenissen in alle mark-categorieën).

4. Simulatiestudie en Resultaten

De auteurs voeren een simulatiestudie uit om de theorie te valideren:

• Opzet: Ze simuleren een stationair univariaat gemerkt Hawkes-proces met een exponentiële kernel en een uniforme mark-verdeling (de "ergste" case voor statistische efficiëntie).
• Vergelijking: Ze schatten de parameters van de multivariate representatie voor verschillende waarden van $K$ (aantal componenten).
• Resultaten:
  • De schattingen convergeren naar de theoretische waarden naarmate het aantal datapunten toeneemt.
  • De fout (Median Absolute Error) neemt toe met het aantal componenten $K$, wat te verwachten is door de grotere parameterruimte.
  • Desalniettemin biedt de methode een flexibele, parametrische benadering die computatieel haalbaarder is dan volledig niet-parametrische methoden en interpreteerbaarder dan neurale netwerken.
  • De studie biedt heuristische bovengrenzen voor de fout die wordt geïntroduceerd door de toename van het aantal parameters.

5. Betekenis en Toekomstperspectief

Deze paper biedt een brug tussen de theorie van gemerkte en multivariate Hawkes-processen.

• Praktische Toepassing: Het stelt onderzoekers in staat om complexe, niet-scheidbare processen te modelleren met behulp van goed bestudeerde multivariate Hawkes-methoden, zonder de complexiteit van niet-parametrische schatting of "black-box" neurale netwerken.
• Interpreteerbaarheid: In tegenstelling tot Neural Hawkes-modellen, blijven de parameters in dit raamwerk interpreteerbaar (bijv. excitatie tussen specifieke mark-bereiken).
• Toekomstig Werk: De auteurs suggereren het gebruik van kernel-dichtheidsschattingen in plaats van histogrammen (zoals hier gebruikt) om de schatting te verbeteren, en het introduceren van sparsiteit om de parameterruimte te verkleinen en de complexiteit te beheersen.

Conclusie: De voorgestelde methode is een krachtig, theoretisch onderbouwd en computatieel haalbaar instrument voor het modelleren van een breed scala aan real-world fenomenen waarbij markeringen en tijdsdynamiek sterk met elkaar verweven zijn.