Multivariate Spatio-Temporal Neural Hawkes Processes

Deze paper introduceert een multivariate ruimtelijk-temporele neurale Hawkes-proces die complexe ruimtelijke en temporele dynamieken in gebeurtenisdata modelleert door ruimtelijke informatie te integreren in de latente staten, waardoor de beperkingen van bestaande temporele modellen worden overwonnen en zowel simulaties als een toepassing op terrorismedata in Pakistan de superioriteit van de methode aantonen.

De kern

Stel je voor dat je een detective bent die probeert te begrijpen waarom en waar bepaalde dingen gebeuren. In dit geval zijn die "dingen" geen moorden of diefstallen, maar terroristische aanvallen. Maar in plaats van alleen te kijken naar wanneer ze gebeuren, kijken we ook naar waar ze gebeuren en hoe ze met elkaar verbonden zijn.

Deze paper introduceert een slimme nieuwe manier om dit te doen, genaamd MSTNHP. Laten we dit uitleggen zonder ingewikkelde wiskunde, maar met een paar creatieve vergelijkingen.

1. Het Probleem: De "Koffieautomaat" vs. De "Orkestleider"

Stel je voor dat je een koffieautomaat hebt. Als iemand een knop indrukt, komt er koffie. Soms drukken mensen snel achter elkaar op de knop (dat noemen we excitatie: één gebeurtenis leidt tot een volgende). Soms is de machine even kapot en komt er niets (dat is inhibitie).

Oude modellen (zoals de "temporale Hawkes-processen") kijken alleen naar de tijd. Ze zeggen: "Oh, er was een aanval om 10:00, dus waarschijnlijk is er om 10:05 weer een." Ze negeren de locatie volledig.

Dit is alsof je probeert te voorspellen waar een orkest gaat spelen, alleen door naar de tijd te kijken, zonder te kijken naar de zaal of de muzikanten. Als je alleen naar de tijd kijkt, mis je het grootste deel van het verhaal.

2. De Oplossing: Een Slimme "Geheugen-robot"

De auteurs van dit paper hebben een nieuw model bedacht dat werkt als een slimme robot met een supergeheugen.

• Het Geheugen (LSTM): Stel je voor dat deze robot een notitieboekje heeft. Elke keer als er een aanval is, schrijft hij het op. Maar hij is niet dom: hij vergeet niet alles tegelijk. Hij onthoudt hoe lang geleden het was (tijdsgeheugen) en hoe ver weg het was (ruimtelijk geheugen).
• De "Verval"-functie: In de oude modellen was dit geheugen vaak star. In dit nieuwe model kan de robot leren: "Oh, als een aanval in de stad X gebeurt, heeft dat invloed op de stad Y, maar die invloed wordt zwakker naarmate de afstand groter is."
• De Magie: De robot kan zowel leren dat gebeurtenissen elkaar opjagen (excitatie) als dat ze elkaar remmen (inhibitie). Soms leidt een aanval van groep A direct tot een aanval van groep B. Soms leidt het juist tot een periode van rust omdat groep B zich terugtrekt.

3. Waarom is dit zo belangrijk? (Het Pakistan Voorbeeld)

De auteurs hebben dit getest met echte data uit Pakistan, waar vier verschillende terroristische groepen actief zijn:

1. TTP (een grote groep)
2. BRA, BLA en BLF (drie kleinere, maar actieve groepen)

Het oude probleem:
Als je alleen naar de tijd kijkt (zonder de locatie), zie je een rommelige hoop data. Het lijkt alsof alles door elkaar loopt. Het model probeert dan een lijn te trekken door de chaos, maar dat werkt niet goed. Het is alsof je probeert het weer te voorspellen door alleen naar de temperatuur te kijken, maar de windrichting en de luchtvochtigheid negeert.

Het nieuwe resultaat:
Met hun nieuwe model (MSTNHP) kunnen ze zien:

• "Ah, als groep A een aanval pleegt in het noorden, dan is de kans groot dat groep B binnen 2 dagen een aanval pleegt in het zuiden."
• Ze kunnen zien dat sommige groepen elkaar remmen (als de ene groep toe slaat, houdt de andere even op) en andere groepen elkaar aanwakkeren.

4. De "Vergelijking" in het Kort

De auteurs hebben hun nieuwe robot vergeleken met zes andere bestaande robots (bestaande modellen).

• De andere robots: Ze deden het goed op papier (ze voorspelden goed wanneer iets zou gebeuren), maar als je naar hun "geest" keek (de onderliggende patronen), was het een puinhoop. Ze zagen de echte dynamiek niet.
• De nieuwe robot (MSTNHP): Deze zag precies hoe de patronen eruit zagen. Hij kon de complexe dans tussen tijd en ruimte nabootsen.

5. De Grootste Les: Kijk niet alleen naar de cijfers

De belangrijkste boodschap van dit paper is eigenlijk een waarschuwing voor wetenschappers:
"Kijk niet alleen naar de score."

In de wereld van AI en data kun je een model bouwen dat een hoge score haalt (een goede "log-likelihood"), maar dat de werkelijkheid totaal verkeerd begrijpt. Het is alsof een student een examen haalt door te raden, maar de stof niet begrijpt.

De auteurs zeggen: "Kijk ook naar de structuur." Kijk of het model de echte patronen in de tijd en ruimte heeft begrepen. Als je dat niet doet, kun je gevaarlijke fouten maken in voorspellingen.

Samenvatting in één zin

Deze paper introduceert een slimme, nieuwe manier om te voorspellen waar en wanneer gebeurtenissen (zoals terroristische aanvallen) zullen plaatsvinden, door niet alleen naar de tijd te kijken, maar ook naar de locatie en hoe deze twee met elkaar dansen, net als een detective die zowel de klok als de kaart van de stad in de gaten houdt.

Technische samenvatting

Titel: Multivariate Spatio-Temporal Neural Hawkes Processes

Auteurs: Christopher Chukwuemeka, Hojun You, en Mikyoung Jun

---

1. Probleemstelling

De analyse van ruimtelijk-temporele (spatio-temporele) puntprocessen is cruciaal voor het begrijpen van dynamische gebeurtenissen zoals aardbevingen, epidemieën, criminaliteit en terroristische aanslagen. Bestaande modellen hebben echter belangrijke beperkingen:

• Parametrische restricties: Traditionele Hawkes-processen gebruiken vaak vaste parametrische functies voor "triggering" (opwekking) en inhibitie. Deze zijn niet flexibel genoeg om complexe, niet-stationaire dynamieken in de tijd en ruimte te modelleren.
• Scheiding van ruimte en tijd: Veel modellen veronderstellen dat ruimte en tijd gescheiden zijn (separability), wat de realiteit vaak niet weerspiegelt.
• Tekortkomingen in Deep Learning: Hoewel er recente vooruitgang is geboekt met neurale Hawkes-processen (zoals NHP, SAHP, THP) voor temporele data, falen deze methoden vaak om de onderliggende structuur van de intensiteitsfunctie correct te vangen, zelfs als ze een goede log-likelihood scoren. Ze kunnen leiden tot "degenererende" oplossingen waarbij de intensiteit onrealistisch snel afneemt.
• Gebrek aan multivariate ruimtelijke modellen: Er is een gebrek aan modellen die zowel multivariate (meerdere gebeurtenistypes) als ruimtelijke interacties flexibel kunnen modelleren zonder vooraf gedefinieerde kernels.

2. Methodologie

De auteurs stellen een nieuw model voor: de Multivariate Spatio-Temporal Neural Hawkes Process (MSTNHP). Dit model breidt de bestaande Neural Hawkes Process (NHP) uit naar het domein van ruimte en tijd.

Kerncomponenten van het model:

• Continuous-Time LSTM: Het model gebruikt een continue-tijd LSTM-architectuur om de geschiedenis van gebeurtenissen te coderen in een verborgen toestand (latent state) $h(s, t)$.
• Ruimtelijk-Temporele Geheugencel: Een cruciale innovatie is de aanpassing van de memorecel $c(s, t)$. In tegenstelling tot de standaard NHP die alleen op tijd decayeert, introduceert MSTNHP een gezamenlijke decay-functie voor zowel tijd als ruimte:
  $$c_d(s, t) = \bar{c}_{d, i-1} + (c_{d, i-1} - \bar{c}_{d, i-1}) e^{-\delta^{(t)}_{d, i-1}(t - t_{i-1}) - \delta^{(s)}_{d, i-1}\|s - s_{i-1}\|}$$
  Hierbij zijn $\delta^{(t)}$ en $\delta^{(s)}$ geleerde decay-snelheden voor tijd en ruimte, en $\|s - s_{i-1}\|$ de Euclidische afstand. Dit stelt het model in staat om te leren hoe ver en hoe lang een eerdere gebeurtenis invloed heeft op toekomstige gebeurtenissen.
• Intensiteitsfunctie: De conditionele intensiteit $\lambda_k(s, t)$ voor gebeurtenistype $k$ op locatie $s$ en tijd $t$ wordt berekend als:
  $$\lambda_k(s, t) = f_k(w_k^T h(s, t))$$
  Waarbij $f_k$ een positieve linkfunctie is (zoals softplus) en $w_k$ een trainbare vector.
• Training: Het model wordt getraind door de log-likelihood te maximaliseren. De integraal over de ruimte en tijd (nodig voor de likelihood) wordt benaderd via Monte Carlo-sampling.

3. Belangrijkste Bijdragen

1. Integratie van Ruimte en Tijd in Neurale Netwerken: Het is een van de eerste modellen dat neurale Hawkes-processen succesvol uitbreidt naar een multivariate spatio-temporele context, waarbij ruimtelijke informatie direct wordt geïntegreerd in de evolutie van de verborgen toestand.
2. Flexibiliteit zonder Vooraf Gedefinieerde Kernels: In tegenstelling tot parametrische modellen, leert MSTNHP de triggering- en inhibitiestructuur (excitatie en remming) direct uit de data, zonder beperking tot specifieke wiskundige functies (zoals exponentiële of Gaussische kernels).
3. Identificatie van een Modelleringsteken: De auteurs tonen aan dat standaard prestatie-metrics (zoals log-likelihood) misleidend kunnen zijn. Modellen kunnen een hoge likelihood scoren terwijl ze de onderliggende intensiteitsstructuur (de vorm van excitatie/inhibitie) volledig verkeerd modelleren.
4. Validatie via Simulatie en Real-World Data: Het model wordt uitgebreid getest op gesimuleerde data met complexe patronen en toegepast op een real-world dataset van terroristische aanslagen in Pakistan.

4. Resultaten

Simulatiestudies:

• Vergelijking met bestaande methoden: In vergelijking met zes populaire neurale tijdsreeksmodellen (zoals RMTPP, SAHP, THP, ODETPP) presteerde MSTNHP aanzienlijk beter in het herleiden van de ware intensiteitsfuncties. Bestaande methoden faalden vaak in het vangen van gezamenlijke (joint) dynamieken tussen verschillende gebeurtenistypes.
• Ruimtelijke herstel: MSTNHP slaagde erin om zowel de temporele als de ruimtelijke intensiteitsstructuren nauwkeurig te reproduceren, inclusief complexe patronen zoals kruisgewijze inhibitie (waarbij het ene type gebeurtenis het andere onderdrukt).
• Ablatie-studie: Toen ruimtelijke data werd "ingevouwen" tot een puur temporeel proces (MTNHP), faalde het model om de ware dynamiek te vangen, wat resulteerde in onstabiele en onrealistische intensiteitscurves. Dit benadrukt de noodzaak van expliciete ruimtelijke modellering.

Toepassing op Terrorisme in Pakistan:

• Dataset: Data van vier terroristische groepen (TTP, BRA, BLA, BLF) tussen 2008 en 2020.
• Resultaten:
  • Het model kon complexe interacties tussen de groepen ontrafelen. Bijvoorbeeld, TTP vertoonde een ander temporeel patroon dan de Baloch-groepen, en de intensiteit van de Baloch-groepen varieerde sterk per periode.
  • De ruimtelijke kaarten toonden aan dat de groepen verschillende "hotspots" hebben, maar dat de triggering soms ook kruisgewijs werkt (bijv. een aanval van BLA kan de kans op een TTP-aanval beïnvloeden).
  • Het model kon zowel excitatie (opwinding) als remming (inhibitie) detecteren, waarbij na periodes van hoge activiteit soms een "cool-down" fase volgt.
  • De vergelijking met het temporele model (MTNHP) toonde aan dat het negeren van de ruimtelijke dimensie leidt tot vertekende resultaten, zelfs als de likelihood vergelijkbaar is.

5. Betekenis en Conclusie

Deze paper is significant omdat het een brug slaat tussen diep leren en statistische puntprocessen voor ruimtelijk-temporele data.

• Methodologische doorbraak: Het toont aan dat continue-tijd LSTM-architecturen superieur zijn aan discrete-tijd of attention-only modellen voor het modelleren van Hawkes-processen, omdat ze een continue evolutie van de intensiteit garanderen.
• Praktische relevantie: Voor toepassingen zoals terrorismebestrijding, epidemiologie en seismologie biedt het model een krachtig instrument om complexe, niet-lineaire interacties tussen verschillende actoren in ruimte en tijd te voorspellen en te analyseren.
• Waarschuwing voor evaluatie: De auteurs benadrukken dat log-likelihood alleen niet voldoende is om de kwaliteit van een Hawkes-model te beoordelen; visuele inspectie van de herstelde intensiteitsfuncties is essentieel.

Kortom, MSTNHP biedt een robuust, flexibel en interpreteerbaar kader voor het modelleren van complexe multivariate gebeurtenissen waar ruimte en tijd onlosmakelijk met elkaar verbonden zijn.