Technische Samenvatting: ChronoSSM

Probleemstelling

Moderne autoregressieve sequentiemodellen, inclusief Transformers en State Space Models (SSMs), zijn voornamelijk getraind om te voorspellen "wat" er volgt in een sequentie, waarbij ze "wanneer" het gebeurt vaak behandelen als een secundaire kwestie of een hulp signaal. In domeinen waar gebeurtenissen expliciete temporele metadata dragen—zoals business-proces traces, klinische dossiers, netwerkverkeer en temporele kennisgrafen—beperkt deze scheiding het vermogen van het model om temporele redenering, anomaliedetectie en een getrouwe reconstructie van de gebeurtenischronologie uit te voeren.

Een veelgebruikte strategie om dit aan te pakken is een twee-fasen aanpak: eerst een model trainen voor next-event voorspelling, de representaties bevriezen, en vervolgens een apart timing-module fitten. Deze methode gaat impliciet ervan uit dat representaties die uitsluitend geoptimaliseerd zijn voor token-voorspelling al voldoende temporele structuur bevatten. De auteurs stellen dat deze aanname twijfelachtig is, aangezien het doel van token-generatie kenmerken beloont die de waarschijnlijkheid van de volgende gebeurtenis verbeteren, maar niet expliciet stimuleert om de intervallen tussen aankomsten (inter-arrival times) te coderen.

Methodologie: ChronoSSM

De auteurs introduceren ChronoSSM, een autoregressief State Space Model dat ontworpen is om gebeurtenissen en tijdstempels gezamenlijk te modelleren binnen een gedeelde backbone.

Modelarchitectuur

• Backbone: Het model maakt gebruik van een causale autoregressieve backbone (voornamelijk geïnstantieerd met Mamba2, een selectieve SSM) die een geschiedenis van tokens $X_k$ verwerkt om token-specifieke verborgen representaties $h_k$ te produceren.
• Dual Heads:
  1. Token Voorspellingskop: Een lineaire mapping die de volgende token $x_{k+1}$ voorspelt.
  2. Temporele Voorspellingskop: Een functie die de inter-arrival tijd $\Delta t_{k+1}$ voorspelt.
• Temporele Representatie: Om de tijd tussen gebeurtenissen te voorspellen, definieert het model de transitie-representatie $r_{k+1}$ als het verschil tussen opeenvolgende verborgen toestanden: $r_{k+1} = \Delta h_{k+1} = h_{k+1} - h_k$. Dit brengt de representatie van de tijdsafstand in lijn met de verandering in de latente staat.
• Verliesfunctie: De trainingsdoelstelling combineert token-voorspelling en temporele voorspelling via een gewogen negatieve log-likelihood:
  $$\mathcal{L} = \mathcal{L}_{tok} + \lambda_\tau \mathcal{L}_{time}$$
  Waarbij $\mathcal{L}_{tok}$ de categorische cross-entropie is voor tokens, en $\mathcal{L}_{time}$ de negatieve log-likelihood is van de inter-arrival tijden (gemodelleerd als een log-normale dichtheid over log-getransformeerde targets om nulwaarden en heterogeniteit te verwerken).

Trainingsregimes

Het paper voert een gecontroleerde vergelijking uit tussen twee optimalisatieschema's om de impact van temporele supervisie op de backbone te isoleren:

1. Joint Training (Gezamenlijke training): De backbone, de token-kop en de temporele kop worden simultaan geoptimaliseerd. Gradiënten van zowel de token- als de temporele verliesfuncties updaten de gedeelde backbone-parameters ($\theta$). Dit stelt de temporele supervisie in staat om de geleerde representaties direct vorm te geven.
2. Two-Stage Training (Twee-fasen training): De backbone en de token-kop worden eerst getraind met enkel $\mathcal{L}_{tok}$. Vervolgens wordt de backbone bevroren en wordt de temporele kop getraind op de resulterende bevroren representaties. Dit dient als de baseline waarbij temporele gradiënten de backbone niet kunnen wijzigen.

Experimentele Opzet

De evaluatie beslaat vier verschillende domeinen met variërende sequentiestructuren en tijdstempel-dichtheden:

1. Business-Process Traces (BPI2018): Dichte tijdstempels voor activiteitlogs.
2. Klinische Gebeurtenissequenties (MIMIC-IV): Dichte, bursty tijdstempels voor patiëntvitale functies en observaties.
3. Netwerkverkeer: Gedeeltelijk getijdstempeld (tijdstempels alleen bij pakketgrenzen).
4. Temporele Kennisgrafen (GDELT): Gedeeltelijk getijdstempeld (tijdstempels alleen bij feitenmarkers).

De studie bevat ook symbolische muziekgeneratie in de appendix.

Belangrijkste Resultaten

RQ1: Temporele Herstelbaarheid

De auteurs onderzoeken of Joint-training leidt tot representaties waarin inter-arrival informatie beter herstelbaar is dan in Two-Stage training. Ze gebruiken twee diagnostische metrieken op bevroren representaties:

• Linear Probe: Een ridge-regressie probe die de temporele target voorspelt vanuit de representatie.
• Temporal Cohesion Score (TCS): Een geometrische maatstaf voor de vraag of transities met vergelijkbare tijdsintervallen samen clusteren in de representatieruimte.

Bevindingen: In alle vier de domeinen produceert Joint training consistent representaties met een hogere temporele herstelbaarheid.

• Netwerkverkeer vertoonde de meest dramatische verbetering (TCS steeg van 0,147 naar 0,622).
• BPI2018 en MIMIC-IV vertoonden significante verbeteringen in de prestaties van de linear probe ($R^2$ en MAE), hoewel de geometrische cohesie (TCS) minder sterk verbeterde.
• Temporele Kennisgrafen vertoonden consistente, zij het kleinere, winsten over alle metrieken heen.

RQ2: Kwaliteitsdegradatie

De auteurs beoordelen of het injecteren van temporele supervisie systematisch de primaire gebeurtenis-generatiecapaciteit van het model verslechtert.

Bevindingen: Er is geen bewijs voor systematische degradatie in generatiekwaliteit onder Joint training.

• BPI2018: De generatiekwaliteit (gemeten met Damerau-Levenshtein gelijkenis) was identiek tussen Joint en Two-Stage.
• MIMIC-IV: Joint training vertoonde een lichte degradatie in de marginale event-token distributie metrieken (JSD en TV afstand), maar behield een identieke recall voor frequente klinische gebeurtenissen.
• Netwerkverkeer & Temporele KG: Joint training verbeterde zelfs de content-generatiekwaliteit. In deze domeinen leverde Joint training een lagere Jensen-Shannon divergentie voor pakketheaders en aanzienlijk betere link-predictie metrieken (MRR, Hits@k) op vergeleken met Two-Stage.

Betekenis en Claims

Het paper claimt dat expliciete temporele supervisie de temporele herstelbaarheid van geleerde representaties kan verbeteren zonder de autoregressieve gebeurtenismodellering materieel te verslechteren.

Belangrijke kernpunten zijn:

• Verenigde Representatie: Joint training slaagt erin om event-semantiek en temporele dynamiek binnen een verenigde representatie te leren, wat de aanname uitdaagt dat training met enkel tokens volstaat voor temporele taken.
• Domeinafhankelijkheid: De interactie tussen temporele herstelbaarheid en generatiekwaliteit is domeinafhankelijk. In sommige gevallen (Netwerkverkeer, Temporele KG) lijkt temporele supervisie de structurele regelmatigheden die door de token-generator worden gevangen te versterken, wat leidt tot betere algehele prestaties.
• Praktische Implicatie: Deze aanpak plaveit de weg voor het trainen van temporeel bewuste generatieve modellen die geen gedecoupleerde, twee-fasen pijplijn vereisen, wat potentieel voordeel biedt voor downstream taken zoals anomaliedetectie en forecasting die afhankelijk zijn van een getrouwe chronologie.

De auteurs blijven bescheiden en merken op dat hoewel de winst op representatieniveau duidelijk is, een rigoureuze evaluatie van de distributionele getrouwheid van tijdstempels tijdens vrije autoregressieve generatie een richting is voor toekomstig werk. Ze benadrukken ook dat de voordelen van Joint training afhangen van de specifieke domeinstructuur en de dichtheid van de temporele supervisie.