Sintesi Tecnica: ChronoSSM

Definizione del Problema

I moderni modelli sequenziali autoregressivi, inclusi i Transformer e i Modelli di Spazio di Stato (SSM), sono prevalentemente addestrati per predire "cosa" accade successivamente in una sequenza, trattando spesso il "quando" accade come un elemento secondario o un segnale ausiliario. In domini in cui gli eventi portano metadati temporali espliciti — come tracce di processi aziendali, record clinici, traffico di rete e grafi di conoscenza temporale — questa separazione limita la capacità del modello di eseguire ragionamento temporale, rilevamento di anomalie e ricostruzione fedele della cronologia degli eventi.

Una strategia comune per affrontare questo problema è l'approccio a Due Fasi (Two-Stage): addestrare prima un modello per la predizione del prossimo evento, congelarne le rappresentazioni e poi adattare un modulo temporale separato. Questo metodo assume implicitamente che le rappresentazioni ottimizzate esclusivamente per la predizione dei token contengano già una struttura temporale sufficiente. Gli autori sostengono che tale assunzione sia discutibile, poiché l'obiettivo di generazione dei token premia caratteristiche che migliorano la verosimiglianza del prossimo evento, ma non incoraggia esplicitamente la codifica degli intervalli tra gli arrivi.

Metodologia: ChronoSSM

Gli autori introducono ChronoSSM, un Modello di Spazio di Stato autoregressivo progettato per modellare congiuntamente eventi e timestamp all'interno di un backbone condiviso.

Architettura del Modello

• Backbone: Il modello utilizza un backbone autoregressivo causale (istanziato principalmente con Mamba2, un SSM selettivo) che elabora una cronologia di token $X_k$ per produrre rappresentazioni dei token $h_k$.
• Dual Heads (Teste Doppie):
  1. Testa di Predizione del Token: Una mappa lineare che predice il prossimo token $x_{k+1}$.
  2. Testa di Predizione Temporale: Una funzione che predice l'intervallo tra gli arrivi $\Delta t_{k+1}$.
• Rappresentazione Temporale: Per predire il tempo tra gli eventi, il modello definisce la rappresentazione di transizione $r_{k+1}$ come la differenza tra stati latenti consecutivi: $r_{k+1} = \Delta h_{k+1} = h_{k+1} - h_k$. Ciò allinea la rappresentazione del gap temporale con il cambiamento nello stato latente.
• Funzione di Perdita (Loss Function): L'obiettivo di addestramento combina la predizione del token e la predizione temporale tramite una log-verosimiglianza negativa pesata:
  $$\mathcal{L} = \mathcal{L}_{tok} + \lambda_\tau \mathcal{L}_{time}$$
  Dove $\mathcal{L}_{tok}$ è la cross-entropia categorica per i token e $\mathcal{L}_{time}$ è la log-verosimiglianza negativa degli intervalli tra gli arrivi (modellata come una densità log-normale su target trasformati in scala logaritmica per gestire i valori zero e l'eterogeneità).

Regimi di Addestramento

Il paper conduce un confronto controllato tra due programmi di ottimizzazione per isolare l'impatto della supervisione temporale sul backbone:

1. Addestramento Congiunto (Joint Training): Il backbone, la testa del token e la testa temporale sono ottimizzati simultaneamente. I gradienti provenienti sia dalla perdita del token che da quella temporale aggiornano i parametri del backbone condiviso ($\theta$). Ciò consente alla supervisione temporale di plasmare direttamente le rappresentazioni apprese.
2. Addestramento a Due Fasi (Two-Stage Training): Il backbone e la testa del token sono addestrati prima utilizzando solo $\mathcal{L}_{tok}$. Successivamente, il backbone viene congelato e la testa temporale viene addestrata sulle rappresentazioni risultanti dal backbone congelato. Questo funge da baseline in cui i gradienti temporali non possono modificare il backbone.

Configurazione Sperimentale

La valutazione abbraccia quattro domini distinti con diverse strutture di sequenza e densità di timestamp:

1. Tracce di Processi Aziendali (BPI2018): Timestamp densi per i log delle attività.
2. Sequenze di Eventi Clinici (MIMIC-IV): Timestamp densi e a raffiche (bursty) per i parametri vitali e le osservazioni dei pazienti.
3. Traffico di Rete: Parzialmente timestampati (timestamp solo ai confini dei pacchetti).
4. Grafi di Conoscenza Temporale (GDELT): Parzialmente timestampati (timestamp solo ai marcatori di fatto).

Lo studio include anche la generazione di musica simbolica nell'appendice.

Risultati Chiave

RQ1: Recuperabilità Temporale

Gli autori investigano se l'addestramento congiunto produca rappresentazioni in cui l'informazione sull'intervallo tra gli arrivi è più recuperabile rispetto all'addestramento a due fasi. Utilizzano due metriche diagnostiche sulle rappresentazioni congelate:

• Linear Probe: Un probe di regressione ridge che predice il target temporale dalla rappresentazione.
• Temporal Cohesion Score (TCS): Una misura geometrica per verificare se le transizioni con gap temporali simili si raggruppano insieme nello spazio delle rappresentazioni.

Risultati: In tutti e quattro i domini, l'addestramento congiunto produce costantemente rappresentazioni con una maggiore recuperabilità temporale.

• Il Traffico di Rete ha mostrato il miglioramento più drammatico (il TCS è passato da 0.147 a 0.622).
• BPI2018 e MIMIC-IV hanno mostrato miglioramenti significativi nelle prestazioni del linear probe ($R^2$ e MAE), sebbene la coesione geometrica (TCS) sia migliorata in modo più modesto.
• I Grafi di Conoscenza Temporale hanno mostrato guadagni consistenti, seppur minori, in tutte le metriche.

RQ2: Degradazione della Qualità

Gli autori valutano se l'iniezione di supervisione temporale degradi sistematicamente la capacità primaria del modello di generazione degli eventi.

Risultati: Non vi è evidenza di un degrado sistematico nella qualità della generazione sotto l'addestramento congiunto.

• BPI2018: La qualità della generazione (misurata tramite la similarità di Damerau-Levenshtein) era identica tra l'addestramento congiunto e quello a due fasi.
• MIMIC-IV: L'addestramento congiunto ha mostrato un leggero degrado nelle metriche della distribuzione marginale dei token degli eventi (JSD e distanza TV), ma ha mantenuto un recall identico per gli eventi clinici frequenti.
• Traffico di Rete & Temporal KG: L'addestramento congiunto ha effettivamente migliorato la qualità della generazione dei contenuti. In questi domini, l'addestramento congiunto ha prodotto una minore divergenza di Jensen-Shannon per gli header dei pacchetti e metriche di link prediction significativamente migliori (MRR, Hits@k) rispetto al modello a due fasi.

Significato e Rivendicazioni

Il paper afferma che la supervisione temporale esplicita può migliorare la recuperabilità temporale delle rappresentazioni apprese senza degradare materialmente la modellazione autoregressiva degli eventi.

I punti chiave includono:

• Rappresentazione Unificata: L'addestramento congiunto riesce a apprendere con successo la semantica degli eventi e la dinamica temporale all'interno di una rappresentazione unificata, sfidando l'assunto che l'addestramento basato solo sui token sia sufficiente per i compiti temporali.
• Dipendenza dal Dominio: L'interazione tra recuperabilità temporale e qualità della generazione dipende dal dominio. In alcuni casi (Traffico di Rete, Temporal KG), la supervisione temporale sembra potenziare le regolarità strutturali catturate dal generatore di token, portando a prestazioni complessive migliori.
• Implicazione Pratica: Questo approccio apre la strada all'addestramento di modelli generativi temporalmente consapevoli che non richiedono una pipeline disaccoppiata a due fasi, beneficiando potenzialmente compiti a valle come il rilevamento di anomalie e la previsione che si basano su una cronologia fedele.

Gli autori rimangono modesti, osservando che, sebbene i guadagni a livello di rappresentazione siano chiari, una valutazione rigorosa della fedeltà distributiva dei timestamp durante la generazione autoregressiva libera rimane una direzione per il lavoro futuro. Evidenziano inoltre che i benefici dell'addestramento congiunto dipendono dalla specifica struttura del dominio e dalla densità della supervisione temporale.