Riepilogo Tecnico: TIDES – Consapevolezza Temporale Implicita nei Modelli a Spazio di Stato Selettivi

Enunciato del Problema

I dati sequenziali del mondo reale, come osservazioni cliniche, letture di sensori ambientali ed eventi finanziari, sono raramente campionati su una griglia regolare. I modelli sequenziali standard assumono spesso passi temporali uniformi, costringendoli a ricampionare i dati (scartando informazioni temporali) o ad arricchire gli input con caratteristiche temporali esplicite.

Due famiglie dominanti di Modelli a Spazio di Stato (SSM) affrontano la modellazione delle sequenze ma si trovano di fronte a un compromesso fondamentale riguardo alle serie temporali irregolari:

1. SSM a tempo continuo (es. S5): Questi preservano il significato fisico del passo temporale ($\tilde{\Delta} \equiv \Delta$), permettendo loro di gestire nativamente timestamp irregolari integrando le dinamiche continue sull'effettivo tempo trascorso. Tuttavia, sono tipicamente Tempo-Invarianti Lineari (LTI), il che significa che le loro dinamiche non cambiano in base al contenuto dell'input, limitando l'espressività per token.
2. SSM Selettivi (es. Mamba): Questi raggiungono una forte espressività per token rendendo il passo di discretizzazione $\tilde{\Delta}$ e le matrici di proiezione ($B, C$) funzioni dipendenti dall'input. Ciò permette al modello di adattare la sua costante temporale efficace token per token. Tuttavia, questa progettazione collassa $\tilde{\Delta}$ da un intervallo di campionamento fisico a un cancello appreso. Di conseguenza, il modello perde la sua gestione nativa del tempo irregolare; per elaborare dati irregolari, deve trattare i delta temporali come caratteristiche di input esplicite. L'articolo sostiene che questo accoppiamento indiretto impedisce al modello di estrapolare verso regimi di irregolarità (delta temporali) non visti durante l'addestramento.

Metodologia: TIDES

Gli autori propongono TIDES (Time-Implicit Decay and Eigenvalue Selectivity), una variante di SSM selettivo progettata per conciliare l'espressività di Mamba con la semantica del tempo fisico di S5.

Principio di Progettazione Fondamentale

TIDES sposta la dipendenza dall'input dal passo di discretizzazione ($\tilde{\Delta}$) al generatore a tempo continuo (la matrice di stato $\Lambda$ e le proiezioni $B, C$).

• Consapevolezza Temporale Implicita: Il passo temporale $\tilde{\Delta}$ rimane strettamente fisico ($\tilde{\Delta} \equiv \Delta$), determinato esclusivamente dai timestamp di osservazione. Non è una funzione appresa dell'input.
• Generatore Selettivo: La dipendenza dall'input viene applicata a:
  • $\text{Re}(\Lambda)$: La parte reale degli autovalori (tassi di decadimento) diventa una funzione dell'input. Ciò permette al modello di "dimenticare più velocemente" o "trattenere più a lungo" in base al contenuto, fornendo la selettività necessaria.
  • $B$ e $C$: Le proiezioni di input e output sono dipendenti dall'input, permettendo al modello di filtrare il rumore e modulare la lettura/scrittura dello stato.
  • $\text{Im}(\Lambda)$: La parte immaginaria (frequenza di oscillazione) rimane statica. Gli autori sostengono che la modulazione della frequenza per token manca di un'interpretazione a tempo continuo pulita e trovano empiricamente che ciò danneggia le prestazioni.

Dettagli Architetturali

• Inizializzazione: Il modello si inizializza con bias derivati da HiPPO per $\Lambda, B, C$ e pesi di proiezione inizializzati a zero. Ciò garantisce che il modello parta da una ricorrenza LTI ben condizionata e apprenda la selettività come una perturbazione fluida.
• Proiezioni a Basso Rango: Per gestire il numero di parametri, le proiezioni dense per $B$ e $C$ sono fattorizzate in strutture a basso rango ($r \ll PH$).
• Proiettori Profondi: Il percorso di input include blocchi residui Gated Linear Unit (GLU) prima della proiezione finale per introdurre non linearità, simile al pre-processing di Mamba.
• Normalizzazione: RMSNorm viene applicata ai parametri proiettati ($\text{Re}(\Lambda), B, C$) immediatamente prima della discretizzazione per stabilizzare l'addestramento, prevenendo perturbazioni illimitate nella ricorrenza.
• Riparametrizzazione Stabile: $\text{Re}(\Lambda)$ viene riparametrizzato (ad esempio tramite mappatura esponenziale o stabile) per garantire che gli autovalori rimangano nel semipiano stabile, prevenendo ricorrenze esplosive indipendentemente dall'input.

Contributi Chiave

1. Architettura: TIDES introduce una progettazione in cui la selettività risiede nel generatore a tempo continuo ($\text{Re}(\Lambda), B, C$) mentre il passo di discretizzazione rimane una quantità fisica e implicita. Ciò permette al modello di gestire nativamente timestamp irregolari senza sacrificare l'espressività per token.
2. Analisi Meccanicistica (Fading Flash): Gli autori introducono un nuovo benchmark diagnostico, Fading Flash, che isola due modalità di fallimento:
   • Rigidità LTI: L'incapacità di S5 di modellare multipli tassi di decadimento simultaneamente.
   • Fallimento di Estrapolazione: L'incapacità di modelli simili a Mamba di generalizzare a delta temporali ($\Delta$) fuori dalla distribuzione di addestramento.
   • TIDES risulta essere l'unica architettura che supera entrambi, mantenendo prestazioni robuste su valori $\Delta$ non visti mentre cattura dinamiche dipendenti dalla zona.
3. Risultati Empirici: TIDES ottiene nuovi ranghi medi state-of-the-art (SOTA) su:
   • Classificazione di Serie Temporali UEA: Superando LogNCDE, RFormer e altre linee di base.
   • Regressione Physiome-ODE: Superando LinODEnet e altri modelli di previsione per serie temporali irregolari.

Risultati Sperimentali

• Fading Flash: In questo esperimento controllato, S5 non è riuscito a catturare decadimenti dipendenti dalla zona (bassa espressività), mentre MambaS (un surrogato di Mamba) non è riuscito a estrapolare verso valori $\Delta$ di test-time fuori dal range di addestramento (deriva dei tassi di decadimento efficaci). TIDES ha appreso con successo i tassi di decadimento corretti per tutte le zone ed è rimasto robusto su un'ampia gamma di $\Delta$ di test-time.
• Ablazione su Drop Casuale: Sul dataset EigenWorms con eliminazione casuale dei passi temporali, TIDES ha mantenuto un'alta accuratezza anche a tassi di eliminazione estremi ($r_{test}=0.9$) non visti durante l'addestramento. Al contrario, MambaS e RFormer sono collassati significativamente ad alti tassi di eliminazione, confermando che $\tilde{\Delta}$ dipendente dall'input o finestre di firma fisse non generalizzano a regimi di campionamento irregolari.
• Ablazione su $\text{Im}(\Lambda)$: Rendere la parte immaginaria degli autovalori dipendente dall'input non ha migliorato le prestazioni e le ha leggermente degradate, supportando la scelta progettuale di mantenere le frequenze di oscillazione statiche.

Significato e Affermazioni

L'articolo afferma che TIDES dimostra che l'espressività per token e la semantica fedele del tempo fisico sono compatibili, a condizione che la dipendenza dall'input venga instradata attraverso il generatore a tempo continuo piuttosto che attraverso il passo di discretizzazione.

Gli autori ipotizzano un principio di progettazione più ampio per le sequenze campionate in modo irregolare: mantenere separati discretizzazione ed espressività. L'intervallo di campionamento fisico dovrebbe entrare nel modello solo attraverso la regola di discretizzazione analitica, mentre l'espressività dovrebbe risiedere nel generatore a tempo continuo. Questa separazione permette ai modelli di essere simultaneamente espressivi ed estrapolabili verso regimi di campionamento non visti durante l'addestramento.

L'articolo è modesto nel suo ambito, affermando esplicitamente che TIDES è progettato per serie temporali irregolari (dati clinici, sensori, simulazioni) e non viene presentato come un sostituto generale di Mamba per compiti su griglia regolare come la modellazione del linguaggio, dove il ruolo del cancello temporale dipendente dall'input è diverso. Il lavoro suggerisce che il principio di separare la gestione del tempo dall'espressività potrebbe estendersi ad altre architetture a tempo continuo, inclusi Neural ODE e varianti di attenzione a tempo continuo.