Time-Varying Deep State Space Models for Sequences with Switching Dynamics

Riepilogo Tecnico: Modelli di Spazio di Stato Profondi a Variabile Temporale per Sequenze con Dinamiche di Commutazione

Enunciato del Problema
L'identificazione e la modellazione di sistemi a variabile temporale rimangono una sfida fondamentale nell'elaborazione dei segnali e nell'identificazione di sistemi. Molti processi del mondo reale, come i mercati finanziari, il meteo e l'attività neurale, esibiscono dinamiche intrinsecamente variabili nel tempo, in cui i comportamenti del sistema sottostante evolvono nel tempo. Sebbene i Modelli di Spazio di Stato (SSM) offrano un quadro teorico solido per l'identificazione di sistemi, i Sistemi Dinamici Lineari (LDS) classici assumono dinamiche di transizione fisse e invarianti nel tempo. Estensioni come i Sistemi Dinamici Lineari a Commutazione (SLDS) gestiscono i cambiamenti di regime ma richiedono una stima esplicita del numero di modalità e degli ordini del modello, rendendo l'apprendimento complesso. Al contrario, gli SSM profondi moderni hanno raggiunto alte prestazioni su sequenze lunghe, ma tradizionalmente si basano su parametri invarianti nel tempo o su meccanismi dipendenti dall'input, che potrebbero non catturare esplicitamente dinamiche variabili nel tempo, lisce e continue, indipendenti dall'input.

Metodologia
Gli autori propongono una nuova classe di Modelli di Spazio di Stato Profondi a Variabile Temporale (TV-SSM). Questo quadro integra espansioni di funzioni di base variabili nel tempo nelle architetture SSM profonde.

• Formulazione del Modello: L'innovazione centrale sostituisce le matrici fisse $A, B, C$ di un SSM standard con matrici dipendenti dal tempo $A[t], B[t], C[t]$. Ogni elemento di queste matrici è modellato come una combinazione lineare di funzioni di base apprendibili:
  $$[A[t]]_{ij} = \sum_{k=1}^{K_A} a^{(k)}_{i,j} \times \phi^{(k)}_{A,i,j}[t]$$
  Espansioni simili si applicano a $B[t]$ e $C[t]$. Le funzioni di base (ad esempio, funzioni gaussiane, funzioni seno o costanti) sono fisse, mentre i loro coefficienti sono parametri apprendibili. Ciò permette al modello di rappresentare dinamiche lisce e continue senza definire esplicitamente modalità di commutazione.
• Stabilità: Per garantire la stabilità delle dinamiche variabili nel tempo, gli autori impongono un vincolo sugli elementi diagonali di $A[t]$ (assumendo una struttura diagonale per semplicità). Durante l'addestramento, se la somma dei valori assoluti dei coefficienti per un elemento diagonale supera 1, viene applicata una strategia di scalatura per ri-normalizzare i coefficienti, assicurando che gli autovalori rimangano strettamente all'interno del cerchio unitario.
• Complessità: Sebbene il numero di parametri addestrabili aumenti di un fattore pari alla dimensione del dizionario ($K_A, K_B, K_C$) per ogni elemento della matrice, la complessità dell'inferenza rimane comparabile a quella dei modelli invarianti nel tempo. Le matrici dipendenti dal tempo possono essere pre-calcolate durante la fase di inferenza, risultando nelle stesse operazioni Moltiplica-Accumula (MAC) di un SSM standard. Tuttavia, la complessità spaziale aumenta a causa dell'archiviazione dei parametri dipendenti dal tempo.

Contributi Chiave

1. Nuovo Quadro: Il paper introduce un quadro SSM profondo che parametrizza le matrici di transizione di stato, di input e di output nel tempo utilizzando funzioni di base apprendibili, consentendo la modellazione di dinamiche lisce e continuamente variabili nel tempo senza commutazione esplicita di modalità.
2. Validazione Sperimentale: L'approccio è validato su due compiti distinti:
   • Dati Sintetici: Un Sistema Dinamico Lineare a Commutazione (SLDS) a quattro modalità in cui la verità fondamentale (ground truth) coinvolge dinamiche di commutazione.
   • Dati del Mondo Reale: Un compito di denoising vocale in cui la voce pulita è corrotta da rumore generato da un SLDS a quattro modalità, simulando pattern di rumore ricorrenti come quelli di macchinari rotanti.
3. Analisi Architettonica: Gli autori investigano i compromessi riguardanti l'allocazione delle funzioni di base tra le matrici $A, B,$ e $C$, l'impatto della profondità del modello e la relazione tra il numero di parametri e le prestazioni.

Risultati

• Sistemi di Commutazione Sintetici: Sul sistema a quattro modalità, il modello completamente variabile nel tempo ha costantemente superato le controparti invarianti nel tempo. In modo notevole, lo studio ha rivelato che rendere la matrice di transizione di stato $A[t]$ variabile nel tempo da sola era insufficiente per catturare le dinamiche di commutazione in $B$ o $C$; al contrario, rendere $B[t]$ o $C[t]$ variabili nel tempo poteva compensare un $A$ fisso. I modelli invarianti nel tempo tendevano a imparare una "media" tra le modalità, risultando in un Errore Quadratico Medio (MSE) più elevato.
• Denoising Vocale: Nel compito di denoising audio, i modelli variabili nel tempo hanno superato significativamente i modelli invarianti nel tempo.
  • Prestazioni: La migliore configurazione variabile nel tempo ha raggiunto un Rapporto Segnale-Rumore (SI-SNR) di 19.6 dB (partendo da un rumore di 5 dB), mentre i modelli invarianti nel tempo si sono stabilizzati intorno ai 7.8 dB, indipendentemente dalla profondità della rete o dalle funzioni di attivazione.
  • Efficienza dei Parametri: Anche quando il numero totale di parametri addestrabili era uguagliato tra modelli variabili e invarianti nel tempo, l'approccio variabile nel tempo ha prodotto risultati superiori. Aumentare il numero di parametri per neurone ha migliorato le prestazioni del modello variabile nel tempo, ma non ha avuto alcun effetto sul modello invariante nel tempo, suggerendo che quest'ultimo non può sfruttare capacità aggiuntive per catturare dinamiche non stazionarie.
  • Allocazione delle Basi: Allocare il budget delle funzioni di base interamente alla matrice di output $C$ o alla matrice di input $B$ ha prodotto prestazioni migliori rispetto all'allocazione alla matrice di transizione di stato $A$.

Significato e Affermazioni
Il paper afferma che il modello variabile nel tempo proposto offre una soluzione flessibile ed efficiente per compiti di identificazione di sistemi che coinvolgono dinamiche di commutazione o non stazionarie. Modellando esplicitamente le dinamiche dipendenti dal tempo attraverso funzioni di base, l'approccio evita la complessità della stima delle modalità di commutazione discrete richieste dagli SLDS, superando al contempo gli SSM profondi standard invarianti nel tempo. Gli autori notano che il modello mantiene una complessità computazionale comparabile durante l'inferenza rispetto alle sue controparti invarianti nel tempo.

Lo studio conclude che, sebbene modelli invarianti nel tempo più grandi non possano compensare la mancanza di flessibilità intrinseca nella cattura di dinamiche di commutazione, il quadro variabile nel tempo proposto impara con successo e si adatta a questi comportamenti. Gli autori suggeriscono che lavori futuri dovrebbero esplorare impostazioni non stazionarie non periodiche, diverse famiglie di funzioni di base e il confronto con architetture transformer non stazionarie per chiarire ulteriormente i compromessi di questo approccio.