Time-Varying Deep State Space Models for Sequences with Switching Dynamics

Technische Samenvatting: Tijdsvariërende Deep State Space-modellen voor Sequenties met Schakelende Dynamica

Probleemstelling
De identificatie en modellering van tijdsvariërende systemen blijven een fundamentele uitdaging in signaalverwerking en systeemidentificatie. Veel real-world processen, zoals financiële markten, weer en neurale activiteit, vertonen inherent tijdsvariërende dynamica waarbij onderliggend systeemgedrag in de loop van de tijd evolueert. Hoewel State Space-modellen (SSM's) een gestructureerd kader bieden voor systeemidentificatie, gaan klassieke Lineaire Dynamische Systemen (LDS) uit van vaste, tijdsonafhankelijke overgangsdynamica. Uitbreidingen zoals Schakelende Lineaire Dynamische Systemen (SLDS) hanteren regimeveranderingen, maar vereisen een expliciete schatting van het aantal modi en modelordes, wat leren uitdagend maakt. Omgekeerd hebben moderne Deep SSM's hoge prestaties behaald op lange sequenties, maar vertrouwen traditioneel op tijdsonafhankelijke parameters of input-afhankelijke mechanismen, die mogelijk geen gladde, continu tijdsvariërende dynamica onafhankelijk van de input expliciet vastleggen.

Methodologie
De auteurs stellen een nieuwe klasse van Tijdsvariërende Deep State Space-modellen (TV-SSM) voor. Dit kader integreert tijdsvariërende basisfunctie-expansies in diepe SSM-architecturen.

• Modelformulering: De kerninnovatie vervangt de vaste matrices $A, B, C$ van een standaard SSM door tijdsafhankelijke matrices $A[t], B[t], C[t]$. Elk element van deze matrices wordt gemodelleerd als een lineaire combinatie van leerbare basisfuncties:
  $$[A[t]]_{ij} = \sum_{k=1}^{K_A} a^{(k)}_{i,j} \times \phi^{(k)}_{A,i,j}[t]$$
  Vergelijkbare expansies zijn van toepassing op $B[t]$ en $C[t]$. De basisfuncties (bijvoorbeeld Gaussische functies, sinusfuncties of constanten) zijn vast, terwijl hun coëfficiënten leerbare parameters zijn. Hierdoor kan het model gladde, continue dynamica representeren zonder expliciet schakelende modi te definiëren.
• Stabiliteit: Om de stabiliteit van de tijdsvariërende dynamica te waarborgen, leggen de auteurs een beperking op aan de diagonaalelementen van $A[t]$ (onder de aanname van een diagonale structuur voor eenvoud). Tijdens het trainingstraject, als de som van de absolute waarden van de coëfficiënten voor een diagonaalelement 1 overschrijdt, wordt een schalingsstrategie toegepast om de coëfficiënten te her-normaliseren, zodat de eigenwaarden strikt binnen de eenheidscirkel blijven.
• Complexiteit: Hoewel het aantal trainbare parameters toeneemt met een factor gelijk aan de grootte van het woordenboek ($K_A, K_B, K_C$) per matrixelement, blijft de inferentiecomplexiteit vergelijkbaar met tijdsonafhankelijke modellen. De tijdsafhankelijke matrices kunnen tijdens de inferentiefase vooraf worden berekend, wat resulteert in dezelfde Vermenigvuldig-Accumuleren (MAC)-operaties als een standaard SSM. De ruimtelijke complexiteit neemt echter toe door de opslag van tijdsafhankelijke parameters.

Belangrijkste Bijdragen

1. Nieuw Kader: Het artikel introduceert een diep SSM-kader dat toestands-overgangs-, input- en output-matrices in de tijd parameteriseert met behulp van leerbare basisfuncties, waardoor modellering van gladde, continu tijdsvariërende dynamica mogelijk wordt zonder expliciete modusschakeling.
2. Experimentele Validatie: De aanpak wordt gevalideerd op twee verschillende taken:
   • Synthetische Data: Een vier-modi Schakelend Lineair Dynamisch Systeem (SLDS) waarbij de grondwaarheid schakelende dynamica omvat.
   • Real-world Data: Een spraakdenoisting-taak waarbij schone spraak wordt verstoord door ruis gegenereerd vanuit een vier-modi SLDS, ter simulatie van terugkerende ruispatronen zoals draaiende machines.
3. Architecturale Analyse: De auteurs onderzoeken afwegingen met betrekking tot de toewijzing van basisfuncties over de $A, B,$ en $C$ matrices, de impact van modeldiepte en de relatie tussen het aantal parameters en prestaties.

Resultaten

• Synthetische Schakelende Systemen: Op het vier-modi systeem presteerde het volledig tijdsvariërende model consistent beter dan tijdsonafhankelijke tegenhangers. Opmerkelijk is dat de studie onthulde dat het tijdvariërend maken van de toestands-overgangsmatrix $A[t]$ alleen onvoldoende was om schakelende dynamica in $B$ of $C$ vast te leggen; omgekeerd kon het tijdvariërend maken van $B[t]$ of $C[t]$ een vaste $A$ compenseren. Tijdsonafhankelijke modellen neigden naar een "gemiddelde" over modi te leren, wat resulteerde in een hogere Gemiddelde-Kwadratische Fout (MSE).
• Spraakdenoisting: Bij de audio-denoisting-taak presteerden tijdsvariërende modellen aanzienlijk beter dan tijdsonafhankelijke modellen.
  • Prestaties: De beste tijdsvariërende configuratie bereikte een Signaal-Ruisverhouding (SI-SNR) van 19,6 dB (beginnend bij 5 dB ruis), terwijl tijdsonafhankelijke modellen stagneerden rond 7,8 dB, ongeacht netwerkdiepte of activatiefuncties.
  • Parameter-efficiëntie: Zelfs wanneer het totale aantal trainbare parameters werd gelijkgesteld tussen tijdsvariërende en tijdsonafhankelijke modellen, leverde de tijdsvariërende aanpak superieure resultaten op. Het verhogen van het aantal parameters per neuron verbeterde de prestaties van het tijdsvariërende model, maar had geen effect op het tijdsonafhankelijke model, wat suggereert dat laatstgenoemde geen extra capaciteit kan benutten om niet-stationaire dynamica vast te leggen.
  • Basis-toewijzing: Het volledig toewijzen van het basisfunctie-budget aan de outputmatrix $C$ of inputmatrix $B$ leverde betere prestaties op dan toewijzing aan de toestands-overgangsmatrix $A$.

Betekenis en Claims
Het artikel beweert dat het voorgestelde tijdsvariërende model een flexibele en efficiënte oplossing biedt voor systeemidentificatietaken die schakelende of niet-stationaire dynamica omvatten. Door tijdsafhankelijke dynamica expliciet te modelleren via basisfuncties, vermijdt de aanpak de complexiteit van het schatten van discrete schakelende modi zoals vereist door SLDS, terwijl het superieur presteert aan standaard tijdsonafhankelijke Deep SSM's. De auteurs merken op dat het model tijdens inferentie een vergelijkbare computatiecomplexiteit behoudt als zijn tijdsonafhankelijke tegenhangers.

De studie concludeert dat grotere tijdsonafhankelijke modellen de gebrek aan inherente flexibiliteit in het vastleggen van schakelende dynamica niet kunnen compenseren, terwijl het voorgestelde tijdsvariërende kader deze gedragingen succesvol leert en zich aanpast. De auteurs suggereren dat toekomstig werk zich moet richten op niet-periodieke niet-stationaire settings, verschillende families van basisfuncties, en benchmarking tegen niet-stationaire transformer-architecturen om de afwegingen van deze aanpak verder te verduidelijken.