Equivalence of Continuous-Time Markov Chains and Linear Dynamical Systems

Technische Samenvatting: Equivalentie van Continue-Tijd Markovketens en Lineaire Dynamische Systemen

Probleemstelling
Deze korte nota behandelt de structurele relatie tussen continue-tijd lineaire dynamische systemen en continue-tijd Markovketens (CTMC's). Hoewel het een bekend resultaat is in de discrete-tijd setting dat de dynamica van een $d$-toestands Markovketen wordt beheerst door een lineair dynamisch systeem van dimensie ten hoogste $d-1$ (en vice versa), onderzoekt de auteur of een analoge equivalentie ook in het continue-tijd domein standhoudt. Specifiek streeft het artikel ernaar te vestigen dat de evolutie van een $d$-toestands CTMC kan worden gereduceerd tot een lineair dynamisch systeem van dimensie $d-\ell$ (waarbij $\ell$ de multipliciteit van de nul-eigenwaarde is), en omgekeerd, dat een lineair dynamisch systeem van dimensie $d-1$ kan worden ingebed in een $d$-toestands CTMC.

Methodologie
Het artikel maakt gebruik van lineair-algebraïsche technieken, specifiek spectrale decompositie en matrix-exponentiatie, om de equivalentie af te leiden. De methodologie berust op de volgende kernstappen:

1. Spectrale Analyse van Generator-matrices: De auteur stelt eerst een lemma vast met betrekking tot stochastische generator-matrices ($A$). Er wordt bewezen dat 0 altijd een eigenwaarde is van $A$ met gelijke algebraïsche en geometrische multipliciteit ($\ell$), en dat alle andere eigenwaarden strikt negatieve reële delen bezitten. Dit wordt afgeleid door $A$ te relateren aan een discrete stochastische matrix $M = I + aA$ en de Perron-Frobenius theorie toe te passen.
2. Subruimte Decompositie: De toestandsruimte $\mathbb{C}^d$ wordt ontleed in twee orthogonale subruimten: $V_0$, gespannen door de eigenvectoren behorend bij de eigenwaarde 0, en $W$, gespannen door de gegeneraliseerde eigenvectoren van alle niet-nul eigenwaarden.
3. Matrix Transformatie: Door middel van een veranderingsmatrix $R = [P \mid Q]$, waarbij de kolommen van $P$ en $Q$ basissen vormen voor respectievelijk $V_0$ en $W$, wordt de generator-matrix $A$ getransformeerd naar een blokdiagonaal vorm. Dit maakt het mogelijk om de matrix-exponent $\exp(At)$ te scheiden in een constante term (geassocieerd met de stationaire toestand) en een dynamische term (geassocieerd met het transiënte gedrag).
4. Inbeddingsconstructie: Voor de omgekeerde richting construeert het artikel een specifieke inbeddingsmatrix $Q$ en een scalaire $\rho$ om een lager-dimensionale generator-matrix $C$ in kaart te brengen naar een hogere-dimensionale stochastische generator-matrix $A$, waarbij wordt gewaarborgd dat het resulterende systeem voldoet aan de eigenschappen van een CTMC (niet-negatieve off-diagonaal elementen en kolommen die nul sommeren).

Belangrijkste Bijdragen en Resultaten
Het artikel presenteert twee primaire stellingen die de equivalentie formaliseren:

• Stelling 1 (Reductie): Gegeven een distributie $v$ en een stochastische generator-matrix $A \in \mathbb{Q}^{d \times d}$ met eigenwaarde 0 met multipliciteit $\ell \ge 1$, kan men een gereduceerde generator-matrix $B \in \mathbb{Q}^{(d-\ell) \times (d-\ell)}$, een inbeddingsmatrix $Q$, een stationaire distributie $s$, en een vector $u$ berekenen zodat voor alle $t \ge 0$:
  $$\exp(At)v = s + Q \exp(Bt)u$$
  Cruciaal is dat de keuze van $Q$ onafhankelijk is van de initiële distributie $v$. De term $Q \exp(Bt)u$ convergeert naar 0 als $t \to \infty$, waardoor enkel de stationaire toestand $s$ overblijft.

• Stelling 2 (Inbedding): Gegeven een vector $u \in \mathbb{Q}^{d-1}$ en een generator-matrix $C \in \mathbb{Q}^{(d-1) \times (d-1)}$, kan men parameters $\rho, \eta$, een distributie $v$, en een stochastische generator-matrix $A \in \mathbb{Q}^{d \times d}$ berekenen zodanig dat voor alle $t \ge 0$:
  $$\exp(At)v = s + \eta e^{-\rho t} \cdot Q \exp(Ct)u$$
  Hierbij zijn $s$ en $Q$ vaste keuzes ($s = \mathbf{1}_d/d$ en een specifieke blokmatrix $Q$). De scalaire $\rho$ wordt voldoende groot gekozen om te garanderen dat de off-diagonaal elementen van de geconstrueerde generator-matrix niet-negatief blijven.

Betekenis en Claims
De auteur stelt expliciet dat het doel van deze nota is om te "vastleggen" dat de kernresultaten die bekend zijn voor discrete-tijd lineaire dynamische systemen (specifiek refererend aan eerder werk in [1] en [2]) ook standhouden in de continue-tijd setting. Het artikel stelt geen nieuwe toepassingen of experimentele validaties voor. In plaats daarvan ligt de betekenis in het leveren van een rigoureus wiskundig bewijs van deze structurele equivalentie, waarmee wordt aangetoond dat de dynamica van een $d$-toestands continue-tijd Markovketen fundamenteel wordt beheerst door een lineair dynamisch systeem van dimensie ten hoogste $d-1$, en dat elk dergelijk lager-dimensionaal systeem in een Markovketen kan worden ingebed. De bewijzen spiegelen de logica gevonden in de geciteerde discrete-tijd literatuur, aangepast aan de eigenschappen van generator-matrices en matrix-exponenten.