Joint Identification of Linear Dynamics and Noise Covariance via Distributional Estimation

1. Il Problema

Il lavoro affronta il problema della identificazione congiunta dei parametri di un sistema lineare stocastico: la matrice dinamica $A$ e la matrice di covarianza del rumore $\Sigma$.

• Contesto: Tradizionalmente, l'identificazione dei sistemi si è concentrata sulla stima della dinamica nominale ($A$), spesso assumendo che il rumore sia Gaussiano o sub-Gaussiano isotropo. In questi casi, metodi classici come i Minimi Quadrati Ordinari (OLS) sono sufficienti.
• Limitazioni attuali:
  1. Le assunzioni sul rumore (es. code leggere, simmetria) sono spesso irrealistiche per sistemi reali complessi. Ignorare la "forma" della distribuzione del rumore (es. code pesanti, asimmetria) porta a una perdita di informazioni cruciali.
  2. Esistono metodi per stimare separatamente la dinamica (assumendo $\Sigma$ nota) o la covarianza (assumendo $A$ nota), ma mancano approcci rigorosi per la stima congiunta di entrambi quando la distribuzione del rumore è generica.
  3. Un approccio a due stadi (prima stimare $A$ con OLS, poi calcolare $\Sigma$ dai residui) è tecnicamente equivalente ad assumere un rumore Gaussiano, fallendo nel catturare le informazioni strutturali di distribuzioni più generali.

L'obiettivo è quindi stimare simultaneamente $(A, \Sigma)$ per distribuzioni di rumore generiche, sfruttando le informazioni sulla forma della distribuzione.

2. Metodologia

Gli autori propongono un nuovo quadro teorico basato sulla riformulazione parametrica della distribuzione di transizione di stato.

A. Riformulazione del Modello

Invece di trattare $A$ e $\Sigma$ come parametri separati con ruoli distinti (media e varianza), il modello assume che il rumore di base $w$ (con covarianza unitaria) abbia una densità nota $\phi(\cdot)$. La distribuzione di transizione $x' = Ax + \Sigma^{1/2}w$ appartiene a una famiglia di densità $\phi$ parametrica:
$$f_{A,\Sigma}(x'|x) = \det(\Sigma)^{-1/2} \phi\left(\Sigma^{-1/2}(x' - Ax)\right)$$
Questa riformulazione permette di trattare la stima congiunta come un problema di stima di parametri $(A, \Sigma)$ all'interno di una famiglia di densità unificata.

B. Famiglie Ellittiche

Per rendere il problema trattabile analiticamente e computazionalmente, il lavoro si concentra sulle famiglie ellittiche, dove la densità di base dipende solo dalla norma quadratica del vettore ($\phi(w) = \psi(w^\top w)$). Questo include distribuzioni note come la Gaussiana e la Student-t multivariata. Per queste famiglie, i gradienti e gli hessiani del log-densità hanno forme chiuse semplici.

C. Proposti Stimatori

Vengono introdotti due nuovi stimatori per risolvere il problema di identificazione congiunta:

1. Massima Verosimiglianza (MLE):

   • Massimizza la funzione di verosimiglianza empirica basata sulla densità $\phi$.
   • Per le famiglie ellittiche, lo stimatore MLE assume la forma di uno stimatore OLS ripesato. I pesi dipendono dalla distanza normalizzata dei residui e dalla funzione $\rho(z)$ derivata dalla densità di base. Questo riduce l'influenza degli outlier (rumore a code pesanti), migliorando la robustezza.

2. Score-Matching Estimator (SME):

   • Basato sulla minimizzazione della distanza di Fisher tra il gradiente del log-densità stimato e quello vero (score matching).
   • Utilizza un trucco di integrazione per parti per evitare di conoscere la densità vera, rendendo il problema computazionalmente trattabile.
   • Anche lo SME per famiglie ellittiche si riduce a una forma di OLS ripesato, ma con coefficienti di ponderazione diversi rispetto all'MLE, basati su $\rho(z)$ e $\tau(z)$.

D. Complessità Campionaria

Gli autori forniscono un'analisi teorica della complessità campionaria per dati provenienti da una singola traiettoria (sistema stabile, rumore sub-Gaussiano). Dimostrano che sia MLE che SME raggiungono un tasso di convergenza di $\tilde{O}(N^{-1/2})$, ottimale per problemi di stima parametrica.

3. Risultati Chiave

Le simulazioni numeriche, condotte su distribuzioni Student-t (che hanno code più pesanti della Gaussiana), confermano i vantaggi teorici:

• Superiorità rispetto all'OLS: In presenza di rumore non Gaussiano (es. Student-t), gli stimatori MLE e SME superano significativamente l'OLS standard, specialmente nella stima della matrice di covarianza $\Sigma$. L'OLS, ignorando la forma della distribuzione, soffre di errori maggiori.
• Scalabilità: Il vantaggio dell'MLE sull'OLS aumenta all'aumentare della dimensionalità del sistema, poiché la dissimilarità tra la famiglia Student-t e quella Gaussiana diventa più marcata.
• Compromesso Computazionale:
  • L'OLS ha una formula chiusa ed è istantaneo.
  • MLE e SME richiedono ottimizzazione numerica (o algoritmi iterativi), risultando più lenti. Tuttavia, l'uso di algoritmi iterativi (basati sulla struttura di OLS ripesato) riduce drasticamente il tempo di calcolo, rendendo l'approccio fattibile.
• Robustezza: Gli stimatori mostrano una certa robustezza anche quando la densità di base è leggermente mal specificata (es. errore nel modello della densità), sebbene le prestazioni degradino con errori elevati.

4. Contributi Principali

1. Primo approccio congiunto: È il primo lavoro che studia sistematicamente l'identificazione congiunta di dinamica e covarianza del rumore per distribuzioni generiche, riformulando il problema come stima di parametri in una famiglia $\phi$-densità.
2. Nuovi stimatori: Proposta di MLE e SME specifici per questo contesto, con caratterizzazione teorica delle loro proprietà (consistenza, normalità asintotica) e formule esplicite per le famiglie ellittiche.
3. Analisi di complessità: Dimostrazione che questi stimatori mantengono un tasso di convergenza ottimale ($\tilde{O}(N^{-1/2})$) pur gestendo distribuzioni di rumore più complesse.
4. Validazione empirica: Evidenza sperimentale che sfruttare le informazioni sulla "forma" della distribuzione porta a una maggiore accuratezza rispetto ai metodi classici basati su assunzioni Gaussiane.

5. Significato e Impatto

Questo lavoro è significativo perché sposta il paradigma dell'identificazione dei sistemi lineari oltre le limitate assunzioni Gaussiane.

• Controllo Robusto: Una stima accurata della covarianza del rumore in presenza di code pesanti è cruciale per applicazioni di controllo robusto distribuzionalmente, controllo sensibile al rischio e filtraggio di Kalman adattivo.
• Efficienza dei Dati: Sfruttare le informazioni strutturali della distribuzione permette di ottenere stime più accurate con meno dati (migliore complessità campionaria pratica) rispetto all'OLS quando il modello di rumore è complesso.
• Fondamenta Teoriche: Fornisce un framework matematico solido per integrare la conoscenza della distribuzione del rumore direttamente nel processo di identificazione, aprendo la strada a futuri algoritmi più efficienti e a una migliore comprensione dei sistemi stocastici reali.