Maximum Likelihood Estimation for System Identification of Networks of Dynamical Systems

Sintesi Tecnica: Stima di Massima Verosimiglianza per l'Identificazione di Sistemi di Reti Dinamiche

Definizione del Problema
Il documento affronta la sfida di identificare le funzioni di trasferimento ad anello aperto di reti di sistemi dinamici interconnessi. Mentre la ricerca esistente nell'identificazione di reti dinamiche è categorizzata in stima della topologia, identificazione di singolo modulo e identificazione della dinamica completa della rete, questo lavoro si concentra su quest'ultima categoria: l'identificazione della dinamica completa della rete per una data topologia.

Un limite primario dei metodi di Massima Verosimiglianza (ML) esistenti in questo dominio (ad es. [33]) è il requisito che tutti i segnali dei nodi nella rete siano misurati. In molti scenari pratici, le misurazioni sono disponibili solo per un sottoinsieme di nodi. Le formulazioni ML standard per tali problemi di osservazione parziale spesso si basano su predittori che coinvolgono equazioni di Riccati algebriche, portando a problemi di ottimizzazione non convessi che sono difficili da risolvere numericamente. Gli autori mirano a stabilire un framework ML che sia consistente ed efficiente anche quando non tutte le misure sono disponibili per tutti i nodi della rete, a condizione che la rete soddisfi specifiche condizioni di identificabilità.

Metodologia
Gli autori propongono un approccio ML diretto per identificare i parametri $(a, b, c, \lambda)$ di modelli ARMAX che rappresentano i singoli sistemi all'interno della rete. La metodologia procede attraverso le seguenti fasi teoriche e algoritmiche chiave:

1. Formulazione del Modello: La rete è modellata come una collezione di sistemi SISO (Single-Input Single-Output) ARMAX interconnessi tramite una struttura di feedback lineare statica. Il sistema ad anello chiuso è descritto in forma di spazio di stato, incorporando segnali esogeni e rumore.
2. Predittore e Forma di Innovazione: Gli autori derivano la forma di innovazione del sistema ad anello chiuso, che definisce il predittore di Kalman. Stabiliscono le condizioni (Assunzioni A2 e A3) sotto le quali la soluzione dell'associata equazione di Riccati algebrica è unica e il predittore è stabile.
3. Consistenza ed Efficienza: Il documento dimostra che le stime ML sono consistenti (convergono ai parametri reali al tendere $N \to \infty$ della lunghezza dei dati) ed efficienti (raggiungono il limite inferiore di Cramér-Rao). Questa dimostrazione si basa sul concetto di "informatività" dei segnali e "identificabilità generica della rete". Gli autori dimostrano che, mentre le funzioni di trasferimento ad anello aperto $(G)$ possono essere identificate coerentemente sotto identificabilità generica della rete, le dinamiche del rumore $(H)$ generalmente non possono essere identificate a meno che non siano soddisfatte specifiche condizioni strutturali (come la misurazione completa di tutti i nodi o specifiche topologie di rete).
4. Formulazione di Ottimizzazione Equivalente: Un contributo metodologico significativo è la riformulazione del problema ML. Le formulazioni standard trattano il problema come un'ottimizzazione vincolata che coinvolge l'equazione di Riccati algebrica. Gli autori mostrano che il problema può essere formulato equivalentemente come un problema di ottimizzazione non vincolato, trattando gli stati non misurati e le sequenze di rumore come variabili latenti (dati mancanti). Questo approccio, ispirato a [15] e [32], elimina la necessità di espliciti vincoli del predittore o di solver per l'equazione di Riccati durante il processo di ottimizzazione, facilitando così soluzioni numeriche più efficienti.

Contributi Chiave
Il documento riassume i propri contributi come segue:

1. Garanzie Teoriche: Stabilisce le condizioni per la consistenza e l'efficienza dell'identificazione di sistemi ML per le reti. Questo generalizza il lavoro precedente sui singoli sistemi alle reti e fornisce prove alternative per il caso ergodico.
2. Ottimizzazione Non Vincolata: Formula il problema di identificazione ML come un problema di ottimizzazione non vincolato. Ciò evita le difficoltà numeriche associate ai vincoli non convessi tipicamente presenti nelle formulazioni ML basate sul predittore.
3. Capacità di Misurazione Parziale: Il metodo è applicabile anche quando non tutti i nodi della rete sono misurati, a condizione che la rete soddisfi l'identificabilità generica della rete. Ciò contrasta con i metodi ML esistenti che richiedono la piena osservabilità dei nodi.

Risultati
Gli autori validano il loro approccio utilizzando esperimenti numerici basati su una rete di sistemi dinamici (una specifica topologia tratta da [16]).

• Confronto con PEM: Il metodo ML proposto viene confrontato con gli approcci del Metodo dei Errori di Predizione (PEM). Nei casi in cui entrambi i metodi sono applicabili (ad es. quando segnali specifici consentono una formulazione del predittore lineare), il metodo ML raggiunge valori di adattamento (fit) comparabili al PEM.
• Robustezza ai Dati Parziali: Il metodo ML identifica con successo la dinamica della rete quando viene misurato solo un sottoinsieme di segnali (ad es. $u_3$), uno scenario in cui le formulazioni PEM lineari falliscono nell'identificare tutte le funzioni di trasferimento senza overfitting o bias.
• Metriche di Prestazione: Sebbene il metodo ML presenti un tempo computazionale leggermente superiore e un piccolo tasso di non convergenza (attribuito alla natura non convessa del problema) rispetto al PEM, dimostra un Errore Quadratico Medio (MSE) e un bias inferiori nelle stime dei parametri, particolarmente in scenari con dati limitati dove il PEM tende all'overfitting.
• Identificabilità: I risultati confermano che il metodo può recuperare coerentemente le funzioni di trasferimento ad anello aperto $G$, anche quando le dinamiche del rumore $H$ non possono essere completamente recuperate a causa della mancanza di misurazioni complete della rete.

Significatività
Il documento afferma che la sua principale significatività risiede nel fornire un framework ML teoricamente solido e numericamente trattabile per l'identificazione di reti che rilassa il rigido requisito della piena osservabilità dei nodi. Riformulando il problema per evitare espliciti vincoli del predittore, gli autori consentono l'applicazione della ML a una classe più ampia di problemi di identificazione di reti. Il lavoro evidenzia che, mentre i metodi lineari PEM possono essere computazionalmente più veloci, possono soffrire di bias e overfitting in scenari di rete complessi o con sequenze di dati brevi, mentre il proposto approccio ML offre una soluzione più robusta per ottenere stime consistenti ed efficienti sotto condizioni di identificabilità generali. Gli autori notano che i loro risultati si estendono trivialmente ai casi in cui alcune funzioni di trasferimento sono note.