Dual Control of Linear Systems from Bilinear Observations with Belief Space Model Predictive Control

Riassunto Tecnico: Dual Control of Linear Systems from Bilinear Observations with Belief Space Model Predictive Control

1. Il Problema: Sistemi con Osservazioni Bilineari (LDS-BO)

Il paper affronta il problema del controllo quadratico a orizzonte finito per sistemi dinamici lineari caratterizzati da osservazioni bilineari. In questo scenario, l'input di controllo $u_t$ non influenza solo la dinamica dello stato $x_t$ (come nei sistemi classici), ma agisce anche sulla matrice di osservazione $C(u_t)$.

Questa caratteristica introduce l'effetto osservatore: l'azione di controllo determina la qualità delle misurazioni future. Di conseguenza, il classico principio di separazione (che permette di progettare separatamente il filtro di Kalman e il controllore LQR) fallisce. In questi sistemi, il controllo ha un ruolo duale:

1. Regolazione: Portare lo stato verso un obiettivo (minimizzando il costo quadratico).
2. Esplorazione/Identificazione: Scegliere input che migliorino la qualità delle osservazioni per ridurre l'incertezza sulla stima dello stato.

Il problema viene formalizzato come un processo decisionale di Markov parzialmente osservabile (POMDP), la cui risoluzione ottimale è computazionalmente proibitiva.

2. Metodologia: Belief-Space Model Predictive Control (B-MPC)

Per superare l'inefficacia dei controllori basati sul principio di separazione, gli autori propongono un approccio di Model Predictive Control (MPC) nello spazio della credenza (Belief Space).

Concetti chiave della metodologia:

• Stato di Credenza (Belief State): Invece di pianificare solo sulla stima dello stato $\hat{x}_t$, il controllore pianifica su una coppia $b_t = (\hat{x}_t, \Sigma_t)$, dove $\Sigma_t$ è la covarianza dell'errore di stima.
• Costo nello Spazio della Credenza: La funzione di costo viene estesa per includere termini che dipendono dalla covarianza (tramite il tracciato della matrice $\Sigma_t$). Questo permette al sistema di "sentire" l'incertezza e penalizzare gli stati con alta incertezza.
• Surrogato Deterministico: Poiché la pianificazione stocastica completa è intrattabile, gli autori utilizzano un approccio di "equivalenza della certezza" (certainty-equivalent) per la dinamica della covarianza. Il piano viene calcolato utilizzando un filtro di Kalman dipendente dall'input, dove le osservazioni future sono sostituite dai loro valori nominali.
• Ottimizzazione: Poiché la dinamica della covarianza è non lineare rispetto all'input, il problema di ottimizzazione risultante è non convesso. Gli autori utilizzano l'algoritmo di ottimizzazione quasi-Newton L-BFGS per risolvere il problema di pianificazione ad ogni passo temporale.

3. Contributi Principali

1. Formulazione del problema: Trasformazione del controllo LQG con osservazioni bilineari in un problema di controllo nello spazio della credenza.
2. Algoritmo B-MPC: Proposta di un metodo MPC ricorsivo che integra esplicitamente l'evoluzione della covarianza dipendente dall'input nel processo decisionale.
3. Analisi del Dual Control: Dimostrazione empirica di come il controllore scelga azioni "esplorative" per ridurre l'incertezza, bilanciando il costo di controllo con il beneficio di una migliore osservabilità.

4. Risultati Sperimentali

Gli autori testano il metodo su due sistemi sintetici: un sistema a osservazioni bilineari casuale e un sistema multi-blocco di tipo "doppio integratore".

• Superiorità delle prestazioni: Il B-MPC supera significativamente sia il controllore basato sul principio di separazione (Sep) sia la sua variante MPC (Sep-MPC). In alcuni regimi, la riduzione del costo totale è stata del 16.9% (sistema casuale) e del 38.8% (doppio integratore).
• Decomposizione del costo: L'analisi mostra che il B-MPC riduce drasticamente il costo dello stato (grazie a stime più accurate) a fronte di un leggero aumento del costo dell'input (necessario per le azioni di esplorazione).
• Riduzione dell'incertezza: I grafici diagnostici confermano che il B-MPC mantiene una traccia della covarianza $\text{tr}(\Sigma_t)$ molto più bassa rispetto ai baseline, provando che il sistema "impara" meglio lo stato.
• Analisi dei regimi: Il vantaggio del B-MPC è massimo quando l'incertezza è alta, quando il costo dell'input è basso e quando il sistema è meno stabile. Se il sistema è molto stabile o il costo dell'input è proibitivo, il vantaggio del dual control diminuisce.

5. Significato e Conclusioni

Il lavoro dimostra che, in presenza di effetti osservatore, ignorare l'evoluzione dell'incertezza porta a decisioni sub-ottimali. Il B-MPC fornisce un framework pratico e computazionalmente gestibile per implementare il controllo duale. La capacità di pianificare esplicitamente la riduzione dell'incertezza permette al sistema di navigare il trade-off tra regolarizzazione e osservabilità, un principio fondamentale per applicazioni avanzate in robotica e sistemi quantistici.