Sintesi Tecnica: Controllo Ottimo Stocastico con Regolarizzazione della Traiettoria tramite Divergenza KL

1. Formulazione del Problema

Il documento affronta un limite del controllo ottimo stocastico (SOC) standard, il quale si concentra esclusivamente sulla minimizzazione del costo cumulativo atteso sotto incertezza senza vincolare quanto le dinamiche di sistema risultanti devino da un comportamento di riferimento desiderato. In molte applicazioni, i comportamenti di riferimento (ad esempio, dinamiche passive, controllori baseline o distribuzioni derivate da dati offline) codificano preziosi priori strutturali. Grandi deviazioni da tali riferimenti possono portare a politiche fragili.

Gli autori propongono il Controllo Ottimo Stocastico con Regolarizzazione della Traiettoria (TRSOC). L'obiettivo è minimizzare una funzione di costo che bilancia la performance del compito con la prossimità della distribuzione della traiettoria controllata alla distribuzione della traiettoria di riferimento. Questa prossimità è misurata utilizzando la divergenza di Kullback–Leibler (KL) tra le leggi di probabilità del processo controllato ($P_u$) e del processo di riferimento ($P_0$).

Il sistema è modellato come un processo di diffusione controllato:
$$dX_t = f(X_t, u_t)dt + \sigma(X_t)dW_t$$
dove il controllo $u_t$ interviene attraverso il drift. Le dinamiche di riferimento condividono la stessa matrice di diffusione $\sigma$, ma presentano un drift differente $f_0$.

2. Metodologia

A. Riduzione della KL della Traiettoria al Costo Locale

Un contributo teorico centrale è la riduzione della divergenza KL a livello di traiettoria a un costo corrente locale e trattabile.

• Teorema di Girsanov: Sotto l'assunto che la matrice di diffusione $\sigma(x)$ sia invertibile e che il mismatch del drift soddisfi la condizione di Novikov, esiste la derivata di Radon–Nikodym tra le misure controllata e di riferimento.
• Lemma 1: Si dimostra che la divergenza KL $KL(P_u \| P_0)$ su un orizzonte finito $[0, T]$ è uguale all'integrale atteso di una penalità quadratica del mismatch del drift:
  $$KL(P_u \| P_0) = \frac{1}{2} \mathbb{E}_{P_u} \left[ \int_0^T \|\phi_t^u\|^2 dt \right]$$
  dove $\phi_t^u = \sigma(X_t)^{-1}(f(X_t, u_t) - f_0(X_t))$.
• Costo Corrente Aumentato: Questo risultato permette di incorporare la regolarizzazione della traiettoria direttamente nel framework SOC standard come termine additivo al costo corrente:
  $$L(x, u) = \ell(x, u) + \frac{\lambda}{2} \|\sigma(x)^{-1}(f(x, u) - f_0(x))\|^2$$
  Qui, $\lambda \geq 0$ è il parametro di regolarizzazione.

B. Programmazione Dinamica e Struttura HJB

Poiché la penalità KL si riduce a un integrale di un costo corrente, il problema TRSOC preserva la proprietà di Markov e il principio della Programmazione Dinamica (DP).

• La funzione valore $V(t, x)$ soddisfa la standard equazione Hamilton–Jacobi–Bellman (HJB):
  $$-\partial_t V(t, x) = \inf_{u \in U} \{ L(x, u) + \mathcal{L}_u V(t, x) \}$$
  dove $\mathcal{L}_u$ è il generatore infinitesimale della diffusione.
• A differenza degli approcci di "controllo KL" che ottimizzano direttamente sulle misure di traiettoria (portando spesso a obiettivi risk-sensitive e tilting esponenziale), il TRSOC rimane un problema SOC standard con un costo aumentato, mantenendo un'aspettativa lineare e una standard caratterizzazione HJB.

C. Struttura del Controllo Ottimo (Caso Control-Affine)

Per sistemi con drift affine al controllo $f(x, u) = f_0(x) + B(x)u$ e costi quadratici del controllo, gli autori derivano una legge di feedback ottimale esplicita.

• Il termine KL agisce come una penalità aggiuntiva sul controllo, modificando la matrice di peso efficace del controllo:
  $$\bar{R}(x) = R(x) + \lambda B(x)^\top (\sigma(x)\sigma(x)^\top)^{-1} B(x)$$
• Il controllo ottimale è dato da:
  $$u^*(x) = -\bar{R}(x)^{-1} B(x)^\top \nabla V(x)$$
• Questa formulazione implica che i controlli che inducono grandi cambiamenti di drift in direzioni a basso rumore sono penalizzati più pesantemente.

D. Specializzazione Lineare-Quadratica (LQ)

Nel setting Lineare-Quadratico, il problema si riduce a un Regolatore Lineare-Quadratico (LQR) scontato con un peso di controllo modificato $\bar{R}$. La soluzione comporta la risoluzione di una equazione di Riccati algebrica (ARE) modificata, dove il parametro di regolarizzazione $\lambda$ influenza direttamente il guadagno di feedback, portando a un controllo più conservativo all'aumentare di $\lambda$.

3. Contributi Chiave

1. Formulazione TRSOC: Introduzione di un framework di controllo stocastico regolarizzato sulla traiettoria che incorpora comportamenti a priori (controllori nominali o baseline basati su dati) tramite la divergenza KL a livello di traiettoria.
2. Riduzione al Costo Locale: Dimostrazione che, sotto il controllo del solo drift con diffusione non degenere, la divergenza KL della traiettoria si riduce a una penalità quadratica del mismatch del drift. Ciò preserva la struttura DP e permette una standard caratterizzazione HJB.
3. Caratterizzazione della Politica Ottimale: Derivazione di leggi di feedback ottimali esplicite per sistemi control-affine e analisi del caso LQ, mostrando come la regolarizzazione modifichi il costo del controllo e le proprietà di stabilità.
4. Analisi della Stabilità: Dimostrazione che la regolarizzazione della traiettoria può migliorare la dissipatività del drift a ciclo chiuso, facilitando le disuguaglianze di Lyapunov e garantendo la limitatezza del valore medio al quadrato dello stato.

4. Risultati ed Esperimenti

Il paper valida i risultati teorici attraverso esperimenti numerici su un sistema a doppio integratore stocastico che segue una traiettoria a forma di otto.

• Trade-off Performance–Deviazione: Gli esperimenti dimostrano che il parametro di regolarizzazione $\lambda$ induce un trade-off continuo.
  • Quando $\lambda \to 0$, il controllore si comporta come un SOC standard guidato dalla performance, ottenendo un basso costo del compito ma potenzialmente deviando significativamente dal riferimento.
  • Quando $\lambda \to \infty$, il controllore forza il drift indotto ad allinearsi con le dinamiche di riferimento, minimizzando la deviazione a scapito della performance del compito.
• Riferimento Basato sui Dati: Il framework viene applicato con successo a un setting in cui le dinamiche di riferimento sono apprese da dati offline (utilizzando una rete neurale per approssimare l'accelerazione di riferimento). I risultati mostrano che il TRSOC bilancia efficacementamente l'ottimizzazione del compito con l'adesione al comportamento di riferimento appreso.
• Geometria della Traiettoria: Le visualizzazioni delle traiettorie rivelano che la regolarizzazione agisce sulla geometria delle dinamiche indotte. I controllori regolarizzati producono traiettorie che si collocano tra le correzioni aggressive del controllore ottimale non regolarizzato e il comportamento di riferimento nominale, particolarmente nelle regioni ad alta curvatura.

5. Significato e Rivendicazioni

Gli autori affermano che il TRSOC fornisce un metodo rigoroso per integrare conoscenze a priori o dati offline in un controllo stocastico senza abbandonare il framework DP/HJB standard.

• Preservazione Strutturale: A differenza di altri metodi di regolarizzazione della traiettoria che possono richiedere l'ottimizzazione sulle misure o portare a obiettivi risk-sensitive non standard, il TRSOC mantiene la struttura SOC standard, rendendolo applicabile a dinamiche non lineari generali.
• Interpolazione: Il framework offre una scalarizzazione di un problema di ottimizzazione multi-obiettivo (performance del compito vs. adesione al riferimento), permettendo ai professionisti di regolare il comportamento del controllore tramite un singolo parametro $\lambda$.
• Robustezza: Il metodo si dimostra robusto agli errori di approssimazione quando le dinamiche di riferimento sono apprese dai dati, suggerendo un potenziale utilità nei contesti di apprendimento per rinforzo offline-to-online e apprendimento per imitazione.

Il lavoro conclude che la regolarizzazione della traiettoria agisce come una modifica "consapevole del rumore" dell'energia di controllo, penalizzando più pesantemente i cambiamenti di drift nelle direzioni in cui il sistema è meno stocastico, offrendo così un meccanismo geometricamente intuitivo per bilanciare performance e sicurezza/coerenza.