Unifying Entropy Regularization in Optimal Control: From and Back to Classical Objectives via Iterated Soft Policies and Path Integral Solutions

Sintesi Tecnica: Unificazione della Regularizzazione dell'Entropia nel Controllo Ottimo

Enunciato del Problema
I problemi di controllo ottimo, che spaziano dalla robotica alla finanza, tipicamente coinvolgono la minimizzazione di un costo su un orizzonte finito mediante programmazione dinamica. Tuttavia, le soluzioni esatte sono spesso intrattabili a causa della non linearità degli operatori di Bellman. Sebbene approcci probabilistici come "Controllo come Inferenza" (CaI) e la regularizzazione Kullback-Leibler (KL) abbiano offerto surrogati trattabili, è mancato un quadro matematico unificato che colleghi il Controllo Ottimo Stocastico (SOC) classico, il Controllo Ottimo Stocastico Sensibile al Rischio (RSOC) e le loro controparti "soft-policy" regolarizzate KL. Inoltre, la relazione tra gli obiettivi surrogati risolti ad ogni iterazione di questi algoritmi e gli obiettivi classici originali è rimasta parzialmente poco chiara, così come la connessione tra queste formulazioni e il Controllo Robusto Distribuzionalmente (DRC).

Metodologia
Gli autori propongono un problema centrale unificante denominato Controllo Ottimo Centralizzato Regularizzato KL (C-KLR-OC). Questa formulazione generalizza gli approcci esistenti disaccoppiando le penalità KL applicate alla politica e alle transizioni del sistema.

1. Formulazione Unificata: Il problema centrale (Eq. 7) ottimizza congiuntamente una sequenza di politiche $\pi$ e una sequenza di kernel di transizione artificiali $\tau$, penalizzando le loro deviazioni dalle distribuzioni di base ($\rho$ per la politica, $\iota$ per le transizioni) con pesi indipendenti $\lambda_P$ e $\lambda_S$.

   • $\lambda_P$ controlla la deviazione della politica da un comportamento di riferimento.
   • $\lambda_S$ controlla la deviazione delle transizioni dalla dinamica reale del sistema, con il suo segno che determina l'atteggiamento verso il rischio (positivo per la propensione al rischio/ottimista, negativo per l'avversione al rischio/pessimista).

2. Strumenti Teorici:

   • Misure di Rischio: Il documento utilizza la rappresentazione duale della Misura di Rischio Entropica per collegare la sensibilità al rischio con la regularizzazione KL.
   • Majorization-Minimization (MM): Gli autori impiegano il framework MM per dimostrare che le formulazioni soft-policy fungono da funzioni surrogato trattabili che limitano superiormente (majorizzano) gli obiettivi classici originali.

3. Derivazione dei Casi Speciali: Attivando o disattivando i vincoli su $\rho$ (se è uguale alla politica ottimizzante $\pi$) e su $\tau$ (se è fissato alla dinamica reale $\iota$ o libero), gli autori mostrano che C-KLR-OC recupera:

   • SOC: $\rho = \pi$, $\tau = \iota$.
   • RSOC: $\rho = \pi$, $\tau$ libero.
   • SOC Soft-Policy (SP-SOC): $\rho \neq \pi$, $\tau = \iota$ (corrisponde alla I-proiezione).
   • RSOC Soft-Policy (SP-RSOC): $\rho \neq \pi$, $\tau$ libero (corrisponde alla M-proiezione).

Contributi e Risultati Chiave

• Unificazione degli Obiettivi: Il documento stabilisce che SOC classico, RSOC e le loro varianti soft-policy non sono paradigmi distinti, ma casi speciali di una singola struttura matematica in cui le regularizzazioni di politica e transizione sono separate.
• Recupero Iterativo degli Obiettivi Classici: Gli autori dimostrano che le formulazioni soft-policy (SP-SOC e SP-RSOC) majorizzano le loro controparti classiche (SOC e RSOC). Di conseguenza, iterare la soluzione dei problemi soft-policy (utilizzando la politica corrente come base $\rho$ per il passo successivo) garantisce una discesa sull'obiettivo originale non regolarizzato. Ciò fornisce una base principiale per algoritmi iterativi che risolvono sottoproblemi regolarizzati KL trattabili per convergere verso soluzioni classiche.
• Caso Sincronizzato (S-SP-RSOC): Una scoperta critica è l'identificazione di un caso "sincronizzato" in cui i pesi di politica e transizione coincidono ($\lambda_P = \lambda_S = \lambda > 0$). In questa configurazione specifica, il problema esibisce una costellazione di proprietà favorevoli osservate precedentemente in contesti specifici (come il Controllo con Integrale di Percorso), ma che ora si dimostra estendibile a questa classe più ampia:
  1. Operatore di Bellman Lineare: La ricorsione non lineare di Bellman si trasforma in un'equazione lineare tramite un cambiamento di variabile esponenziale (desiderabilità).
  2. Soluzione con Integrale di Percorso: La funzione valore può essere calcolata come un integrale di percorso (valore atteso sulle traiettorie) delle dinamiche di base, aggirando la programmazione dinamica all'indietro e consentendo una stima Monte-Carlo parallela e senza modello.
  3. Componibilità: Le soluzioni per costi terminali complessi possono essere costruite come miscele ponderate delle soluzioni di sottoproblemi più semplici.
• Connessione con l'Inferenza: Il caso sincronizzato è mostrato come equivalente alla Massima Verosimiglianza (MLE) su un Modello Grafico Probabilistico (PGM) condizionato all'ottimalità. La politica ottima corrisponde esattamente alla distribuzione a posteriori delle azioni data l'ottimalità, calcolabile mediante smoothing bayesiano.

Significato e Affermazioni
Il documento afferma di fornire una "prospettiva unificata" che risolve questioni fondamentali riguardanti l'interpretabilità dei metodi basati su CaI. Nello specifico:

• Chiarisce che le politiche "soft" risolte ad ogni iterazione degli algoritmi di matching della densità non sono arbitrarie; sono surrogati regolarizzati KL che approssimano sistematicamente gli obiettivi SOC o RSOC classici.
• Dimostra che l'armonia strutturale tra regularizzazione di politica e transizione (cioè impostare $\lambda_P = \lambda_S$) non è incidentale ma matematicamente necessaria per ottenere simultaneamente l'operatore di Bellman lineare, la risolvibilità tramite integrale di percorso e la componibilità.
• Colma il divario tra Controllo Sensibile al Rischio e Controllo Robusto Distribuzionalmente, mostrando che la sensibilità al rischio può essere interpretata come un problema DRC soft con un moltiplicatore di Lagrange predefinito.

Gli autori concludono che, sebbene il caso sincronizzato produca potenti proprietà computazionali, il quadro unificante generale permette la regolazione indipendente delle regularizzazioni di politica e transizione, offrendo uno spazio di progettazione più ampio per problemi di controllo oltre i vincoli specifici richiesti per la linearità.