Sintesi Tecnica: Controllo Regolarizzato con KL Ben Posto tramite Divergenze di Wasserstein e Kalman–Wasserstein

1. Definizione del Problema

La divergenza di Kullback-Leibler (KL) è un regolarizzatore standard nel reinforcement learning (RL) e nel controllo ottimo, presente nei processi decisionali di Markov linearmente risolvibili, nel controllo path-integral e nei metodi a regione di fiducia (trust-region). Tuttavia, la classica divergenza KL esibisce una patologia critica nei regimi a basso rumore. Quando si confrontano le dinamiche controllate con le dinamiche passive con piccolo rumore di processo gaussiano, la penalità KL si riduce a un costo di controllo quadratico il cui coefficiente scala inversamente con la covarianza del rumore. Al diminuire della covarianza del rumore (il limite deterministico), questa penalità diverge all'infinito, rendendo il problema di controllo regolarizzato singolare. Questa "instabilità a bassa varianza" causa la scomparsa dei guadagni di feedback ottimali, portando a scarse prestazioni in loop chiuso e instabilità nei contesti deterministici o quasi deterministici.

Inoltre, la classica divergenza KL è definita tramite la geometria di Fisher–Rao, che è intrinseca alla varietà statistica ma ignora la geometria dello spazio degli stati sottostante. Di conseguenza, la KL reagisce in modo discontinuo a discrepanze di supporto (ad esempio, $KL(\delta_x | \delta_y) = \infty$ per ogni $x \neq y$), fallendo nel codificare la distanza tra gli stati.

2. Metodologia

Gli autori propongono un quadro unificato di informazione-geometria per costruire analoghi della KL "consapevoli dello spazio degli stati" (state-space-aware). La metodologia principale consiste nel sostituire la geometria di Fisher–Rao nella formulazione dinamica della divergenza KL con geometrie basate sul trasporto.

2.1 Quadro Geometrico

Il documento definisce una classe generale di divergenze, $D_G$, basate su una geometria Riemanniana $G$ sulla varietà delle densità di probabilità.

• Formulazione Dinamica: La divergenza è definita come un integrale dell'azione pesato nel tempo lungo geodetiche $G$-dual:
  $$D_G(\mu | \nu) = \inf \left\{ \int_0^1 t \|\dot{\gamma}(t)\|_{\gamma(t)}^2 dt : \gamma(0)=\mu, \gamma(1)=\nu \right\}$$
  dove $\gamma$ è una geodetica $G$-duale.
• Scelte Geometriche: Gli autori investigano la sostituzione della metrica Fisher–Rao ($G=FR$) con:
  • Wasserstein-2 ($G=O$): Metrica di Otto, che codifica la geometria dello spazio degli stati.
  • Wasserstein Linearizzata ($G=\dot{H}^{-1}$): Una struttura piatta.
  • Kalman–Wasserstein ($G=KW$): Una metrica che incorpora un parametro di regolarizzazione $\lambda$ e informazioni sulla covarianza.
  • Geometria di Stein: Utilizzando un kernel bilineare.

2.2 Derivazione Teorica

• Geodetiche Duali: Gli autori caratterizzano le geodetiche $G$-duali come flussi di gradiente metrico di un funzionale di energia potenziale.
• Espressioni in Forma Chiusa: Derivano formule esplicite per queste divergenze tra distribuzioni ellittiche (una classe che include distribuzioni Gaussiane e Student's $t$).
  • Per il caso Wasserstein ($WKL$), la divergenza rimane finita anche quando le covarianze degenerano.
  • Per il caso Kalman–Wasserstein ($KWKL$), la divergenza incorpora un "pavimento di rumore" tramite un parametro di regolarizzazione $\lambda$, interpolando efficacemente tra la classica KL e la divergenza Wasserstein KL.

2.3 Applicazione al Controllo

Le divergenze proposte sono applicate come regolarizzatori in problemi di Regolatore Lineare Quadratico (LQR) con rumore di processo gaussiano.

• Termine di Regolarizzazione: La divergenza tra la distribuzione di transizione controllata $p_t$ e la distribuzione non controllata $p_0$ produce una penalità di controllo quadratica additiva $u_t^\top R_\circ u_t$.
• Penalità di Controllo:
  • KL Classica ($FR$):$R_{FR} = B^\top \Sigma_w^{-1} B$ (singolare quando $\Sigma_w \to 0$).
  • Wasserstein ($O$): $R_O = B^\top B$ (indipendente dal rumore).
  • Kalman–Wasserstein ($KW$):$R_{KW} = B^\top (\Sigma_w + \lambda I)^{-1} B$ (finita quando $\Sigma_w \to 0$).

3. Contributi Chiave

1. Costruzione Generale: Introduzione delle geodetiche $G$-duali e della relativa divergenza $D_G$ per arbitrarie geometrie, recuperando la classica KL per Fisher–Rao e varianti consapevoli dello spazio degli stati per le geometrie di trasporto.
2. Caratterizzazione del Flusso di Gradiente: Dimostrazione che le geodetiche $G$-duali corrispondono ai flussi di gradiente metrico di un potenziale di energia, collegando le divergenze alla ottimizzazione geometrica e alle dinamiche delle reti neurali a campo medio.
3. Formule Esplicite: Derivazione di espressioni in forma chiusa per $D_G$ tra distribuzioni ellittiche nelle geometrie Wasserstein, Wasserstein linearizzata e Kalman–Wasserstein. Queste formule dimostrano esplicitamente come le geometrie basate sul trasporto incorporino informazioni sullo spazio degli stati assenti nella classica KL.
4. Controllo Ben Posto: Dimostrazione che, in contesti LQR, i regolarizzatori Wasserstein e Kalman–Wasserstein rimangono finiti quando il rumore di processo svanisce, fornendo problemi di controllo ottimo ben posti dove la classica KL fallisce.
5. Validazione Empirica: Analisi di sistemi a doppio integratore e cart-pole che mostrano come i metodi proposti preservino un feedback non banale e raggiungano migliori prestazioni in loop chiuso nei regimi a basso rumore rispetto ai controlli regolarizzati con KL.

4. Risultati

• Limiti Teorici: Nel limite di rumore evanescente ($\Sigma_w \to 0$), il guadagno di feedback ottimale per la regolarizzazione KL classica ($F_{FR}$) converge a zero, rimuovendo efficacementamente il controllo. Al contrario, il guadagno Kalman–Wasserstein ($F_{KW}$) converge a un limite non nullo (specificamente $F_O$), preservando un feedback stabilizzante.
• Interpolazione: La divergenza Kalman–Wasserstein ($D_{KW}$) agisce come un'interpolazione fluida tra la KL classica (alto rumore) e la Wasserstein KL (basso rumore) controllata dal parametro $\lambda$.
• Stabilità: Gli esperimenti su un doppio integratore mostrano che, al diminuire del rumore, i controllori regolarizzati con KL si avvicinano al confine di stabilità (raggio spettrale $\to 1$), causando grandi oscillazioni. I controllori WKL e KWKL mantengono i raggi spettrali ben al di sotto di 1, garantendo la stabilità.
• Rumore Anisotropo: In scenari con rumore anisotropo, KWKL si adatta direzionalmente, trattando le dimensioni a basso rumore come WKL (ignorando la scala del rumore) e le dimensioni ad alto rumore come KL (scalando con il rumore), mentre la KL sopprime completamente il controllo nelle dimensioni a basso rumore.

5. Significato e Rivendicazioni

Il documento sostiene che le divergenze proposte, consapevoli dello spazio degli stati, forniscono una soluzione principata alla degenerazione a basso rumore della regolarizzazione KL senza richiedere una revisione completa degli algoritmi di RL. Sostituendo la geometria di Fisher–Rao con geometrie basate sul trasporto, gli autori ottengono:

• Robustezza: I problemi di controllo rimangono ben posti nel limite deterministico.
• Consistenza Geometrica: I regolarizzatori rispettano la geometria sottostante dello spazio degli stati, evitando il comportamento discontinuo della KL riguardo alle discrepanze di supporto.
• Utilità Pratica: Le espressioni derivate in forma chiusa permettono l'integrazione immediata in standard LQR e framework di policy gaussiane utilizzati nel controllo continuo.

Gli autori pongono questo lavoro come un quadro geometrico per la costruzione di divergenze di tipo KL piuttosto che come un algoritmo completo di Deep RL. Suggeriscono che, sebbene validato nel contesto trattabile dell'LQR, il passo logico successivo sia la valutazione empirica nel reinforcement learning model-free e model-based. Il lavoro è finanziato dall'European Research Council (ERC) nell'ambito del progetto NEITALG.