Riepilogo Tecnico: Controllo Predittivo a Modello Basato su Campionamento con Regioni di Fiducia

Enunciato del Problema

Gli algoritmi di Controllo Predittivo a Modello (MPC) basati su campionamento, come il Metodo Cross-Entropy (CEM) e il Path Integral Predittivo a Modello (MPPI), risolvono problemi di controllo ottimale affinando iterativamente una funzione di densità di probabilità (PDF) di proposta sulle sequenze di controllo. Questi metodi estraggono campioni, valutano i costi delle traiettorie e aggiornano i parametri della proposta. Tuttavia, gli approcci attuali fanno affidamento su strategie euristiche per l'adattamento degli iperparametri, quali:

• Parametri di temperatura: Utilizzati in MPPI per controllare la nitidezza della ponderazione per importanza, spesso mantenuti costanti o regolati in modo euristico.
• Momentum/Lisciatura: Utilizzati in CEM e MPPI iterativo per prevenire il collasso prematuro della distribuzione di proposta.

Queste euristiche sono difficili da sintonizzare e possono compromettere la convergenza o le prestazioni in diversi contesti di problema. Inoltre, il campionamento casuale standard può essere inefficiente, richiedendo grandi dimensioni del campione per ottenere traiettorie di controllo lisce e una convergenza affidabile, in particolare in regimi a basso numero di campioni e basse iterazioni.

Metodologia

Gli autori propongono un quadro principiato che sostituisce la sintonizzazione euristica degli iperparametri con una formulazione a Regione di Fiducia derivata dall'ottimizzazione duale.

1. Formulazione a Regione di Fiducia

Il nucleo del metodo vincola l'aggiornamento della distribuzione di proposta $f_{j+1}$ rispetto alla distribuzione precedente $f_j$ utilizzando un limite di divergenza di Kullback–Leibler (KL). Il problema di ottimizzazione è definito come:
$$\min_{f_{j+1}} \mathbb{E}_{f_{j+1}}[J(\bar{\xi})]$$
Soggetto a:

• $D_{KL}(f_{j+1} \| f_j) \leq \epsilon$ (Vincolo della regione di fiducia)
• $H(f_{j+1}) \geq H_{min}$ (Limite inferiore opzionale di entropia per prevenire il collasso)
• Vincoli di normalizzazione

Qui, $J(\bar{\xi})$ è il costo cumulativo, $\epsilon$ è la massima divergenza consentita e $H_{min}$ è l'entropia minima richiesta.

2. Ottimizzazione Duale e Derivazione dei Pesi

Il problema vincolato è risolto utilizzando moltiplicatori di Lagrange ($\eta$ per KL, $\alpha$ per entropia, $\nu$ per normalizzazione). Prendendo la derivata funzionale del Lagrangiano, gli autori derivano la distribuzione di proposta ottimale:
$$f^*_{j+1}(\bar{\xi}) = \frac{1}{Z_{\eta,\alpha}} f_j(\bar{\xi})^{\frac{\eta}{\eta+\alpha}} \exp\left(-\frac{J(\bar{\xi})}{\eta + \alpha}\right)$$
I moltiplicatori di Lagrange ottimali $\eta^*$ e $\alpha^*$ sono trovati risolvendo numericamente il problema di massimizzazione duale. Questo processo produce pesi ottimali per le traiettorie campionate senza sintonizzazione manuale. Quando il vincolo di entropia è inattivo ($\alpha^*=0$), la formulazione coincide con la ponderazione MPPI standard ma è derivata in modo ottimale piuttosto che euristico.

3. Proiezione e Campionamento

Poiché la $f^*_{j+1}$ ottimale è generalmente non gaussiana (a meno che $\alpha^*=0$), viene proiettata nuovamente sulla famiglia parametrica originale (ad esempio, Gaussiana) tramite l'adattamento dei momenti. La media empirica ponderata e la covarianza sono utilizzate per aggiornare i parametri della proposta per la prossima iterazione.

4. Miglioramenti Algoritmici

Per migliorare ulteriormente l'efficienza, gli autori integrano il campionamento Deterministic Localized Cumulative Distribution (LCD):

• Campionamento LCD: Campioni deterministici precalcolati sono utilizzati per rappresentare in modo ottimale la distribuzione normale standard.
• Trasformazione: Questi campioni sono mappati sui parametri di proposta attuali tramite scalatura e una matrice di rotazione casuale (estratta da $SO(d_\xi)$) per preservare l'ottimalità introducendo la necessaria stocasticità.
• Buffering: Un buffer mantiene le migliori traiettorie dalle iterazioni precedenti per un avvio caldo dell'ottimizzazione.
• Covarianza Correlata nel Tempo: Viene applicata una struttura di correlazione fissa (rumore colorato) per incoraggiare traiettorie di controllo lisce, aggiornando solo le varianze marginali durante l'ottimizzazione.

Contributi Chiave

1. Aggiornamento a Regione di Fiducia Principiato: Il documento introduce una regola di aggiornamento vincolata da KL per l'MPC basato su campionamento che elimina la necessità di sintonizzare temperatura o momentum in modo euristico. Gli iperparametri sono derivati come soluzioni ottimali a un problema di ottimizzazione duale.
2. Integrazione con Campionamento Deterministico: L'aggiornamento a regione di fiducia è combinato con il campionamento deterministico basato su LCD. Questa combinazione si è dimostrata migliorare l'efficienza del campione e la convergenza, in particolare in regimi con budget computazionali limitati (bassi conteggi di campioni e poche iterazioni).
3. Valutazione Completa: Il metodo è stato valutato rispetto a baseline euristiche (MPPI e CEM) utilizzando strategie di campionamento casuale, a bassa discrepanza (Sobol, Halton) e deterministico LCD in due ambienti di riferimento.

Risultati Sperimentali

Il metodo proposto è stato testato su due ambienti: Cart-Pole Swing-Up e Truck Backer-Upper.

• Efficienza del Campione: In regimi a basso numero di campioni (ad esempio, $N < 100$), le varianti a regione di fiducia hanno raggiunto costi cumulativi inferiori rispetto alle varianti euristiche. La combinazione di Regione di Fiducia e campionamento LCD (dsTR) ha superato tutti gli altri metodi, inclusi dsCEM e MPPI euristico.
• Convergenza: Le varianti a regione di fiducia hanno dimostrato una convergenza più rapida, raggiungendo costi cumulativi mediani inferiori con meno iterazioni. Nel compito Truck Backer-Upper, le varianti euristiche non sono riuscite a raggiungere il costo ottenuto dalle varianti a regione di fiducia nemmeno dopo dieci iterazioni, mentre le varianti a regione di fiducia lo hanno raggiunto con sole tre.
• Lisciatura del Controllo: Il metodo dsTR ha generalmente raggiunto il miglior equilibrio tra basso costo e alta lisciatura. Sebbene alcune varianti euristiche con campionamento casuale abbiano mostrato controlli leggermente più lisci in scenari specifici di cart-pole, dsTR ha mantenuto prestazioni complessive superiori.
• Tempo di Esecuzione: Gli aggiornamenti a regione di fiducia comportano un costo computazionale più elevato per passo rispetto ai metodi euristici a causa del passo aggiuntivo di ottimizzazione duale. Tuttavia, la maggiore efficienza del campione significa che sono necessari meno campioni per raggiungere una prestazione target, il che può compensare i costi di runtime, specialmente sull'hardware parallelo.

Significato e Affermazioni

Gli autori affermano che la formulazione a regione di fiducia proposta fornisce un'alternativa principiata all'adattamento euristico dei parametri nell'MPC basato su campionamento. Derivando i pesi di aggiornamento da un problema di ottimizzazione vincolato, il metodo garantisce un apprendimento stabile e previene aggiornamenti aggressivi che potrebbero degradare le prestazioni.

Il documento sottolinea che la combinazione di aggiornamenti a regione di fiducia con il campionamento deterministico LCD è particolarmente efficace per applicazioni con risorse limitate. Raggiunge una convergenza più rapida e una migliore efficienza del campione in regimi a basso numero di campioni e basse iterazioni senza sacrificare la lisciatura del controllo. Gli autori suggeriscono che questo approccio è ben adatto per applicazioni reali in cui una convergenza affidabile e un'efficienza del campione sono critiche, notando che la riduzione della dimensione del campione richiesta si traduce direttamente in un tempo di calcolo ridotto sull'hardware parallelo.