Riepilogo Tecnico: Un Framework di Regularizzazione KL per l'Apprendimento della Pianificazione con Prior Adattivi

1. Enunciato del Problema

Nell'Apprendimento per Rinforzo Basato su Modello (MBRL), l'esplorazione efficace rimane una sfida critica, in particolare nei compiti di controllo continuo ad alta dimensionalità dove l'efficienza del campione è fondamentale. Approcci recenti, come TD-MPC e BMPC, utilizzano politiche apprese come distribuzioni di proposta per la pianificazione tramite Integrale di Percorso Predittivo di Modello (MPPI). Tuttavia, sorge una limitazione fondamentale dovuta al mismatch delle politiche: la politica di campionamento ($\pi_{\theta_s}$) viene spesso aggiornata indipendentemente dalla distribuzione delle azioni del pianificatore ($\pi_P$).

Questa disaccoppiamento crea un mismatch distributivo in cui la funzione valore di bootstrapping viene addestrata su traiettorie generate dal pianificatore MPPI (che esplora una specifica distribuzione), mentre la politica di campionamento viene aggiornata per massimizzare i valori locali delle azioni, divergendo spesso dalla distribuzione del pianificatore. Questo disallineamento porta a stime di valore inaffidabili, in particolare per orizzonti temporali brevi, e degrada le prestazioni a lungo termine. I precedenti tentativi di allineare queste distribuzioni, come la minimizzazione della divergenza KL inversa (BMPC), soffrono di un'alta varianza perché si basano su campioni del pianificatore "obsoleti" memorizzati nel buffer di replay, che rappresentano una miscela di politiche di pianificazione datate piuttosto che una distribuzione coerente e attuale.

2. Metodologia: Framework PO-MPC

Gli autori propongono Ottimizzazione della Politica–Controllo Predittivo di Modello (PO-MPC), un framework unificato che tratta la distribuzione delle azioni del pianificatore come un prior nell'ottimizzazione della politica. PO-MPC formula il passo di apprendimento della politica di campionamento come un'istanza di Apprendimento per Rinforzo regolarizzato con KL.

Formulazione Principale

L'obiettivo è apprendere una politica di campionamento $\pi_{\theta_s}$ che massimizzi il ritorno atteso rimanendo vicina a un prior adattivo $\pi_p$ (derivato dal pianificatore MPPI). La funzione obiettivo è:

$$J(\pi_{\theta_s}) = \mathbb{E} \left[ \sum_{t=0}^{T-1} \gamma^t \left( r(z_t, a_t) - \lambda \text{KL}[\pi_{\theta_s}(\cdot | z_t) \| \pi_p(\cdot | z_t)] \right) \right]$$

Dove:

• $z_t$ è la rappresentazione dello stato latente.
• $\lambda$ è un iperparametro che controlla la forza della regolarizzazione KL.
• $\pi_p$ è il prior della politica.

Componenti Chiave

1. RL Regolarizzato con KL: Il framework unifica i metodi esistenti come casi speciali di questa formulazione:

   • $\lambda = 0$: Ripristina TD-MPC2, dove la politica viene aggiornata esclusivamente tramite massimizzazione del valore delle azioni e regolarizzazione dell'entropia.
   • $\lambda \to \infty$: Ripristina BMPC (con KL inverso), dove la politica è vincolata a imitare la distribuzione del pianificatore.
   • $\lambda$ intermedio: Il documento esplora valori intermedi (ad esempio, $\lambda \in [0.1, 9]$) per bilanciare la massimizzazione del ritorno e l'allineamento distributivo.

2. Prior Intermedio Adattivo ($\pi_{\theta_p}$):
   Per affrontare l'alta varianza causata dall'uso diretto di campioni obsoleti del pianificatore dal buffer di replay, PO-MPC introduce un prior intermedio appreso. Invece di clonare la distribuzione grezza dei campioni del pianificatore memorizzati (che può essere una miscela gaussiana variabile nel tempo), il framework addestra una rete neurale $\pi_{\theta_p}$ per approssimare la distribuzione corrente indotta da MPPI $\pi_P$.

   • Questo prior è distillato dall'output del pianificatore, proteggendo gli aggiornamenti della politica di campionamento dalla varianza dei campioni obsoleti.
   • Il prior può essere addestrato utilizzando sia KL Inverso (minimizzando $\text{KL}[\pi_{\theta_p} \| \pi_P]$) che KL Diretto (minimizzando $\text{KL}[\pi_P \| \pi_{\theta_p}]$).
     • KL Inverso: Sposta la politica verso l'adeguamento a specifici modi della distribuzione del pianificatore (convergenza più rapida, potenzialmente meno esplorazione).
     • KL Diretto: Sposta la politica verso la copertura del supporto di tutte le distribuzioni campionate (esplorazione potenziata, potenzialmente convergenza più lenta).

3. Ciclo dell'Algoritmo:
   L'addestramento segue un ciclo Pianifica $\to$ Inferisci $\to$ Regolarizza:

   • Pianifica: MPPI genera una distribuzione di traiettorie $\pi_P$ utilizzando la politica di campionamento corrente e la funzione valore.
   • Inferisci: Il prior adattivo $\pi_{\theta_p}$ viene aggiornato per approssimare $\pi_P$.
   • Regolarizza: La politica di campionamento $\pi_{\theta_s}$ viene aggiornata utilizzando l'obiettivo regolarizzato con KL, bilanciando la massimizzazione del valore Q e la penalità KL verso $\pi_{\theta_p}$.

3. Contributi Chiave

• Unificazione: Il documento unifica metodi RL basati su MPPI disparati (TD-MPC2, BMPC) sotto un singolo framework teorico (PO-MPC), chiarificando le loro scelte progettuali e le relazioni.
• Prior Adattivi: Introduce un prior intermedio appreso per sostituire la clonazione diretta dei campioni del buffer di replay, dimostrando teoricamente ed empiricamente che ciò riduce la varianza del gradiente e stabilizza l'addestramento.
• Obiettivi Flessibili: Il framework permette l'esplorazione di varianti precedentemente non studiate, in particolare la regolazione della forza KL $\lambda$ e la scelta tra funzioni di perdita KL Diretta/Inversa per il prior.
• Prestazioni all'Avanguardia: Il metodo raggiunge un'efficienza del campione e prestazioni finali superiori nei compiti di controllo continuo ad alta dimensionalità rispetto alle baseline esistenti.

4. Risultati Sperimentali

Gli autori hanno valutato PO-MPC su 21 compiti di controllo continuo impegnativi tratti dalla DeepMind Control Suite (Humanoid e Dog) e da HumanoidBench.

• Miglioramenti delle Prestazioni: PO-MPC con valori intermedi di $\lambda$ ha costantemente superato sia TD-MPC2 ($\lambda=0$) che BMPC ($\lambda \to \infty$).
  • Nei compiti ad alta dimensionalità (ad esempio, HumanoidBench), i valori intermedi di $\lambda$ (in particolare $\lambda=1$ o $\lambda=9$) hanno prodotto miglioramenti significativi nel ritorno finale e nell'efficienza del campione.
  • In alcuni ambienti dove le baseline non sono riuscite ad apprendere (ad esempio, HumanoidBench "Balance Simple", "Slide", "Stair"), PO-MPC è riuscito a convergere.
• Efficacia del Prior Intermedio: L'uso del prior intermedio appreso ($\pi_{\theta_p}$) ha eguagliato o superato le prestazioni dell'uso di campioni grezzi del pianificatore dal buffer di replay, confermando la riduzione della varianza degli aggiornamenti.
• Sensibilità della Funzione di Perdita: La scelta della perdita KL per l'addestramento del prior ha avuto importanza. Il KL Diretto è stato benefico in compiti ad alta esplorazione (ad esempio, "Stair"), mentre il KL Inverso ha accelerato la convergenza in compiti critici per la precisione (ad esempio, "Balance Simple").
• Ablazione: I risultati hanno mostrato che le prestazioni peggiorano se $\lambda$ è troppo basso (ritorno al mismatch delle politiche) o troppo alto (collasso prematuro dei modi), evidenziando l'importanza di regolare questo compromesso.

5. Significato e Affermazioni

Il documento afferma che PO-MPC rappresenta una unificazione principiale degli approcci basati su MPPI. Allineando esplicitamente la politica di campionamento con il pianificatore tramite un obiettivo regolarizzato con KL e un prior adattivo, il framework:

1. Chiude il ciclo tra pianificazione e apprendimento della politica, assicurando che la funzione valore sia valutata su distribuzioni rilevanti per il pianificatore corrente.
2. Migliora la stabilità mitigando la varianza introdotta dai campioni di pianificazione obsoleti nel buffer di replay.
3. Avanza lo stato dell'arte nell'RL basato su modello per il controllo continuo, offrendo un framework flessibile che può essere regolato per requisiti specifici del compito (esplorazione vs. sfruttamento).

Gli autori notano che, sebbene il framework sia potente, assume distribuzioni gaussiane per le politiche e non sfrutta appieno tutte le traiettorie simulate per l'apprendimento del valore. Si suggerisce un lavoro futuro per estendere le distribuzioni delle politiche oltre le gaussiane e per regolare automaticamente l'iperparametro $\lambda$.