Adaptive Linear Path Model-Based Diffusion

Sintesi Tecnica: Modello di Diffusione con Percorso Lineare Adattivo (Adaptive Linear Path Model-Based Diffusion)

Definizione del Problema
L'integrazione dei modelli di diffusione con il controllo basato su modello ha mostrato grande potenziale nella risoluzione di problemi complessi di ottimizzazione delle traiettorie che coinvolgono dinamiche non lineari e vincoli non convessi. Tuttavia, le prestazioni degli approcci esistenti di Model-Based Diffusion (MBD) sono altamente sensibili alla progettazione dei parametri dello scheduling del rumore. Negli standard programmi di varianza preservata (VP), i parametri come gli endpoint del rumore e il numero totale di passi di diffusione sono intrinsecamente accoppiati. Questo accoppiamento rende difficile isolare l'effetto dei singoli parametri sul compromesso tra esplorazione e raffinamento, portando spesso a scelte eccessivamente conservative o richiedendo un esteso processo di regolazione per tentativi ed errori. Inoltre, i parametri ottimali variano frequentemente a seconda dello stato del sistema e della complessità del compito, eppure i tradizionali framework MBD utilizzano programmi fissi che non possono adattarsi a tali condizioni mutevoli.

Metodologia
Gli autori propongono un framework in due fasi per affrontare questi limiti: Linear Path Model-Based Diffusion (LP-MBD) e Adaptive LP-MBD (ALP-MBD).

1. Linear Path Model-Based Diffusion (LP-MBD):
   LP-MBD sostituisce lo standard programma di rumore a varianza preservata con un percorso di probabilità lineare ispirato al Flow Matching. Invece della complessa interpolazione utilizzata in VP-MBD, LP-MBD definisce un'interpolazione lineare tra una traiettoria pulita $Y^{(0)}$ e un rumore gaussiano standard $\epsilon$:
   $$Y_t = (1 - t)Y^{(0)} + t\epsilon, \quad t \in [0, 1]$$
   Questa formulazione offre una parametrizzazione geometricamente interpretabile e disaccoppiata. A differenza di VP-MBD, che richiede la regolazione di tre parametri accoppiati ($\beta_0, \beta_1, T$), LP-MBD si basa su soli due parametri indipendenti: la scala massima del rumore ($\sigma_{max}$) e il numero di passi di diffusione ($T$). La scala massima del rumore è determinata dall'intervallo ammissibile degli input di controllo, fornendo un modo diretto e interpretabile per impostare i limiti di esplorazione. Per garantire l'efficienza, lo scheduling è troncato a un valore massimo $t_{max} < 1$ per evitare che la varianza della proposta gaussiana diverga.

2. Adaptive LP-MBD (ALP-MBD):
   Costruendo sulla natura disaccoppiata di LP-MBD, gli autori introducono uno scheduler adattivo che sfrutta il Reinforcement Learning (RL) per regolare dinamicamente i passi di diffusione ($T$) e i livelli di rumore ($\sigma_{max}$) in base allo stato dell'ambiente.

• Formulazione: Lo scheduler adattivo è trattato come una policy $\pi_\phi$ all'interno di un Processo Decisionale di Markov (MDP). Lo spazio degli stati include variabili ambientali (ad esempio, distanze dagli ostacoli, errori di traiettoria), e lo spazio delle azioni consiste nei parametri di scheduling $(T, \sigma_{max})$.
• Addestramento: Il sistema è addestrato utilizzando il Proximal Policy Optimization (PPO). La funzione di ricompensa combina le prestazioni del compito con una penalità per i grandi passi di diffusione, al fine di incoraggiare l'efficienza computazionale.
• Meccanismo: In scenari complessi (ad esempio, evitamento degli ostacoli), l'agente impara ad aumentare $T$ e $\sigma_{max}$ per ampliare l'esplorazione e raffinare le soluzioni. In condizioni semplici o ben strutturate, riduce questi parametri per accelerare il campionamento senza sacrificare la qualità della soluzione.

Contributi Chiave

1. LP-MBD: L'introduzione di uno scheduler di percorso lineare ispirato al flow-matching che fornisce una parametrizzazione geometricamente interpretabile e disaccoppiata. Ciò riduce significativamente l'onere della regolazione degli iperparametri rispetto agli schemi a varianza preservata.
2. ALP-MBD: Lo sviluppo di un'estensione adattiva che utilizza il reinforcement learning per ottimizzare i parametri di scheduling online. Ciò consente al sistema di bilanciare robustezza ed efficienza adattandosi alla complessità del compito e alle condizioni ambientali.
3. Valutazione Completa: Una rigorosa validazione di entrambi i metodi attraverso studi numerici, benchmark Brax (inclusi compiti di locomozione come Hopper e HalfCheetah) e un compito di tracciamento della traiettoria di un robot mobile.

Risultati

• Studi Numerici: In compiti di ottimizzazione 1D e 2D, LP-MBD ha dimostrato una stabilità di convergenza superiore rispetto a VP-MBD, in particolare quando i passi di diffusione venivano variati. Mentre VP-MBD spesso falliva la convergenza o richiedeva una ritaratura estesa dei parametri $\beta$ quando $T$ cambiava, LP-MBD manteneva prestazioni costanti grazie ai suoi parametri disaccoppiati. Negli esperimenti adattivi, ALP-MBD è converguto più velocemente e ha trovato soluzioni di qualità superiore rispetto a un baseline adattivo VP-MBD (AVP-MBD), che faticava con lo spazio dei parametri accoppiati.
• Benchmark Brax: LP-MBD ha ottenuto ricompense per passo competitive o superiori nella maggior parte dei compiti di controllo continuo (Ant, Hopper, HalfCheetah, Walker2D, Reacher) rispetto a CEM, MPPI e VP-MBD. Nel compito Pusher, VP-MBD ha leggermente superato LP-MBD, cosa che gli autori attribuiscono alla maggiore dimensionalità che potenzialmente favorisce la capacità espressiva degli schemi a varianza preservata.
• Tracciamento della Traiettoria di un Robot Mobile: In un ambiente personalizzato con ostacoli e percorsi a forma di S o ovali, ALP-MBD ha ottenuto la ricompensa media più alta tra tutte le varianti. Il sistema è riuscito ad adattare i propri parametri in tempo reale: aumentando i passi di diffusione e la varianza del rumore durante la navigazione vicino agli ostacoli o curve strette, e riducendoli durante la navigazione rettilinea e priva di ostacoli. Nonostante l'overhead del forward pass della policy RL, ALP-MBD ha mantenuto l'efficienza in tempo reale adatta alle applicazioni di controllo.

Significatività
Il paper sostiene che LP-MBD fornisca una base stabile e geometricamente interpretabile per il controllo basato su diffusione, semplificando il notoriamente difficile processo di regolazione degli schemi di rumore. Disaccoppiando la scala del rumore dall'orizzonte di discretizzazione, LP-MBD consente l'applicazione efficace del reinforcement learning per l'adattamento. Il framework proposto ALP-MBD dimostra che l'aggiustamento dinamico dei parametri di diffusione può migliorare sia la robustezza in ambienti complessi che l'efficienza computazionale in quelli più semplici, offrendo una soluzione pratica per il controllo robotico in tempo reale dove le condizioni del compito variano significativamente.