Transfer Learning for Customized Car Racing Environments

Riepilogo Tecnico: Apprendimento per Trasferimento per Ambienti di Corse Automobilistiche Personalizzati

Enunciato del Problema
L'Apprendimento per Rinforzo (RL) affronta un compromesso fondamentale tra esplorazione e sfruttamento, richiedendo spesso enormi quantità di dati per convergere, specialmente in ambienti con ricompense sparse, osservabilità parziale e spazi di controllo continui ad alta dimensionalità. Sebbene l'Apprendimento per Trasferimento (TL) sia ben consolidato nell'apprendimento profondo supervisionato, la sua applicazione nel RL profondo non è banale a causa della complessità del trasferimento di conoscenza all'interno dei Processi Decisionali di Markov (MDP). La sfida specifica affrontata in questo lavoro è raggiungere tempi di giro rapidi nell'ambiente Car Racing di OpenAI addestrando un agente su un circuito sorgente e applicando tale conoscenza ad ambienti target personalizzati (caratterizzati da mappe diverse, parametri di accelerazione, frenata o attrito) tramite trasferimento zero-shot o fine-tuning.

Metodologia
Lo studio impiega un'analisi comparativa di algoritmi di apprendimento per rinforzo profondo senza modello e basati su modello nell'ambiente OpenAI Gym Car Racing.

• Algoritmi Testati:
  • Senza Modello: Proximal Policy Optimization (PPO), Soft Actor-Critic (SAC) e Deep Deterministic Policy Gradient (DDPG).
  • Basati su Modello: Dreamer (nello specifico una versione DreamerV2 personalizzata), che apprende dinamiche latenti attraverso un modello del mondo per pianificare nell'"immaginazione".
• Configurazione Sperimentale:
  • Dominio Sorgente: Una mappa standard di Car Racing con curve meno estreme, utilizzata per l'addestramento iniziale per 1 milione di passi.
  • Dominî Target: Ambienti personalizzati creati modificando:
    1. Mappa di Gara: Una mappa target con curve più strette e difficili.
    2. Dinamiche: Accelerazione modificata (+0.2/timestep rispetto al default +0.1), coefficienti di frenata (0.6 rispetto a 0.8) e attrito dell'erba (0.8 rispetto a 0.6).
  • Protocolli di Trasferimento:
    • Trasferimento Zero-Shot: Valutazione di modelli pre-addestrati sui domî target senza ulteriore interazione.
    • Trasferimento Few-Shot (Fine-tuning): Ulteriore addestramento di 300k passi sul dominio target.
  • Implementazione: Gli autori hanno utilizzato il repository Stable Baselines3 (SB3) per PPO, SAC e DDPG, e una fork personalizzata del repository DreamerV2. I pesi delle reti neurali sono stati trasferiti tra compiti sorgente e target.

Contributi Chiave
Il paper presenta un'estesa analisi di ablazione che confronta l'efficacia degli approcci basati su modello rispetto a quelli senza modello in scenari di apprendimento per trasferimento per compiti di controllo continuo. I contributi specifici includono:

1. Test sistematici di PPO, SAC, DDPG e Dreamer sull'ambiente standard OpenAI CarRacing.
2. Valutazione della capacità di questi algoritmi di trasferirsi ad ambienti personalizzati che coinvolgono cambiamenti nelle piste di gara e nelle dinamiche veicolari (accelerazione, frenata, attrito).
3. Un'analisi comparativa della velocità di convergenza, dell'efficienza del campione e delle prestazioni finali tra i paradigmi basati su modello e senza modello nel contesto dell'apprendimento per trasferimento.

Risultati

• Prestazioni nell'Ambiente Base: L'approccio basato su modello (Dreamer) ha superato significativamente i corrispettivi senza modello, raggiungendo ricompense superiori a 900 e convergendo entro circa 200k passi. Al contrario, PPO e SAC hanno raggiunto ricompense di 550 e ~500 rispettivamente a 1M di passi. DDPG non è riuscito a convergere, producendo costantemente ricompense negative (-84) nonostante un'estesa ottimizzazione degli iperparametri.
• Trasferimento Zero-Shot: Sulla mappa target, Dreamer ha ottenuto la ricompensa più alta (500), seguito da PPO (400) e SAC (~350). Tutti hanno performato al di sotto dei loro livelli sulla mappa sorgente. DDPG ha continuato ad avere difficoltà.
• Fine-Tuning: Dopo 300k passi di fine-tuning, Dreamer ha recuperato le prestazioni a livello sorgente (~915 ricompense) e ha risolto il compito target. PPO e SAC hanno mostrato prestazioni simili alle loro controparti zero-shot, non riuscendo a eguagliare il recupero di Dreamer.
• Dinamiche Personalizzate:
  • Accelerazione: PPO e Dreamer hanno mantenuto le prestazioni di base; SAC è sceso leggermente.
  • Frenata: PPO e SAC hanno performato peggio della base; Dreamer ha mantenuto le prestazioni di base.
  • Attrito: PPO ha performato significativamente peggio e si è degradato ulteriormente con il fine-tuning; SAC ha mantenuto i livelli di base; Dreamer ha performato leggermente peggio ma ha comunque superato tutti gli algoritmi senza modello.
• Osservazioni Qualitative: L'analisi video ha rivelato che, sebbene gli agenti senza modello abbiano talvolta raggiunto ricompense discrete, spesso hanno esibito comportamenti insicuri (ad esempio, guidare nella direzione sbagliata o slittare). Dreamer, in particolare dopo il fine-tuning, ha dimostrato una manovrabilità superiore nelle curve strette.

Significato e Affermazioni
Gli autori affermano che gli approcci basati su modello, in particolare Dreamer, dominano in questo ambiente per quanto riguarda prestazioni, velocità di convergenza ed efficienza del campione rispetto ai metodi senza modello. Lo studio evidenzia che gli algoritmi senza modello esibiscono proprietà di convergenza fragili, richiedendo un'attenta ottimizzazione degli iperparametri e fallendo comunque nel generalizzare in modo affidabile attraverso ambienti diversi (come osservato con DDPG e il degrado di PPO negli scenari ad alto attrito).

Il paper afferma che l'apprendimento per trasferimento, specialmente se combinato con il fine-tuning, non solo potenzia le prestazioni sui domî target, ma dimostra anche un'elevata capacità di prestazione durante il processo di apprendimento, suggerendo potenzialità per un apprendimento per rinforzo sicuro. Gli autori concludono che, sebbene abbiano risolto con successo il compito di guida automobilistica in configurazioni personalizzate utilizzando RL basato su modello, il loro lavoro è stato limitato da vincoli computazionali (ogni esperimento richiedeva ~24 ore). Esprimono interesse per lavori futuri che coinvolgano meta-RL, safe-RL e test nel mondo reale, ma non rivendicano un'applicabilità immediata oltre l'ambito dei loro esperimenti di simulazione.