Transfer Learning for Customized Car Racing Environments

Technische Samenvatting: Transfer Learning voor Aangepaste Autowedstrijdomgevingen

Probleemstelling
Versterkende Leer (RL) staat voor een fundamentele afweging tussen exploratie en exploitatie, waarbij vaak enorme hoeveelheden data nodig zijn om te convergeren, met name in omgevingen met schaarse beloningen, gedeeltelijke waarneembaarheid en hoogdimensionale continue controleruimtes. Hoewel Transfer Learning (TL) goed gevestigd is in supervised deep learning, is de toepassing ervan in deep RL niet triviaal vanwege de complexiteit van het overdragen van kennis binnen Markov Decision Processes (MDP's). De specifieke uitdaging die in dit werk wordt aangepakt, is het bereiken van snelle rondetijden in OpenAI's Car Racing-omgeving door een agent te trainen op een broncircuit en die kennis toe te passen op aangepaste doelomgevingen (met verschillende kaarten, versnelling, remming of wrijvingsparameters) via zero-shot transfer of fine-tuning.

Methodologie
De studie maakt gebruik van een vergelijkende analyse van model-vrije en model-gebaseerde deep reinforcement learning-algoritmen binnen de OpenAI Gym Car Racing-omgeving.

• Geteste Algoritmen:
  • Model-vrij: Proximal Policy Optimization (PPO), Soft Actor-Critic (SAC) en Deep Deterministic Policy Gradient (DDPG).
  • Model-gebaseerd: Dreamer (specifiek een aangepaste DreamerV2), die latente dynamiek leert via een wereldmodel om te plannen in "imaginatie".
• Experimentele Opzet:
  • Bron-domein: Een standaard Car Racing-kaart met minder extreme bochten, gebruikt voor initiële training over 1 miljoen stappen.
  • Doel-domeinen: Aangepaste omgevingen gemaakt door het wijzigen van:
    1. Racekaart: Een doelkaart met strakkere, moeilijkere bochten.
    2. Dynamiek: Gewijzigde versnelling (+0,2/tijdstap versus standaard +0,1), remcoëfficiënten (0,6 versus 0,8) en graswrijving (0,8 versus 0,6).
  • Transferprotocollen:
    • Zero-Shot Transfer: Evaluatie van vooraf getrainde modellen op doel-domeinen zonder verdere interactie.
    • Few-Shot Transfer (Fine-tuning): Aanvullende training van 300k stappen op het doel-domein.
  • Implementatie: De auteurs maakten gebruik van de Stable Baselines3 (SB3) repository voor PPO, SAC en DDPG, en een aangepaste fork van de DreamerV2 repository. Neuronale netwerkgewichten werden overgedragen tussen bron- en doeltaken.

Belangrijkste Bijdragen
Het artikel presenteert een uitgebreide ablatiestudie die de effectiviteit vergelijkt van model-gebaseerde versus model-vrije benaderingen in transfer learning-scenario's voor continue controletaken. De specifieke bijdragen omvatten:

1. Systematische testen van PPO, SAC, DDPG en Dreamer op de standaard OpenAI CarRacing-omgeving.
2. Evaluatie van het vermogen van deze algoritmen om over te dragen naar aangepaste omgevingen die veranderingen omvatten in racebanen en voertuigdynamiek (versnelling, remming, wrijving).
3. Een vergelijkende analyse van convergentiesnelheid, sample-efficiëntie en uiteindelijke prestaties tussen model-gebaseerde en model-vrije paradigma's in de context van transfer learning.

Resultaten

• Prestaties Basisomgeving: De model-gebaseerde aanpak (Dreamer) presteerde aanzienlijk beter dan model-vrije tegenhangers, met beloningen boven de 900 en convergentie binnen ongeveer 200k stappen. Daarentegen bereikten PPO en SAC bij 1M stappen beloningen van respectievelijk 550 en ~500. DDPG faalde om te convergeren en leverde consistent negatieve beloningen op (-84), ondanks uitgebreide hyperparameter-tuning.
• Zero-Shot Transfer: Op de doelkaart behaalde Dreamer de hoogste beloning (500), gevolgd door PPO (400) en SAC (~350). Alle presteerden onder hun niveau op de bronkaart. DDPG bleef worstelen.
• Fine-Tuning: Na 300k stappen fine-tuning herstelde Dreamer zich tot prestaties op bron-niveau (~915 beloningen) en loste de doeltaak op. PPO en SAC vertoonden prestaties vergelijkbaar met hun zero-shot tegenhangers en slaagden er niet in de herstelcapaciteit van Dreamer te evenaren.
• Aangepaste Dynamiek:
  • Versnelling: PPO en Dreamer behielden prestaties op basisniveau; SAC daalde licht.
  • Remming: PPO en SAC presteerden slechter dan het basisniveau; Dreamer behield prestaties op basisniveau.
  • Wrijving: PPO presteerde aanzienlijk slechter en degradeerde verder met fine-tuning; SAC behield basisniveaus; Dreamer presteerde iets slechter maar overtrof nog steeds alle model-vrije algoritmen.
• Kwalitatieve Observaties: Video-analyse toonde aan dat, hoewel model-vrije agenten soms fatsoenlijke beloningen bereikten, ze vaak onveilig gedrag vertoonden (bijvoorbeeld in de verkeerde richting rijden of slippen). Dreamer, met name na fine-tuning, toonde superieure manoeuvrering door scherpe bochten.

Betekenis en Claims
De auteurs beweren dat model-gebaseerde benaderingen, specifiek Dreamer, in deze omgeving domineren wat betreft prestaties, convergentiesnelheid en sample-efficiëntie in vergelijking met model-vrije methoden. De studie benadrukt dat model-vrije algoritmen breekbare convergentie-eigenschappen vertonen, wat zorgvuldige hyperparameter-tuning vereist en toch faalt om betrouwbaar te generaliseren over verschillende omgevingen (zoals gezien bij DDPG en de degradatie van PPO in scenario's met hoge wrijving).

Het artikel stelt dat transfer learning, vooral in combinatie met fine-tuning, niet alleen de prestaties op doel-domeinen verbetert, maar ook hoge prestaties tijdens het leerproces aantoont, wat potentie suggereert voor veilig versterkende leer. De auteurs concluderen dat ze, hoewel ze de auto-racetaken in aangepaste opstellingen met succes oplosten met model-gebaseerde RL, hun werk beperkt werd door computergrenzen (elk experiment duurde ongeveer 24 uur). Ze uiten interesse in toekomstig werk met meta-RL, veilig-RL en testen in de echte wereld, maar claimen geen directe toepasbaarheid buiten de reikwijdte van hun simulatie-experimenten.