Technische Samenvatting: Gedebiaserde modelgebaseerde representaties voor steekproef-efficiënte continue besturing

Probleemstelling

Versterkingsleer (RL)-agenten lijden vaak aan gebrek aan steekproef-efficiëntie en vereisen uitgebreide online interacties om effectieve beleidsregels te leren. Hoewel modelvrije methoden de efficiëntie hebben verbeterd door middel van diverse technieken, bieden modelgebaseerde benaderingen een hogere steekproef-efficiëntie door omgevingsdynamica te leren, maar brengen ze hoge trainingskosten met zich mee. Recente hybride benaderingen proberen modelgebaseerde representaties te leren (het inbedden van latente dynamica in staat-actie-representaties) om deze door te geven aan downstream actor-critic-netwerken, waardoor de voordelen van beide paradigma's worden gecombineerd.

De auteurs identificeren echter twee kritieke bronnen van bias in bestaande modelgebaseerde representatiemethoden die leiden tot suboptimale prestaties:

1. Representatiebias: Bestaande methoden minimaliseren doorgaans de numerieke afwijking (bijvoorbeeld de gemiddelde kwadratische fout) tussen de huidige staat-actie-representatie ($z_{sa}$) en de volgende staat-representatie ($z_{s'}$). De auteurs betogen dat het minimaliseren van de Euklidische afstand niet inherent de mutuele informatie tussen deze representaties maximaliseert. Bijgevolg kunnen geleerde representaties falen in het vastleggen van voldoende relevante informatie of kunnen ze overfitten op redundante elementen, vooral in hoog-dimensionale ruimtes.
2. Steekproefbias: Standaard strategieën voor ervaringsherhaling, zoals uniforme steekproeven of Prioritized Experience Replay (PER), zijn vatbaar voor primacy bias. PER geeft voorkeur aan transities met grote tijdsverschil (TD)-fouten, die vaak corresponderen met vroege, potentieel suboptimale ervaringen. Dit zorgt ervoor dat de agent overfittet op vroege data die aanzienlijk kan afwijken van de huidige beleidsverdeling, wat leidt tot trainingsinstabiliteit en inferieure prestaties.

Methodologie: Het DR.Q-algoritme

Om deze problemen aan te pakken, stellen de auteurs DR.Q (Debiased model-based Representations for Q-learning) voor, een off-policy RL-algoritme dat is ontworpen om informatieve modelgebaseerde representaties te leren. Het raamwerk splitst het leerproces op in twee fasen: (i) het leren van staat- en staat-actie-representaties met behulp van modelgebaseerde doelstellingen, en (ii) het optimaliseren van downstream waardenfuncties en beleidsregels.

1. Maximalisatie van mutuele informatie in representatieleren

DR.Q past de trainingsdoelstelling voor de encoder aan om expliciet de mutuele informatie tussen de staat-actie-representatie ($z_{sa}$) en de volgende staat-representatie ($z_{s'}$) te maximaliseren, naast het minimaliseren van hun afwijking.

• Latente consistentieverlies: Minimaliseert de MSE tussen de voorspelde volgende staat-representatie en de doelwit volgende staat-representatie.
• Mutuele informatieverlies: Om de onbehandelbaarheid van directe berekening van mutuele informatie te vermijden, maakt DR.Q gebruik van de InfoNCE-loss (een ondergrens van mutuele informatie). Deze loss stimuleert dat de representaties niet alleen numeriek dicht bij elkaar liggen, maar ook gedeelde, informatieve kennis over de latente dynamica coderen.
• Theoretische rechtvaardiging: De auteurs bewijzen (Stelling 4.1) dat het minimaliseren van MSE geen garantie biedt voor verhoogde mutuele informatie. Bovendien tonen ze aan (Lemma 4.2) dat het maximaliseren van mutuele informatie strikt de conditionele entropie van de volgende staat gegeven de huidige staat-actie verlaagt, wat leidt tot een meer deterministisch en discriminerend model van latente dynamica, waardoor de bovengrens voor de fout in waardenraming wordt verstrakt.

2. Vervaagde Prioritized Experience Replay (Faded PER)

DR.Q introduceert een nieuwe steekproefstrategie om primacy bias te mitigeren door Prioritized Experience Replay (PER) te combineren met een vergetelmechanisme.

• Mechanisme: De steekproefkans $P(i)$ voor een transitie $e_i$ is evenredig met het product van de grootte van de TD-fout en een verval-factor gebaseerd op de leeftijd in de replay-buffer:
  $$P(i) \propto |\delta(i)|^\alpha (1 - \epsilon)^i$$
  waarbij $\delta(i)$ de TD-fout is, $\alpha$ een gladmakende coëfficiënt is en $\epsilon$ de vervalsnelheid is.
• Effect: Deze strategie kent hoge prioriteit toe aan transities die zowel nieuw (recent toegevoegd) als informatief (grote TD-fouten) zijn. Het zorgt ervoor dat oudere ervaringen, zelfs als ze aanvankelijk grote fouten hadden, geleidelijk aan minder prioriteit krijgen naarmate het beleid evolueert, waardoor wordt voorkomen dat de agent overfittet op verouderde data.
• Theoretische analyse: De auteurs leveren theoretische grenzen aan (Stelling 4.3) die aantonen dat onder Faded PER de steekproefkans van oudere ervaringen met identieke TD-fouten strikt lager is dan die van nieuwere ervaringen, en dat de verwachte steekproeftijden voor oude ervaringen begrensd zijn.

Belangrijkste bijdragen

1. DR.Q-algoritme: Een algemeen off-policy RL-algoritme dat modelgebaseerde representaties leert met behulp van één set hyperparameters over diverse benchmarks voor continue besturing.
2. Gedebiaserde representatieleren: De introductie van een op InfoNCE gebaseerde mutuele informatieverlies om standaard latente consistentieverliezen aan te vullen, zodat representaties voldoende informatief en expressief zijn.
3. Vervaagde Prioritized Experience Replay: Een steekproefstrategie die de voordelen van het prioriteren van transities met hoge fouten effectief in evenwicht brengt met de noodzaak om verouderde ervaringen te vergeten, waardoor primacy bias wordt mitigerd.
4. Uitgebreide evaluatie: Uitgebreide empirische validatie over 73 taken uit drie standaard benchmarks (MuJoCo, DMC Suite en HumanoidBench), wat robuustheid en generaliseerbaarheid aantoont.

Experimentele resultaten

De auteurs hebben DR.Q geëvalueerd tegen sterke basismethoden, waaronder modelvrije methoden (bijvoorbeeld SimBaV2, FoG, TD7) en modelgebaseerde methoden (bijvoorbeeld MR.Q, TDMPC2, DreamerV3).

• Prestaties: DR.Q komt consistent overeen met of overtreft state-of-the-art basismethoden. Opmerkelijke verbeteringen zijn:
  • Een winst van 15,5% ten opzichte van SimBaV2 op DMC-Hard-taken.
  • Een verbetering van 58,9% ten opzichte van FoG op HumanoidBench-taken (met behendige handen).
  • Een voorsprong van 26,8% ten opzichte van MR.Q op DMC-Visual-taken.
• Steekproef-efficiëntie: DR.Q bereikt superieure steekproef-efficiëntie en overtreft basismethoden vaak met een grote marge. Bijvoorbeeld, het is de eerste gerapporteerde methode die een gemiddelde return van meer dan 700 bereikt op de uitdagende dog-run-taak binnen 1 miljoen omgevingsstappen.
• Ablatiestudies: Experimenten bevestigen dat het verwijderen van de InfoNCE-loss of het Faded PER-mechanisme leidt tot significante prestatiedegradatie, met name op hoog-dimensionale taken met redundante staatinformatie (bijvoorbeeld HumanoidBench met handen).
• Kwaliteit van representatie: t-SNE-visualisaties geven aan dat DR.Q meer continue en geconcentreerde clusters leert in vergelijking met MR.Q, wat wijst op een betere structurele leer van de latente ruimte.

Betekenis en claims

De paper beweert dat DR.Q een concrete stap voorwaarts is in het bouwen van hoogpresterende en algemene modelvrije RL-algoritmen. Door expliciet de bias in representatieleren (via maximalisatie van mutuele informatie) en ervaringsherhaling (via Faded PER) aan te pakken, bereikt DR.Q sterke prestaties zonder dat taakspecifieke hyperparameteraanpassing of complexe architecturale wijzigingen nodig zijn.

De auteurs merken beperkingen op, zoals inferieure prestaties op specifieke taken zoals Hopper-v4 (toegeschreven aan het gebruik van uniforme hyperparameters) en uitdagingen op extreem moeilijke visuele taken zoals humanoid-run binnen het beperkte trainingsbudget. Ze erkennen ook dat het algoritme niet is ontworpen voor harde exploratie of niet-Markoviaanse taken. Ondanks deze beperkingen toont het werk aan dat het debiasen van modelgebaseerde representaties een haalbare weg is om de steekproef-efficiëntie in continue besturing te verbeteren.