Technische Samenvatting: De Verrassende Moeilijkheid van Zoeken in Modelgebaseerde Versterkende Leer

Probleemstelling

Modelgebaseerde versterkende leer (MBRL) wordt traditioneel gezien als een veelbelovend paradigma voor besluitvorming met een hoog rendement op steekproeven, waarbij gebruik wordt gemaakt van geleerde dynamische modellen om toekomstige trajecten te simuleren en vooruit te plannen. De heersende aanname in het veld is dat de belangrijkste obstakels voor MBRL-prestaties modelnauwkeurigheid en opstapeling van fouten over lange horizonnen zijn. Bijgevolg heeft veel onderzoek zich gericht op het verbeteren van dynamische modellen en schattingen van onzekerheid.

Echter, dit artikel daagt de aanname uit dat betere modellen automatisch leiden tot betere planning. De auteurs onderzoeken de effectiviteit van zoeken (specifiek Model Predictive Control, of MPC) als een directe vervanging voor geleerde beleidsfuncties. Zij hypothetiseren dat de moeilijkheid van zoeken in MBRL niet uitsluitend te wijten is aan modelonvolkomenheden, maar voortkomt uit fundamentele problemen in hoe zoeken interactie heeft met waardeleer, specifiek met betrekking tot distributieverandering en overestimatiebias.

Methodologie

Theoretisch en Empirisch Onderzoek

De auteurs stellen eerst vast dat zoeken kan falen, zelfs met perfecte modellen. Met behulp van een "absorberende N-keten" MDP demonstreren zij dat onder uniforme willekeurige zoekopdrachten de kans op het vinden van een traject met hoge waarde exponentieel afneemt naarmate de planningshorizon toeneemt, waardoor exhaustief zoeken onhaalbaar wordt in grote actieruimtes.

Om de effecten van zoeken te isoleren van modelkwaliteit, vergelijken de auteurs twee architecturaal vergelijkbare algoritmen:

1. MR.Q: Een state-of-the-art methode die een modelgebaseerd doel puur gebruikt voor representatieleren, zonder zoeken.
2. TD-MPC2: Een toonaangevende zoekgebaseerde MBRL-methode die een latente wereldmodel gebruikt voor MPC.

Ze tonen experimenteel aan dat het naïef toevoegen van MPC aan MR.Q de prestaties verslechtert, hoewel MR.Q dynamische modellen leert met een nauwkeurigheid die vergelijkbaar is met (of beter dan) TD-MPC2. Omgekeerd verandert het verwijderen van MPC uit TD-MPC2 ook zijn prestatieprofiel. Deze asymmetrie bevestigt dat modelnauwkeurigheid alleen de succes van zoeken niet bepaalt.

Analyse van de Oorzaak: Overestimatiebias

De auteurs identificeren overestimatiebias als de primaire bottleneck. In standaard MBRL-opstellingen:

• De waardenfunctie wordt getraind met rollouts van een geleerd beleidsnetwerk ($\pi$).
• Tijdens uitvoering selecteert zoeken (MPC) acties op basis van de waardenfunctie ($\pi_{MPC}$).
• Dit creëert een distributieverandering: de waardenfunctie wordt bevraagd op acties ($\pi_{MPC}$) die afwijken van de verdeling waarop het is getraind ($\pi$).
• Deze mismatch leidt ertoe dat de waardenfunctie de returns van door zoeken geselecteerde acties overschat, met name voor acties buiten de verdeling (OOD), wat de algehele prestaties verslechtert.

Voorgestelde Oplossing: MRS.Q

Gebaseerd op deze inzichten stellen de auteurs MRS.Q (Model-based Representations for Search and Q-learning) voor. MRS.Q past MR.Q aan om effectief zoeken mogelijk te maken door de overestimatiebias direct aan te pakken in plaats van uitsluitend de modelnauwkeurigheid te verbeteren. Belangrijke aanpassingen omvatten:

1. Zoekgebaseerde Actieselectie: MRS.Q gebruikt Model Predictive Path Integral (MPPI) controle voor actieselectie met een korte horizon (3 stappen), vergelijkbaar met TD-MPC2.
2. Agressieve Minimalisatie over een Ensemble: Om overestimatiebias te mitigeren, hanteert MRS.Q een ensemble van 10 waardenfuncties. Cruciaal is dat het de minimale waarde neemt over het volledige ensemble tijdens zowel:
   • Berekening van waarden doelen (Bellman-updates).
   • Trajectevaluatie tijdens MPC (het selecteren van de beste actiesequentie).
     Dit staat in contrast met TD-MPC2, dat willekeurig een paar waardenfuncties samplet voor updates en het gemiddelde gebruikt voor MPC-evaluatie.
3. Hyperparameteraanpassingen:
   • Verwijdering van Exploratieruis: Omdat MPC inherent actievariatie induceert, wordt additieve Gaussische exploratieruis verwijderd.
   • Simpliciale Embeddings (SEM): Toegepast op de statencoder en de output van het dynamischemodel om multi-step rollouts te stabiliseren.
   • Verhoogde Gewichten voor Terminal Loss: Om de nauwkeurigheid van voorspellingen voor episodebeëindiging te verbeteren, wat kritiek is voor waardebepaling.

Belangrijkste Bijdragen

1. Het "Beter Model"-Dogma Uitdagen: Het artikel demonstreert dat zoeken kan falen, zelfs met zeer nauwkeurige of perfecte dynamische modellen. De effectiviteit van zoeken wordt meer bepaald door de interactie tussen zoeken en waardeleer dan door modeltrouw alleen.
2. Identificatie van Distributieverandering als Bottleneck: De auteurs tonen aan dat de distributieverandering die ontstaat bij het gebruik van door zoeken verzamelde data om een waardenfunctie te trainen die is getraind op niet-zoekdata, leidt tot ernstige overestimatiebias.
3. MRS.Q Algoritme: Zij introduceren MRS.Q, dat zoeken integreert in een representatielerkader door gebruik te maken van een ensemble van waardenfuncties met agressieve minimalisatie. Deze aanpak mitigeert overestimatiebias effectief.
4. State-of-the-Art Prestaties: MRS.Q behaalt superieure prestaties over meerdere benchmarks in vergelijking met zowel modelvrije als modelgebaseerde baselines, waaronder TD-MPC2 en diens recente uitbreidingen (TD-M(PC)2, BMPC, BOOM).

Resultaten

De auteurs hebben MRS.Q geëvalueerd op meer dan 50 taken over drie benchmarkdomeinen: Gym, DeepMind Control Suite (DMC) en HumanoidBench.

• Prestaties: MRS.Q presteert beter dan alle baselines op drie van de vier benchmarksubsets (Gym, HumanoidBench-No Hand, HumanoidBench-Hand) en blijft concurrerend op DMC.
• Vergelijking met TD-MPC2: Ondanks het gebruik van dezelfde zoekprocedure (MPPI), presteert MRS.Q aanzienlijk beter dan TD-MPC2, met name in hoogdimensionale taken (bijvoorbeeld HumanoidBench met handfuncties) en Gym-omgevingen.
• Ablatiestudies:
  • Ensemblegrootte: De prestaties verbeteren naarmate de ensemblegrootte toeneemt tot 10 waardenfuncties; het gebruik van slechts 2 (zoals in standaard Double Q-learning) is onvoldoende om de bias te mitigeren.
  • Minimalisatiestrategie: Het nemen van het minimum over het volledige ensemble tijdens MPC-trajectevaluatie is cruciaal. Het gebruik van het gemiddelde (zoals in TD-MPC2) resulteert in lagere prestaties.
  • Exploratieruis: Het verwijderen van additieve exploratieruis verbetert de prestaties, wat bevestigt dat MPC voldoende exploratie biedt.
• Berekeningskosten: MRS.Q heeft hogere berekeningskosten dan MR.Q (ongeveer 53 uur versus 10 uur voor 1 miljoen stappen op HalfCheetah), voornamelijk door het MPC-zoekproces en niet door het ensemble van waardenfuncties.

Betekenis en Claims

Het artikel beweert dat de bottleneck in MBRL niet alleen de kwaliteit van het dynamischemodel is, maar hoe het model wordt gebruikt. De auteurs betogen dat vooruitgang in MBRL vereist dat men de fundamentele spanningen tussen waardeleer en zoeken begrijpt en beheert.

• Paradigmaverschuiving: Het werk suggereert dat het simpelweg bouwen van betere modellen onvoldoende is. In plaats daarvan is het aanpakken van de overestimatiebias die wordt geïntroduceerd door de distributieverandering tussen zoeken en training, de sleutel tot het ontsluiten van de voordelen van zoeken.
• Generaliseerbaarheid: De techniek van het gebruik van een ensemble-minimum om door zoeken veroorzaakte overestimatie te mitigeren, blijkt niet alleen effectief voor MRS.Q, maar verbetert ook TD-MPC2 wanneer hierop toegepast.
• Praktische Impact: Door een effectiever gebruik van geleerde modellen mogelijk te maken, biedt MRS.Q een weg naar meer steekproefefficiënte RL, wat kritiek is voor toepassingen in robotica en autonome systemen waar dataverzameling kostbaar of veiligheidskritiek is.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat de berekeningskosten van het onderhouden van 10 waardenfuncties en het uitvoeren van MPC substantieel zijn, en dat de agressieve minimalisatiestrategie kleinere winsten oplevert op taken met dichte beloningen en geen vroege beëindiging (zoals DMC), wat suggereert dat de methode het meest voordelig is waar overestimatie ernstig is.