CROP: Conservative Reward for Model-based Offline Policy Optimization

Dit artikel introduceert CROP, een modelgebaseerd offline RL-algoritme dat een conservatieve beloningsschatter gebruikt om overschatting door distributieveranderingen te voorkomen en zo robuuste beleidsoptimalisatie mogelijk maakt.

De kern

Stel je voor dat je een robot wilt leren om een complexe taak uit te voeren, zoals het bedienen van een medische instrument of het besturen van een auto. In de ideale wereld zou je de robot duizenden keren laten oefenen in de echte wereld. Maar dat is vaak te duur, te gevaarlijk of gewoon te tijdrovend.

Daarom gebruiken wetenschappers Offline Reinforcement Learning. In plaats van te oefenen in de echte wereld, leren ze de robot met een "fotoalbum" van data die al eerder is verzameld door een andere, misschien minder slimme, robot of een mens.

Het probleem? Dit fotoalbum is niet perfect. Het bevat misschien geen foto's van elke mogelijke situatie. Als de robot probeert iets te doen dat niet in het album staat, raakt hij in de war en denkt hij dat hij een geweldige score haalt, terwijl hij in werkelijkheid een ramp veroorzaakt. Dit noemen ze over-schatting: de robot is te zelfverzekerd over dingen die hij niet kent.

De Oplossing: CROP (De Voorzichtige Leraar)

De auteurs van dit paper hebben een nieuwe methode bedacht, genaamd CROP. Ze gebruiken een slimme analogie om dit op te lossen: de beloningssysteem.

Stel je voor dat je een kind leert fietsen met een oude video van iemand anders die fietst.

• De oude aanpak: De robot kijkt naar de video en probeert precies te doen wat hij ziet. Als hij iets nieuws probeert (bijvoorbeeld een bocht die niet in de video staat), denkt hij: "Omdat ik dit niet ken, moet dit wel heel goed zijn!" en hij valt om.
• De CROP-aanpak: CROP is als een voorzichtige leraar. Deze leraar zegt tegen de robot: "Oké, we gaan leren van de video. Maar als je iets probeert dat niet in de video staat, of iets dat heel zelden voorkomt, dan geef ik je een negatieve beloning (een 'straf'). Ik ga ervan uit dat onbekende dingen gevaarlijk zijn, tenzij we bewijzen dat ze veilig zijn."

Hoe werkt het precies? (De Analogie van de "Willekeurige Actie")

In de technische wereld noemen ze dit het minimaliseren van de beloning voor willekeurige acties.

1. Het Fotoalbum (De Data): De robot heeft een album met foto's van situaties die al gebeurd zijn.
2. De Test: Tijdens het trainen vraagt de computer de robot: "Wat zou je doen als je helemaal willekeurig een knop indrukt?"
3. De Straf: CROP leert het systeem om die willekeurige knopindrukken een lage score te geven.
4. Het Resultaat: Omdat de robot nu leert dat "willekeurige" of "onbekende" acties slecht zijn, durft hij niet zomaar iets nieuws te proberen dat niet in het album staat. Hij blijft binnen de veilige grenzen van wat hij al kent, maar probeert wel binnen die grenzen het beste te doen.

Waarom is dit slim?

• Geen ingewikkelde wiskunde nodig: Veel andere methoden proberen de "onzekerheid" van de robot te meten met ingewikkelde formules. CROP doet het simpel: "Als het niet in het boekje staat, is het waarschijnlijk slecht."
• Veiligheid: Het voorkomt dat de robot in paniek raakt of gevaarlijke dingen doet omdat hij denkt dat hij een superkracht heeft.
• Sneller en Stabiel: Omdat ze alleen de "beloning" (de punten) aanpassen en niet de hele robot herschrijven, werkt het sneller en betrouwbaarder.

De Uitkomst

In hun experimenten hebben ze CROP getest op verschillende robot-taken (zoals een springende robot, een lopende robot en een rennende robot). Het bleek dat CROP net zo goed of zelfs beter presteerde dan de beste bestaande methoden, maar dan met een veel eenvoudigere en veiligere aanpak.

Kort samengevat:
CROP is een slimme manier om robots te leren van oude data zonder dat ze "dromen" over dingen die ze nooit hebben gedaan. Het is alsof je een robot leert: "Blijf bij wat je kent, en wees voorzichtig met wat je niet kent." Zo voorkom je dat de robot zichzelf of anderen schade toebrengt terwijl hij probeert slim te zijn.

Technische samenvatting

Probleemstelling

Offline Versterkend Leren (Offline RL) richt zich op het optimaliseren van een beleid (policy) uitsluitend op basis van een reeds verzameld dataset, zonder verdere interactie met de omgeving. Hoewel model-gebaseerde benaderingen veelbelovend zijn omdat ze via een geleerde omgevingsmodel extra data kunnen genereren, kampen ze met een fundamenteel probleem: distributieverandering (distribution shift).

Wanneer een agent leert buiten de verdeling van de verzamelde data (Out-of-Distribution of OOD), neigen standaard algoritmen ertoe om de Q-waarden (verwachte beloningen) te overschatten. Dit komt doordat fouten in de modelvoorspellingen en de discrepantie tussen het verzamelbeleid en het geleerde beleid cumulatief oplopen via de Bellman-vergelijking. Bestaande methoden proberen dit op te lossen door conservatisme toe te passen op het beleid zelf, de Q-functie, of door complexe onzekerheidsschattingen en extra componenten (zoals discriminators of tellers) te introduceren, wat vaak leidt tot instabiliteit of hoge rekentijd.

Methodologie: CROP

De auteurs stellen CROP (Conservative Reward for model-based Offline Policy optimization) voor. De kerninnovatie is het direct invoeren van conservatisme in de beloningsfunctie (reward function) in plaats van in het beleid of de waarde-functie.

1. Conservatieve BeloningsSchatting:
In plaats van alleen de schattingsfout te minimaliseren, minimaliseert CROP tijdens het trainen van het beloningsmodel ($\hat{r}$) ook de geschatte beloningen voor willekeurige acties. De verliesfunctie voor het beloningsmodel is:

$$l_r = \mathbb{E}_D \left[ (\hat{r}(s, a) - R(s, a))^2 + \beta \cdot \text{mean}[\hat{r}(s, \bar{a})] \right]$$

Waarbij:

• De eerste term de nauwkeurigheid van de beloningsschatting waarborgt.
• De tweede term de beloningen voor willekeurige acties ($\bar{a}$) straft.
• $\beta$ een hyperparameter is die het niveau van conservatisme controleert.

Dit zorgt ervoor dat acties die zelden voorkomen in de dataset (OOD-acties) systematisch worden onderschat, terwijl acties binnen de data-distributie nauwkeurig blijven geschat.

2. Praktische Implementatie:

• Model Training: Er wordt een ensemble van modellen getraind. Het transitie-model ($\hat{T}$) wordt getraind via maximale waarschijnlijkheid, terwijl het beloningsmodel ($\hat{r}$) de bovenstaande conservatieve verliesfunctie gebruikt.
• Beleidsoptimalisatie: Na het trainen van de modellen wordt de beloning in de offline dataset vervangen door de voorspellingen van het beloningsensemble. Vervolgens wordt een online model-vrije RL-algoritme (Soft Actor-Critic, SAC) gebruikt om het beleid te optimaliseren door te interageren met het ensemble van modellen.
• Stabiliteit: Om te voorkomen dat het model onrealistisch lage beloningen voorspelt (naar $-\infty$), wordt de output van het beloningsmodel via een sigmoid-functie gemapt naar het bereik van de originele beloningen.

3. Theoretische Analyse:
De auteurs bewijzen theoretisch dat:

• De Bellman-operator van CROP een contractie is, wat convergentie garandeert.
• De methode leidt tot een onderschatting van de Q-functie voor OOD-acties, waardoor de kans op catastrofale overschatting wordt geminimaliseerd.
• Er een ondergrens voor de prestaties bestaat, wat aangeeft dat het geleerde beleid zeker niet slechter presteert dan het oorspronkelijke verzamelbeleid (onder bepaalde voorwaarden).

Belangrijkste Bijdragen

1. Nieuwe Conservatieve Schatting: CROP introduceert een nieuwe manier om conservatisme in te bouwen door de beloningsfunctie te penaliseren voor willekeurige acties, zonder de noodzaak van complexe onzekerheidsschatters of adversarial updates tijdens de beleidsoptimalisatie.
2. Theoretische Onderbouwing: Er wordt een strikte theoretische analyse geboden die aantoont dat de methode distributieverandering mitigeert en een veilige ondergrens voor de prestaties biedt.
3. Eenvoud en Efficiëntie: In tegenstelling tot methoden zoals RAMBO of ARMOR die het hele omgevingsmodel of de Q-functie aanpassen, past CROP alleen de trainingsloss van het beloningsmodel aan. Dit maakt de methode eenvoudiger en sneller.

Resultaten

De methode is getest op de D4RL-benchmarks (MuJoCo-taken zoals Hopper, Walker2d, HalfCheetah) met verschillende datasets (Random, Medium, Medium-Replay, Medium-Expert).

• Prestaties: CROP behaalt een gemiddelde genormaliseerde score van 78.6 over 12 datasets, wat vergelijkbaar is met of beter is dan state-of-the-art methoden zoals COMBO, RAMBO, en Count-MORL.
• Vergelijking: CROP presteert consistent beter dan methoden die conservatisme toepassen op de Q-functie-update (zoals COMBO) of het hele model (zoals RAMBO).
• Stabiliteit: De resultaten tonen een lage standaardafwijking over meerdere random seeds, wat wijst op robuustheid.
• Efficiëntie: CROP is significant sneller in trainingstijd dan RAMBO (bijvoorbeeld ~55k seconden vs ~118k seconden voor Hopper-M), omdat het geen adversarial training vereist tijdens de beleidsoptimalisatie.

Betekenis en Toekomstperspectief

CROP biedt een nieuw perspectief op Offline RL door het probleem te reduceren tot een kwestie van conservatieve beloningsschatting. Dit maakt het mogelijk om geavanceerde online RL-algoritmen (zoals SAC) veilig toe te passen op offline data.

De belangrijkste implicaties zijn:

• Vereenvoudiging: Het elimineert de noodzaak voor dure en complexe onzekerheidsschatters.
• Veiligheid: Het biedt een mechanisme om veilig te exploreren buiten de data-distributie zonder het risico op catastrofale overschatting.
• Toekomst: De auteurs suggereren dat toekomstig werk zich kan richten op het automatisch aanpassen van de hyperparameter $\beta$ (om handmatige tuning te elimineren) en het combineren van CROP met geavanceerdere netwerkarchitecturen zoals Transformers.

Kortom, CROP is een efficiënte, theoretisch onderbouwde en empirisch sterke methode die de barrière voor het toepassen van model-gebaseerd Offline RL in complexe, risicovolle omgevingen verlaagt.